generate-synthetic-data

Generate diverse, realistic test inputs that cover the failure space of an LLM pipeline.

Before generating synthetic data, identify where the pipeline is likely to fail. Ask the user about known failure-prone areas, review existing user feedback, or form hypotheses from available traces. Dimensions (Step 1) must target anticipated failures, not arbitrary variation.

Dimensions are axes of variation specific to your application. Choose dimensions based on where you expect failures.

Crea diversi input di test sintetici per la valutazione della pipeline LLM utilizzando la generazione di tuple basata sulle dimensioni. Da utilizzare durante il bootstrap di un set di dati di valutazione, quando i dati dell'utente reale sono scarsi o durante lo stress test di ipotesi di fallimento specifiche. NON utilizzare quando si dispone già di oltre 100 tracce reali rappresentative (utilizzare invece il campionamento stratificato) o quando l'attività consiste nella raccolta dei registri di produzione. Fonte: hamelsmu/evals-skills.