generate-synthetic-data

Generate diverse, realistic test inputs that cover the failure space of an LLM pipeline.

Before generating synthetic data, identify where the pipeline is likely to fail. Ask the user about known failure-prone areas, review existing user feedback, or form hypotheses from available traces. Dimensions (Step 1) must target anticipated failures, not arbitrary variation.

Dimensions are axes of variation specific to your application. Choose dimensions based on where you expect failures.

Erstellen Sie mithilfe der dimensionsbasierten Tupelgenerierung verschiedene synthetische Testeingaben für die LLM-Pipeline-Bewertung. Wird beim Bootstrapping eines Evaluierungsdatensatzes verwendet, wenn reale Benutzerdaten spärlich sind oder wenn bestimmte Fehlerhypothesen einem Stresstest unterzogen werden. NICHT verwenden, wenn Sie bereits mehr als 100 repräsentative reale Spuren haben (verwenden Sie stattdessen geschichtete Stichproben) oder wenn die Aufgabe das Sammeln von Produktionsprotokollen ist. Quelle: hamelsmu/evals-skills.