generate-synthetic-data

Generate diverse, realistic test inputs that cover the failure space of an LLM pipeline.

Before generating synthetic data, identify where the pipeline is likely to fail. Ask the user about known failure-prone areas, review existing user feedback, or form hypotheses from available traces. Dimensions (Step 1) must target anticipated failures, not arbitrary variation.

Dimensions are axes of variation specific to your application. Choose dimensions based on where you expect failures.

Créez diverses entrées de tests synthétiques pour l'évaluation du pipeline LLM à l'aide de la génération de tuples basée sur les dimensions. À utiliser lors du démarrage d'un ensemble de données d'évaluation, lorsque les données utilisateur réelles sont rares ou lors de tests de résistance d'hypothèses de défaillance spécifiques. Ne PAS utiliser lorsque vous disposez déjà de plus de 100 traces réelles représentatives (utilisez plutôt un échantillonnage stratifié) ou lorsque la tâche consiste à collecter des journaux de production. Source : hamelsmu/evals-skills.