generate-synthetic-data

Generate diverse, realistic test inputs that cover the failure space of an LLM pipeline.

Before generating synthetic data, identify where the pipeline is likely to fail. Ask the user about known failure-prone areas, review existing user feedback, or form hypotheses from available traces. Dimensions (Step 1) must target anticipated failures, not arbitrary variation.

Dimensions are axes of variation specific to your application. Choose dimensions based on where you expect failures.

Cree diversas entradas de prueba sintéticas para la evaluación de procesos de LLM mediante la generación de tuplas basada en dimensiones. Úselo cuando inicie un conjunto de datos de evaluación, cuando los datos reales del usuario sean escasos o cuando realice pruebas de estrés de hipótesis de falla específicas. NO lo use cuando ya tenga más de 100 rastros reales representativos (use en su lugar muestreo estratificado) o cuando la tarea sea recopilar registros de producción. Fuente: hamelsmu/evals-skills.