generate-synthetic-data

Generate diverse, realistic test inputs that cover the failure space of an LLM pipeline.

Before generating synthetic data, identify where the pipeline is likely to fail. Ask the user about known failure-prone areas, review existing user feedback, or form hypotheses from available traces. Dimensions (Step 1) must target anticipated failures, not arbitrary variation.

Dimensions are axes of variation specific to your application. Choose dimensions based on where you expect failures.

Создавайте разнообразные синтетические тестовые входные данные для оценки конвейера LLM, используя генерацию кортежей на основе измерений. Используйте при начальной загрузке набора оценочных данных, когда реальных пользовательских данных мало или при стресс-тестировании конкретных гипотез сбоя. НЕ используйте, если у вас уже есть более 100 репрезентативных реальных трассировок (вместо этого используйте стратифицированную выборку) или когда задача состоит в сборе производственных журналов. Источник: hamelsmu/evals-skills.