Тестирование и проверка качества данных с помощью Great Expectations и Pandera. Проверка схемы, тесты качества данных, профилирование и автоматическая проверка в конвейерах.
Быстро установите AI-навык data-engineering-quality в вашу среду разработки через командную строку
Источник: legout/data-platform-agent-skills.
Data validation and testing frameworks for ensuring pipeline correctness and data quality: Great Expectations (enterprise) and Pandera (lightweight). Integrates with orchestration tools for automated validation.
| Approach | Declarative "expectations" | Schema definitions with checks | | DataFrame Support | Pandas, Spark, SQL, BigQuery | Pandas, Polars, PySpark, Dask | | Validation Output | JSON results with detailed diagnostics | Boolean or exception | | Best For | Enterprise data platforms, comprehensive profiling | Python-centric pipelines, lightweight |
| Learning Curve | Steeper (concepts: DataContext, Checkpoints) | Lower (Python decorators/classes) | | Integration | CI/CD, Airflow, Prefect, Dagster | pytest, FastAPI, any Python code |
Тестирование и проверка качества данных с помощью Great Expectations и Pandera. Проверка схемы, тесты качества данных, профилирование и автоматическая проверка в конвейерах. Источник: legout/data-platform-agent-skills.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/legout/data-platform-agent-skills --skill data-engineering-qualityТестирование и проверка качества данных с помощью Great Expectations и Pandera. Проверка схемы, тесты качества данных, профилирование и автоматическая проверка в конвейерах. Источник: legout/data-platform-agent-skills.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/legout/data-platform-agent-skills --skill data-engineering-quality После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/legout/data-platform-agent-skills