ai-data-engineering

SKILL.md

Build data infrastructure for AI/ML systems including RAG pipelines, feature stores, and embedding generation. Provides architecture patterns, orchestration workflows, and evaluation metrics for production AI applications.

RAG pipelines have 5 distinct stages. Understanding this architecture is critical for production implementations.

Chunking is the most critical decision for RAG quality. Poor chunking breaks retrieval.

Pipelines de données, magasins de fonctionnalités et génération d'intégration pour les systèmes IA/ML. À utiliser lors de la création de pipelines RAG, du service de fonctionnalités ML ou des transformations de données. Couvre les magasins de fonctionnalités (Feast, Tecton), l'intégration de pipelines, les stratégies de segmentation, l'orchestration (Dagster, Prefect, Airflow), les transformations dbt, la gestion des versions des données (LakeFS) et le suivi des expériences (MLflow, W&B). Source : ancoleman/ai-design-components.

Voir l'original