ai-data-engineering

SKILL.md

Build data infrastructure for AI/ML systems including RAG pipelines, feature stores, and embedding generation. Provides architecture patterns, orchestration workflows, and evaluation metrics for production AI applications.

RAG pipelines have 5 distinct stages. Understanding this architecture is critical for production implementations.

Chunking is the most critical decision for RAG quality. Poor chunking breaks retrieval.

Datenpipelines, Feature Stores und Einbettungsgenerierung für KI/ML-Systeme. Zur Verwendung beim Erstellen von RAG-Pipelines, bei der Bereitstellung von ML-Funktionen oder bei Datentransformationen. Deckt Feature Stores (Feast, Tecton), Einbetten von Pipelines, Chunking-Strategien, Orchestrierung (Dagster, Prefect, Airflow), DBT-Transformationen, Datenversionierung (LakeFS) und Experimentverfolgung (MLflow, W&B) ab. Quelle: ancoleman/ai-design-components.

Original anzeigen