senior-data-engineer

SKILL.md

World-class senior data engineer skill for production-grade AI/ML/Data systems.

Languages: Python, SQL, R, Scala, Go ML Frameworks: PyTorch, TensorFlow, Scikit-learn, XGBoost Data Tools: Spark, Airflow, dbt, Kafka, Databricks LLM Frameworks: LangChain, LlamaIndex, DSPy Deployment: Docker, Kubernetes, AWS/GCP/Azure Monitoring: MLflow, Weights & Biases, Prometheus Databases: PostgreSQL, BigQuery, Snowflake, Pinecone

Comprehensive guide available in references/datapipelinearchitecture.md covering:

Compétences en ingénierie de données de classe mondiale pour créer des pipelines de données évolutifs, des systèmes ETL/ELT et une infrastructure de données. Expertise en Python, SQL, Spark, Airflow, dbt, Kafka et la pile de données moderne. Comprend la modélisation des données, l'orchestration des pipelines, la qualité des données et DataOps. À utiliser lors de la conception d'architectures de données, de la création de pipelines de données, de l'optimisation des flux de travail de données ou de la mise en œuvre d'une gouvernance des données. Source : ovachiever/droid-tings.

Voir l'original