data-quality

SKILL.md

| Data overview | dataprofiling.py | profiledataframe(df) | | Find quality issues | dataprofiling.py | detectglitches(df) | | Missing values | missingdata.py | analyzemissing(df) | | Imputation | missingdata.py | imputemean/median/regression() | | Duplicates | duplicatedetection.py | findduplicates(df, cols) |

| Deduplication | duplicatedetection.py | deduplicate(df, cols) | | Outliers | anomalydetection.py | detectanomalies(df) | | Constraint check | constraintchecking.py | validateconstraints(df, rules) | | String matching | similaritymetrics.py | jarowinklersimilarity() |

Re-run profiling and constraint checks on cleaned data to verify improvements.

Diagnostiquer et résoudre les problèmes de qualité des données dans les ensembles de données. À utiliser lorsque vous travaillez avec des données sales, recherchez des doublons, traitez les valeurs manquantes, détectez des valeurs aberrantes/anomalies, validez des contraintes (dépendances fonctionnelles, intégrité référentielle), profilez des ensembles de données ou nettoyez des données pour analyse ou ML. Couvre le cycle de vie complet de la qualité des données : définition, détection, nettoyage, mesure. Source : masterkram/data-quality-skill.

Voir l'original