nemo-curator
✓Curation de données accélérée par GPU pour la formation LLM. Prend en charge le texte/image/vidéo/audio. Comprend une déduplication floue (16 fois plus rapide), un filtrage de qualité (plus de 30 heuristiques), une déduplication sémantique, une rédaction de PII, une détection NSFW. Évolue sur tous les GPU avec RAPIDS. À utiliser pour préparer des ensembles de données de formation de haute qualité, nettoyer des données Web ou dédupliquer de grands corpus.
Installation
SKILL.md
| Operation | CPU (16 cores) | GPU (A100) | Speedup |
| Fuzzy dedup (8TB) | 120 hours | 7.5 hours | 16× | | Exact dedup (1TB) | 8 hours | 0.5 hours | 16× | | Quality filtering | 2 hours | 0.2 hours | 10× |
Curation de données accélérée par GPU pour la formation LLM. Prend en charge le texte/image/vidéo/audio. Comprend une déduplication floue (16 fois plus rapide), un filtrage de qualité (plus de 30 heuristiques), une déduplication sémantique, une rédaction de PII, une détection NSFW. Évolue sur tous les GPU avec RAPIDS. À utiliser pour préparer des ensembles de données de formation de haute qualité, nettoyer des données Web ou dédupliquer de grands corpus. Source : ovachiever/droid-tings.
Faits (prêts à citer)
Champs et commandes stables pour les citations IA/recherche.
- Commande d'installation
npx skills add https://github.com/ovachiever/droid-tings --skill nemo-curator- Source
- ovachiever/droid-tings
- Catégorie
- *Créativité
- Vérifié
- ✓
- Première apparition
- 2026-02-01
- Mis à jour
- 2026-02-18
Réponses rapides
Qu'est-ce que nemo-curator ?
Curation de données accélérée par GPU pour la formation LLM. Prend en charge le texte/image/vidéo/audio. Comprend une déduplication floue (16 fois plus rapide), un filtrage de qualité (plus de 30 heuristiques), une déduplication sémantique, une rédaction de PII, une détection NSFW. Évolue sur tous les GPU avec RAPIDS. À utiliser pour préparer des ensembles de données de formation de haute qualité, nettoyer des données Web ou dédupliquer de grands corpus. Source : ovachiever/droid-tings.
Comment installer nemo-curator ?
Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/ovachiever/droid-tings --skill nemo-curator Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code ou Cursor
Où se trouve le dépôt source ?
https://github.com/ovachiever/droid-tings
Détails
- Catégorie
- *Créativité
- Source
- skills.sh
- Première apparition
- 2026-02-01