nemo-curator

SKILL.md

| Operation | CPU (16 cores) | GPU (A100) | Speedup |

| Fuzzy dedup (8TB) | 120 hours | 7.5 hours | 16× | | Exact dedup (1TB) | 8 hours | 0.5 hours | 16× | | Quality filtering | 2 hours | 0.2 hours | 10× |

LLM トレーニング用の GPU アクセラレーションによるデータ キュレーション。テキスト/画像/ビデオ/オーディオをサポートします。ファジー重複排除 (16 倍高速)、高品質フィルタリング (30 以上のヒューリスティック)、セマンティック重複排除、PII 編集、NSFW 検出を備えています。 RAPIDS を使用して GPU 全体に拡張します。高品質のトレーニング データセットの準備、Web データのクリーニング、または大規模なコーパスの重複排除に使用します。 ソース: orchestra-research/ai-research-skills。

ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-curator インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code や Cursor で使用できるようになります

原文を見る