nemo-curator
✓用於 LLM 培訓的 GPU 加速數據管理。支持文本/圖像/視頻/音頻。具有模糊重複數據刪除（快 16 倍）、質量過濾（30 多種啟發式）、語義重複數據刪除、PII 編輯、NSFW 檢測。使用 RAPIDS 跨 GPU 進行擴展。用於準備高質量的訓練數據集、清理 Web 數據或對大型語料庫進行重複數據刪除。
SKILL.md
| Operation | CPU (16 cores) | GPU (A100) | Speedup |
| Fuzzy dedup (8TB) | 120 hours | 7.5 hours | 16× | | Exact dedup (1TB) | 8 hours | 0.5 hours | 16× | | Quality filtering | 2 hours | 0.2 hours | 10× |
用於 LLM 培訓的 GPU 加速數據管理。支持文本/圖像/視頻/音頻。具有模糊重複數據刪除（快 16 倍）、質量過濾（30 多種啟發式）、語義重複數據刪除、PII 編輯、NSFW 檢測。使用 RAPIDS 跨 GPU 進行擴展。用於準備高質量的訓練數據集、清理 Web 數據或對大型語料庫進行重複數據刪除。 來源：ovachiever/droid-tings。
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/ovachiever/droid-tings --skill nemo-curator 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/ovachiever/droid-tings --skill nemo-curator- 分類
- *創意媒體
- 認證
- ✓
- 收錄時間
- 2026-02-01
- 更新時間
- 2026-02-18
快速解答
什麼是 nemo-curator？
用於 LLM 培訓的 GPU 加速數據管理。支持文本/圖像/視頻/音頻。具有模糊重複數據刪除（快 16 倍）、質量過濾（30 多種啟發式）、語義重複數據刪除、PII 編輯、NSFW 檢測。使用 RAPIDS 跨 GPU 進行擴展。用於準備高質量的訓練數據集、清理 Web 數據或對大型語料庫進行重複數據刪除。 來源：ovachiever/droid-tings。
如何安裝 nemo-curator？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/ovachiever/droid-tings --skill nemo-curator 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/ovachiever/droid-tings
詳情
- 分類
- *創意媒體
- 來源
- skills.sh
- 收錄時間
- 2026-02-01