nemo-curator

| Operation | CPU (16 cores) | GPU (A100) | Speedup |

| Fuzzy dedup (8TB) | 120 hours | 7.5 hours | 16× | | Exact dedup (1TB) | 8 hours | 0.5 hours | 16× | | Quality filtering | 2 hours | 0.2 hours | 10× |

Обработка данных с ускорением на графическом процессоре для обучения LLM. Поддерживает текст/изображение/видео/аудио. Функции нечеткой дедупликации (в 16 раз быстрее), качественной фильтрации (более 30 эвристик), семантической дедупликации, редактирования PII, обнаружения NSFW. Масштабируется между графическими процессорами с помощью RAPIDS. Используйте для подготовки высококачественных наборов обучающих данных, очистки веб-данных или дедупликации крупных корпусов. Источник: orchestra-research/ai-research-skills.

Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-curator После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw