معالجة البيانات المسرّعة بواسطة GPU لتدريب LLM. يدعم النص/الصورة/الفيديو/الصوت. يتميز بإلغاء البيانات المكررة الغامضة (16× أسرع)، وتصفية الجودة (30+ استدلالًا)، وإلغاء البيانات المكررة الدلالية، وتنقيح معلومات تحديد الهوية الشخصية (PII)، واكتشاف NSFW. المقاييس عبر وحدات معالجة الرسومات باستخدام RAPIDS. يُستخدم لإعداد مجموعات بيانات تدريب عالية الجودة، أو تنظيف بيانات الويب، أو إلغاء تكرار المجموعات الكبيرة.
ثبّت مهارة الذكاء الاصطناعي nemo-curator بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: orchestra-research/ai-research-skills.
| Operation | CPU (16 cores) | GPU (A100) | Speedup |
| Fuzzy dedup (8TB) | 120 hours | 7.5 hours | 16× | | Exact dedup (1TB) | 8 hours | 0.5 hours | 16× | | Quality filtering | 2 hours | 0.2 hours | 10× |
معالجة البيانات المسرّعة بواسطة GPU لتدريب LLM. يدعم النص/الصورة/الفيديو/الصوت. يتميز بإلغاء البيانات المكررة الغامضة (16× أسرع)، وتصفية الجودة (30+ استدلالًا)، وإلغاء البيانات المكررة الدلالية، وتنقيح معلومات تحديد الهوية الشخصية (PII)، واكتشاف NSFW. المقاييس عبر وحدات معالجة الرسومات باستخدام RAPIDS. يُستخدم لإعداد مجموعات بيانات تدريب عالية الجودة، أو تنظيف بيانات الويب، أو إلغاء تكرار المجموعات الكبيرة. المصدر: orchestra-research/ai-research-skills.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-curator بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-curatorBrowse more skills from orchestra-research/ai-research-skills
معالجة البيانات المسرّعة بواسطة GPU لتدريب LLM. يدعم النص/الصورة/الفيديو/الصوت. يتميز بإلغاء البيانات المكررة الغامضة (16× أسرع)، وتصفية الجودة (30+ استدلالًا)، وإلغاء البيانات المكررة الدلالية، وتنقيح معلومات تحديد الهوية الشخصية (PII)، واكتشاف NSFW. المقاييس عبر وحدات معالجة الرسومات باستخدام RAPIDS. يُستخدم لإعداد مجموعات بيانات تدريب عالية الجودة، أو تنظيف بيانات الويب، أو إلغاء تكرار المجموعات الكبيرة. المصدر: orchestra-research/ai-research-skills.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/orchestra-research/ai-research-skills --skill nemo-curator بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/orchestra-research/ai-research-skills