أدوات الرموز المميزة السريعة المُحسّنة للبحث والإنتاج. يقوم التنفيذ القائم على الصدأ بتوزيع 1 جيجابايت في أقل من 20 ثانية. يدعم خوارزميات BPE وWordPiece وUnigram. تدريب المفردات المخصصة، ومحاذاة المسار، ومعالجة الحشو/الاقتطاع. يتكامل بسلاسة مع المحولات. استخدمه عندما تحتاج إلى ترميز عالي الأداء أو تدريب مخصص على الترميز.
ثبّت مهارة الذكاء الاصطناعي huggingface-tokenizers بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: orchestra-research/ai-research-skills.
Fast, production-ready tokenizers with Rust performance and Python ease-of-use.
Training time: 1-2 minutes for 100MB corpus, 10-20 minutes for 1GB
Complete pipeline: Normalization → Pre-tokenization → Model → Post-processing
أدوات الرموز المميزة السريعة المُحسّنة للبحث والإنتاج. يقوم التنفيذ القائم على الصدأ بتوزيع 1 جيجابايت في أقل من 20 ثانية. يدعم خوارزميات BPE وWordPiece وUnigram. تدريب المفردات المخصصة، ومحاذاة المسار، ومعالجة الحشو/الاقتطاع. يتكامل بسلاسة مع المحولات. استخدمه عندما تحتاج إلى ترميز عالي الأداء أو تدريب مخصص على الترميز. المصدر: orchestra-research/ai-research-skills.
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill huggingface-tokenizersBrowse more skills from orchestra-research/ai-research-skills
أدوات الرموز المميزة السريعة المُحسّنة للبحث والإنتاج. يقوم التنفيذ القائم على الصدأ بتوزيع 1 جيجابايت في أقل من 20 ثانية. يدعم خوارزميات BPE وWordPiece وUnigram. تدريب المفردات المخصصة، ومحاذاة المسار، ومعالجة الحشو/الاقتطاع. يتكامل بسلاسة مع المحولات. استخدمه عندما تحتاج إلى ترميز عالي الأداء أو تدريب مخصص على الترميز. المصدر: orchestra-research/ai-research-skills.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/orchestra-research/ai-research-skills --skill huggingface-tokenizers بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/orchestra-research/ai-research-skills