أدوات الرموز المميزة السريعة المُحسّنة للبحث والإنتاج. يقوم التنفيذ القائم على الصدأ بتوزيع 1 جيجابايت في أقل من 20 ثانية. يدعم خوارزميات BPE وWordPiece وUnigram. تدريب المفردات المخصصة، ومحاذاة المسار، ومعالجة الحشو/الاقتطاع. يتكامل بسلاسة مع المحولات. استخدمه عندما تحتاج إلى ترميز عالي الأداء أو تدريب مخصص على الترميز.
ثبّت مهارة الذكاء الاصطناعي huggingface-tokenizers بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: ovachiever/droid-tings.
Fast, production-ready tokenizers with Rust performance and Python ease-of-use.
Training time: 1-2 minutes for 100MB corpus, 10-20 minutes for 1GB
Complete pipeline: Normalization → Pre-tokenization → Model → Post-processing
أدوات الرموز المميزة السريعة المُحسّنة للبحث والإنتاج. يقوم التنفيذ القائم على الصدأ بتوزيع 1 جيجابايت في أقل من 20 ثانية. يدعم خوارزميات BPE وWordPiece وUnigram. تدريب المفردات المخصصة، ومحاذاة المسار، ومعالجة الحشو/الاقتطاع. يتكامل بسلاسة مع المحولات. استخدمه عندما تحتاج إلى ترميز عالي الأداء أو تدريب مخصص على الترميز. المصدر: ovachiever/droid-tings.
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/ovachiever/droid-tings --skill huggingface-tokenizersأدوات الرموز المميزة السريعة المُحسّنة للبحث والإنتاج. يقوم التنفيذ القائم على الصدأ بتوزيع 1 جيجابايت في أقل من 20 ثانية. يدعم خوارزميات BPE وWordPiece وUnigram. تدريب المفردات المخصصة، ومحاذاة المسار، ومعالجة الحشو/الاقتطاع. يتكامل بسلاسة مع المحولات. استخدمه عندما تحتاج إلى ترميز عالي الأداء أو تدريب مخصص على الترميز. المصدر: ovachiever/droid-tings.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/ovachiever/droid-tings --skill huggingface-tokenizers بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/ovachiever/droid-tings