تسريع الاستدلال LLM باستخدام فك التشفير التخميني، ورؤوس ميدوسا المتعددة، وتقنيات فك التشفير الأمامية. يُستخدم عند تحسين سرعة الاستدلال (1.5-3.6× تسريع)، أو تقليل زمن الوصول لتطبيقات الوقت الفعلي، أو نشر النماذج ذات الحوسبة المحدودة. يغطي نماذج المسودة، والاهتمام القائم على الشجرة، وتكرار جاكوبي، وتوليد الرموز الموازية، واستراتيجيات نشر الإنتاج.
ثبّت مهارة الذكاء الاصطناعي speculative-decoding بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: ovachiever/droid-tings.
Key Techniques: Draft model speculative decoding, Medusa (multiple heads), Lookahead Decoding (Jacobi iteration)
Papers: Medusa (arXiv 2401.10774), Lookahead Decoding (ICML 2024), Speculative Decoding Survey (ACL 2024)
Idea: Use small draft model to generate candidates, large target model to verify in parallel.
تسريع الاستدلال LLM باستخدام فك التشفير التخميني، ورؤوس ميدوسا المتعددة، وتقنيات فك التشفير الأمامية. يُستخدم عند تحسين سرعة الاستدلال (1.5-3.6× تسريع)، أو تقليل زمن الوصول لتطبيقات الوقت الفعلي، أو نشر النماذج ذات الحوسبة المحدودة. يغطي نماذج المسودة، والاهتمام القائم على الشجرة، وتكرار جاكوبي، وتوليد الرموز الموازية، واستراتيجيات نشر الإنتاج. المصدر: ovachiever/droid-tings.
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/ovachiever/droid-tings --skill speculative-decodingتسريع الاستدلال LLM باستخدام فك التشفير التخميني، ورؤوس ميدوسا المتعددة، وتقنيات فك التشفير الأمامية. يُستخدم عند تحسين سرعة الاستدلال (1.5-3.6× تسريع)، أو تقليل زمن الوصول لتطبيقات الوقت الفعلي، أو نشر النماذج ذات الحوسبة المحدودة. يغطي نماذج المسودة، والاهتمام القائم على الشجرة، وتكرار جاكوبي، وتوليد الرموز الموازية، واستراتيجيات نشر الإنتاج. المصدر: ovachiever/droid-tings.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/ovachiever/droid-tings --skill speculative-decoding بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/ovachiever/droid-tings