ضغط نماذج اللغة الكبيرة باستخدام تقطير المعرفة من نماذج المعلم إلى الطلاب. يُستخدم عند نشر نماذج أصغر ذات أداء محتفظ به، أو نقل إمكانات GPT-4 إلى نماذج مفتوحة المصدر، أو تقليل تكاليف الاستدلال. يغطي قياس درجة الحرارة، والأهداف السهلة، وKLD العكسي، والتقطير اللوغاريتمي، واستراتيجيات تدريب MiniLLM.
ثبّت مهارة الذكاء الاصطناعي knowledge-distillation بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: orchestra-research/ai-research-skills.
Key Techniques: Temperature scaling, soft targets, reverse KLD (MiniLLM), logit distillation, response distillation
Papers: Hinton et al. 2015 (arXiv 1503.02531), MiniLLM (arXiv 2306.08543), KD Survey (arXiv 2402.13116)
Innovation: Use reverse KLD instead of forward KLD for better generative model distillation.
ضغط نماذج اللغة الكبيرة باستخدام تقطير المعرفة من نماذج المعلم إلى الطلاب. يُستخدم عند نشر نماذج أصغر ذات أداء محتفظ به، أو نقل إمكانات GPT-4 إلى نماذج مفتوحة المصدر، أو تقليل تكاليف الاستدلال. يغطي قياس درجة الحرارة، والأهداف السهلة، وKLD العكسي، والتقطير اللوغاريتمي، واستراتيجيات تدريب MiniLLM. المصدر: orchestra-research/ai-research-skills.
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill knowledge-distillationBrowse more skills from orchestra-research/ai-research-skills
ضغط نماذج اللغة الكبيرة باستخدام تقطير المعرفة من نماذج المعلم إلى الطلاب. يُستخدم عند نشر نماذج أصغر ذات أداء محتفظ به، أو نقل إمكانات GPT-4 إلى نماذج مفتوحة المصدر، أو تقليل تكاليف الاستدلال. يغطي قياس درجة الحرارة، والأهداف السهلة، وKLD العكسي، والتقطير اللوغاريتمي، واستراتيجيات تدريب MiniLLM. المصدر: orchestra-research/ai-research-skills.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/orchestra-research/ai-research-skills --skill knowledge-distillation بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/orchestra-research/ai-research-skills