يقوم بتكميم LLMs إلى 8 بت أو 4 بت لتقليل الذاكرة بنسبة 50-75٪ مع الحد الأدنى من فقدان الدقة. يُستخدم عندما تكون ذاكرة وحدة معالجة الرسومات محدودة، أو تحتاج إلى ملاءمة نماذج أكبر، أو تريد استنتاجًا أسرع. يدعم تنسيقات INT8 وNF4 وFP4 وتدريب QLoRA ومحسنات 8 بت. يعمل مع محولات HuggingFace.
ثبّت مهارة الذكاء الاصطناعي quantizing-models-bitsandbytes بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: orchestra-research/ai-research-skills.
bitsandbytes reduces LLM memory by 50% (8-bit) or 75% (4-bit) with <1% accuracy loss.
| 8 GB | 3B | 4-bit | | 12 GB | 7B | 4-bit | | 16 GB | 7B | 8-bit or 4-bit | | 24 GB | 13B | 8-bit or 70B 4-bit | | 40+ GB | 70B | 8-bit |
QLoRA training guide: See references/qlora-training.md for complete fine-tuning workflows, hyperparameter tuning, and multi-GPU training.
يقوم بتكميم LLMs إلى 8 بت أو 4 بت لتقليل الذاكرة بنسبة 50-75٪ مع الحد الأدنى من فقدان الدقة. يُستخدم عندما تكون ذاكرة وحدة معالجة الرسومات محدودة، أو تحتاج إلى ملاءمة نماذج أكبر، أو تريد استنتاجًا أسرع. يدعم تنسيقات INT8 وNF4 وFP4 وتدريب QLoRA ومحسنات 8 بت. يعمل مع محولات HuggingFace. المصدر: orchestra-research/ai-research-skills.
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill quantizing-models-bitsandbytesBrowse more skills from orchestra-research/ai-research-skills
يقوم بتكميم LLMs إلى 8 بت أو 4 بت لتقليل الذاكرة بنسبة 50-75٪ مع الحد الأدنى من فقدان الدقة. يُستخدم عندما تكون ذاكرة وحدة معالجة الرسومات محدودة، أو تحتاج إلى ملاءمة نماذج أكبر، أو تريد استنتاجًا أسرع. يدعم تنسيقات INT8 وNF4 وFP4 وتدريب QLoRA ومحسنات 8 بت. يعمل مع محولات HuggingFace. المصدر: orchestra-research/ai-research-skills.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/orchestra-research/ai-research-skills --skill quantizing-models-bitsandbytes بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/orchestra-research/ai-research-skills