تشغيل استدلال LLM على وحدة المعالجة المركزية (CPU) وApple Silicon ووحدات معالجة الرسومات الاستهلاكية بدون أجهزة NVIDIA. يُستخدم لنشر الحافة، أو أجهزة Mac M1/M2/M3، أو وحدات معالجة الرسومات AMD/Intel، أو عندما لا يكون CUDA متاحًا. يدعم تكميم GGUF (1.5-8 بت) لتقليل الذاكرة وتسريع 4-10× مقابل PyTorch على وحدة المعالجة المركزية.
ثبّت مهارة الذكاء الاصطناعي llama-cpp بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: ovachiever/droid-tings.
Pure C/C++ LLM inference with minimal dependencies, optimized for CPUs and non-NVIDIA hardware.
| Format | Bits | Size (7B) | Speed | Quality | Use Case |
| Q4KM | 4.5 | 4.1 GB | Fast | Good | Recommended default | | Q4KS | 4.3 | 3.9 GB | Faster | Lower | Speed critical | | Q5KM | 5.5 | 4.8 GB | Medium | Better | Quality critical | | Q6K | 6.5 | 5.5 GB | Slower | Best | Maximum quality | | Q80 | 8.0 | 7.0 GB | Slow | Excellent | Minimal degradation | | Q2K | 2.5 | 2.7 GB | Fastest | Poor | Testing only |
تشغيل استدلال LLM على وحدة المعالجة المركزية (CPU) وApple Silicon ووحدات معالجة الرسومات الاستهلاكية بدون أجهزة NVIDIA. يُستخدم لنشر الحافة، أو أجهزة Mac M1/M2/M3، أو وحدات معالجة الرسومات AMD/Intel، أو عندما لا يكون CUDA متاحًا. يدعم تكميم GGUF (1.5-8 بت) لتقليل الذاكرة وتسريع 4-10× مقابل PyTorch على وحدة المعالجة المركزية. المصدر: ovachiever/droid-tings.
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/ovachiever/droid-tings --skill llama-cppتشغيل استدلال LLM على وحدة المعالجة المركزية (CPU) وApple Silicon ووحدات معالجة الرسومات الاستهلاكية بدون أجهزة NVIDIA. يُستخدم لنشر الحافة، أو أجهزة Mac M1/M2/M3، أو وحدات معالجة الرسومات AMD/Intel، أو عندما لا يكون CUDA متاحًا. يدعم تكميم GGUF (1.5-8 بت) لتقليل الذاكرة وتسريع 4-10× مقابل PyTorch على وحدة المعالجة المركزية. المصدر: ovachiever/droid-tings.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/ovachiever/droid-tings --skill llama-cpp بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/ovachiever/droid-tings