Выполняет вывод LLM на ЦП, Apple Silicon и потребительских графических процессорах без оборудования NVIDIA. Используйте для периферийного развертывания, компьютеров Mac M1/M2/M3, графических процессоров AMD/Intel или когда CUDA недоступна. Поддерживает квантование GGUF (1,5–8 бит) для уменьшения объема памяти и ускорения в 4–10 раз по сравнению с PyTorch на ЦП.
Быстро установите AI-навык llama-cpp в вашу среду разработки через командную строку
Источник: ovachiever/droid-tings.
Pure C/C++ LLM inference with minimal dependencies, optimized for CPUs and non-NVIDIA hardware.
| Format | Bits | Size (7B) | Speed | Quality | Use Case |
| Q4KM | 4.5 | 4.1 GB | Fast | Good | Recommended default | | Q4KS | 4.3 | 3.9 GB | Faster | Lower | Speed critical | | Q5KM | 5.5 | 4.8 GB | Medium | Better | Quality critical | | Q6K | 6.5 | 5.5 GB | Slower | Best | Maximum quality | | Q80 | 8.0 | 7.0 GB | Slow | Excellent | Minimal degradation | | Q2K | 2.5 | 2.7 GB | Fastest | Poor | Testing only |
Выполняет вывод LLM на ЦП, Apple Silicon и потребительских графических процессорах без оборудования NVIDIA. Используйте для периферийного развертывания, компьютеров Mac M1/M2/M3, графических процессоров AMD/Intel или когда CUDA недоступна. Поддерживает квантование GGUF (1,5–8 бит) для уменьшения объема памяти и ускорения в 4–10 раз по сравнению с PyTorch на ЦП. Источник: ovachiever/droid-tings.
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/ovachiever/droid-tings --skill llama-cppВыполняет вывод LLM на ЦП, Apple Silicon и потребительских графических процессорах без оборудования NVIDIA. Используйте для периферийного развертывания, компьютеров Mac M1/M2/M3, графических процессоров AMD/Intel или когда CUDA недоступна. Поддерживает квантование GGUF (1,5–8 бит) для уменьшения объема памяти и ускорения в 4–10 раз по сравнению с PyTorch на ЦП. Источник: ovachiever/droid-tings.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/ovachiever/droid-tings --skill llama-cpp После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/ovachiever/droid-tings