Формат GGUF и квантование llama.cpp для эффективного вывода CPU/GPU. Используйте при развертывании моделей на потребительском оборудовании Apple Silicon или при необходимости гибкого квантования от 2 до 8 бит без требований к графическому процессору.
Быстро установите AI-навык gguf-quantization в вашу среду разработки через командную строку
Источник: orchestra-research/ai-research-skills.
The GGUF (GPT-Generated Unified Format) is the standard file format for llama.cpp, enabling efficient inference on CPUs, Apple Silicon, and GPUs with flexible quantization options.
| Type | Bits | Size (7B) | Quality | Use Case |
| Q2K | 2.5 | 2.8 GB | Low | Extreme compression | | Q3KS | 3.0 | 3.0 GB | Low-Med | Memory constrained | | Q3KM | 3.3 | 3.3 GB | Medium | Balance | | Q4KS | 4.0 | 3.8 GB | Med-High | Good balance | | Q4KM | 4.5 | 4.1 GB | High | Recommended default | | Q5KS | 5.0 | 4.6 GB | High | Quality focused | | Q5KM | 5.5 | 4.8 GB | Very High | High quality |
Стабильные поля и команды для ссылок в AI/поиске.
npx skills add https://github.com/orchestra-research/ai-research-skills --skill gguf-quantizationBrowse more skills from orchestra-research/ai-research-skills
Формат GGUF и квантование llama.cpp для эффективного вывода CPU/GPU. Используйте при развертывании моделей на потребительском оборудовании Apple Silicon или при необходимости гибкого квантования от 2 до 8 бит без требований к графическому процессору. Источник: orchestra-research/ai-research-skills.
Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/orchestra-research/ai-research-skills --skill gguf-quantization После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw
https://github.com/orchestra-research/ai-research-skills