gguf-quantization
✓효율적인 CPU/GPU 추론을 위한 GGUF 형식 및 llama.cpp 양자화. 소비자 하드웨어, Apple Silicon에 모델을 배포할 때 또는 GPU 요구 사항 없이 2~8비트의 유연한 양자화가 필요할 때 사용합니다.
SKILL.md
The GGUF (GPT-Generated Unified Format) is the standard file format for llama.cpp, enabling efficient inference on CPUs, Apple Silicon, and GPUs with flexible quantization options.
| Type | Bits | Size (7B) | Quality | Use Case |
| Q2K | 2.5 | 2.8 GB | Low | Extreme compression | | Q3KS | 3.0 | 3.0 GB | Low-Med | Memory constrained | | Q3KM | 3.3 | 3.3 GB | Medium | Balance | | Q4KS | 4.0 | 3.8 GB | Med-High | Good balance | | Q4KM | 4.5 | 4.1 GB | High | Recommended default | | Q5KS | 5.0 | 4.6 GB | High | Quality focused | | Q5KM | 5.5 | 4.8 GB | Very High | High quality |
인용 가능한 정보
AI/검색 인용용 안정적인 필드와 명령어.
- 설치 명령어
npx skills add https://github.com/orchestra-research/ai-research-skills --skill gguf-quantization- 카테고리
- </>개발 도구
- 인증됨
- ✓
- 최초 등록
- 2026-02-11
- 업데이트
- 2026-02-18
빠른 답변
gguf-quantization이란?
효율적인 CPU/GPU 추론을 위한 GGUF 형식 및 llama.cpp 양자화. 소비자 하드웨어, Apple Silicon에 모델을 배포할 때 또는 GPU 요구 사항 없이 2~8비트의 유연한 양자화가 필요할 때 사용합니다. 출처: orchestra-research/ai-research-skills.
gguf-quantization 설치 방법은?
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/orchestra-research/ai-research-skills --skill gguf-quantization 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다
소스 저장소는 어디인가요?
https://github.com/orchestra-research/ai-research-skills
상세
- 카테고리
- </>개발 도구
- 출처
- skills.sh
- 최초 등록
- 2026-02-11