gptq
정확도 손실을 최소화하면서 LLM을 위한 사후 훈련 4비트 양자화. 2% 미만의 복잡성 저하로 4배의 메모리 감소가 필요한 경우 또는 FP16에 비해 더 빠른 추론(3-4배 속도 향상)이 필요한 경우 소비자 GPU에 대형 모델(70B, 405B)을 배포하는 데 사용합니다. QLoRA 미세 조정을 위해 변압기 및 PEFT와 통합됩니다.
SKILL.md
Post-training quantization method that compresses LLMs to 4-bit with minimal accuracy loss using group-wise quantization.
| Group Size | Model Size | Accuracy | Speed | Recommendation |
| -1 (per-column) | Smallest | Best | Slowest | Research only | | 32 | Smaller | Better | Slower | High accuracy needed | | 128 | Medium | Good | Fast | Recommended default | | 256 | Larger | Lower | Faster | Speed critical | | 1024 | Largest | Lowest | Fastest | Not recommended |
정확도 손실을 최소화하면서 LLM을 위한 사후 훈련 4비트 양자화. 2% 미만의 복잡성 저하로 4배의 메모리 감소가 필요한 경우 또는 FP16에 비해 더 빠른 추론(3-4배 속도 향상)이 필요한 경우 소비자 GPU에 대형 모델(70B, 405B)을 배포하는 데 사용합니다. QLoRA 미세 조정을 위해 변압기 및 PEFT와 통합됩니다. 출처: ovachiever/droid-tings.
인용 가능한 정보
AI/검색 인용용 안정적인 필드와 명령어.
- 설치 명령어
npx skills add https://github.com/ovachiever/droid-tings --skill gptq- 카테고리
- </>개발 도구
- 인증됨
- —
- 최초 등록
- 2026-02-01
- 업데이트
- 2026-02-18
빠른 답변
gptq이란?
정확도 손실을 최소화하면서 LLM을 위한 사후 훈련 4비트 양자화. 2% 미만의 복잡성 저하로 4배의 메모리 감소가 필요한 경우 또는 FP16에 비해 더 빠른 추론(3-4배 속도 향상)이 필요한 경우 소비자 GPU에 대형 모델(70B, 405B)을 배포하는 데 사용합니다. QLoRA 미세 조정을 위해 변압기 및 PEFT와 통합됩니다. 출처: ovachiever/droid-tings.
gptq 설치 방법은?
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/ovachiever/droid-tings --skill gptq 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다
소스 저장소는 어디인가요?
https://github.com/ovachiever/droid-tings
상세
- 카테고리
- </>개발 도구
- 출처
- user
- 최초 등록
- 2026-02-01