gptq
✓精度損失を最小限に抑えた LLM のトレーニング後の 4 ビット量子化。パープレキシティの低下が 2% 未満でメモリを 4 倍削減する必要がある場合、または FP16 と比較してより高速な推論 (3 ～ 4 倍のスピードアップ) が必要な場合に、コンシューマー GPU に大規模なモデル (70B、405B) をデプロイする場合に使用します。 QLoRA 微調整のためにトランスフォーマーおよび PEFT と統合されています。
SKILL.md
Post-training quantization method that compresses LLMs to 4-bit with minimal accuracy loss using group-wise quantization.
| Group Size | Model Size | Accuracy | Speed | Recommendation |
| -1 (per-column) | Smallest | Best | Slowest | Research only | | 32 | Smaller | Better | Slower | High accuracy needed | | 128 | Medium | Good | Fast | Recommended default | | 256 | Larger | Lower | Faster | Speed critical | | 1024 | Largest | Lowest | Fastest | Not recommended |
精度損失を最小限に抑えた LLM のトレーニング後の 4 ビット量子化。パープレキシティの低下が 2% 未満でメモリを 4 倍削減する必要がある場合、または FP16 と比較してより高速な推論 (3 ～ 4 倍のスピードアップ) が必要な場合に、コンシューマー GPU に大規模なモデル (70B、405B) をデプロイする場合に使用します。 QLoRA 微調整のためにトランスフォーマーおよび PEFT と統合されています。 ソース: ovachiever/droid-tings。
引用可能な情報
AI/検索での引用用の安定したフィールドとコマンド。
- インストールコマンド
npx skills add https://github.com/ovachiever/droid-tings --skill gptq- カテゴリ
- </>開発ツール
- 認証済み
- ✓
- 初回登録
- 2026-02-01
- 更新日
- 2026-02-18
クイックアンサー
gptq とは？
精度損失を最小限に抑えた LLM のトレーニング後の 4 ビット量子化。パープレキシティの低下が 2% 未満でメモリを 4 倍削減する必要がある場合、または FP16 と比較してより高速な推論 (3 ～ 4 倍のスピードアップ) が必要な場合に、コンシューマー GPU に大規模なモデル (70B、405B) をデプロイする場合に使用します。 QLoRA 微調整のためにトランスフォーマーおよび PEFT と統合されています。 ソース: ovachiever/droid-tings。
gptq のインストール方法は？
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/ovachiever/droid-tings --skill gptq インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code や Cursor で使用できるようになります
ソースリポジトリはどこですか？
https://github.com/ovachiever/droid-tings
詳細
- カテゴリ
- </>開発ツール
- ソース
- skills.sh
- 初回登録
- 2026-02-01