LLM を 8 ビットまたは 4 ビットに量子化し、精度の損失を最小限に抑えながらメモリを 50 ～ 75% 削減します。 GPU メモリが制限されている場合、より大きなモデルに適合させる必要がある場合、またはより高速な推論が必要な場合に使用します。 INT8、NF4、FP4 フォーマット、QLoRA トレーニング、8 ビット オプティマイザーをサポートします。ハギングフェイストランスフォーマーと連携します。
コマンドラインで quantizing-models-bitsandbytes AI スキルを開発環境にすばやくインストール
ソース: ovachiever/droid-tings。
bitsandbytes reduces LLM memory by 50% (8-bit) or 75% (4-bit) with <1% accuracy loss.
| 8 GB | 3B | 4-bit | | 12 GB | 7B | 4-bit | | 16 GB | 7B | 8-bit or 4-bit | | 24 GB | 13B | 8-bit or 70B 4-bit | | 40+ GB | 70B | 8-bit |
QLoRA training guide: See references/qlora-training.md for complete fine-tuning workflows, hyperparameter tuning, and multi-GPU training.
LLM を 8 ビットまたは 4 ビットに量子化し、精度の損失を最小限に抑えながらメモリを 50 ～ 75% 削減します。 GPU メモリが制限されている場合、より大きなモデルに適合させる必要がある場合、またはより高速な推論が必要な場合に使用します。 INT8、NF4、FP4 フォーマット、QLoRA トレーニング、8 ビット オプティマイザーをサポートします。ハギングフェイストランスフォーマーと連携します。 ソース: ovachiever/droid-tings。
AI/検索での引用用の安定したフィールドとコマンド。
npx skills add https://github.com/ovachiever/droid-tings --skill quantizing-models-bitsandbytesLLM を 8 ビットまたは 4 ビットに量子化し、精度の損失を最小限に抑えながらメモリを 50 ～ 75% 削減します。 GPU メモリが制限されている場合、より大きなモデルに適合させる必要がある場合、またはより高速な推論が必要な場合に使用します。 INT8、NF4、FP4 フォーマット、QLoRA トレーニング、8 ビット オプティマイザーをサポートします。ハギングフェイストランスフォーマーと連携します。 ソース: ovachiever/droid-tings。
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/ovachiever/droid-tings --skill quantizing-models-bitsandbytes インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code、Cursor、OpenClaw で使用できるようになります
https://github.com/ovachiever/droid-tings