gptq
✓Cuantización de 4 bits posterior al entrenamiento para LLM con una pérdida de precisión mínima. Úselo para implementar modelos grandes (70B, 405B) en GPU de consumo, cuando necesite una reducción de memoria 4 veces con una degradación de perplejidad <2 %, o para una inferencia más rápida (aceleración de 3-4 veces) en comparación con FP16. Se integra con transformadores y PEFT para ajuste fino de QLoRA.
Instalación
SKILL.md
Post-training quantization method that compresses LLMs to 4-bit with minimal accuracy loss using group-wise quantization.
| Group Size | Model Size | Accuracy | Speed | Recommendation |
| -1 (per-column) | Smallest | Best | Slowest | Research only | | 32 | Smaller | Better | Slower | High accuracy needed | | 128 | Medium | Good | Fast | Recommended default | | 256 | Larger | Lower | Faster | Speed critical | | 1024 | Largest | Lowest | Fastest | Not recommended |
Cuantización de 4 bits posterior al entrenamiento para LLM con una pérdida de precisión mínima. Úselo para implementar modelos grandes (70B, 405B) en GPU de consumo, cuando necesite una reducción de memoria 4 veces con una degradación de perplejidad <2 %, o para una inferencia más rápida (aceleración de 3-4 veces) en comparación con FP16. Se integra con transformadores y PEFT para ajuste fino de QLoRA. Fuente: ovachiever/droid-tings.
Datos (listos para citar)
Campos y comandos estables para citas de IA/búsqueda.
- Comando de instalación
npx skills add https://github.com/ovachiever/droid-tings --skill gptq- Fuente
- ovachiever/droid-tings
- Categoría
- </>Desarrollo
- Verificado
- ✓
- Primera vez visto
- 2026-02-01
- Actualizado
- 2026-02-18
Respuestas rápidas
¿Qué es gptq?
Cuantización de 4 bits posterior al entrenamiento para LLM con una pérdida de precisión mínima. Úselo para implementar modelos grandes (70B, 405B) en GPU de consumo, cuando necesite una reducción de memoria 4 veces con una degradación de perplejidad <2 %, o para una inferencia más rápida (aceleración de 3-4 veces) en comparación con FP16. Se integra con transformadores y PEFT para ajuste fino de QLoRA. Fuente: ovachiever/droid-tings.
¿Cómo instalo gptq?
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/ovachiever/droid-tings --skill gptq Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code o Cursor
¿Dónde está el repositorio de origen?
https://github.com/ovachiever/droid-tings
Detalles
- Categoría
- </>Desarrollo
- Fuente
- skills.sh
- Primera vez visto
- 2026-02-01