speculative-decoding
✓Acelere la inferencia de LLM mediante decodificación especulativa, cabezas múltiples de Medusa y técnicas de decodificación anticipada. Úselo para optimizar la velocidad de inferencia (aceleración de 1,5 a 3,6 veces), reducir la latencia para aplicaciones en tiempo real o implementar modelos con computación limitada. Cubre modelos preliminares, atención basada en árboles, iteración de Jacobi, generación de tokens paralelos y estrategias de implementación de producción.
Instalación
SKILL.md
Key Techniques: Draft model speculative decoding, Medusa (multiple heads), Lookahead Decoding (Jacobi iteration)
Papers: Medusa (arXiv 2401.10774), Lookahead Decoding (ICML 2024), Speculative Decoding Survey (ACL 2024)
Idea: Use small draft model to generate candidates, large target model to verify in parallel.
Acelere la inferencia de LLM mediante decodificación especulativa, cabezas múltiples de Medusa y técnicas de decodificación anticipada. Úselo para optimizar la velocidad de inferencia (aceleración de 1,5 a 3,6 veces), reducir la latencia para aplicaciones en tiempo real o implementar modelos con computación limitada. Cubre modelos preliminares, atención basada en árboles, iteración de Jacobi, generación de tokens paralelos y estrategias de implementación de producción. Fuente: ovachiever/droid-tings.
Datos (listos para citar)
Campos y comandos estables para citas de IA/búsqueda.
- Comando de instalación
npx skills add https://github.com/ovachiever/droid-tings --skill speculative-decoding- Fuente
- ovachiever/droid-tings
- Categoría
- </>Desarrollo
- Verificado
- ✓
- Primera vez visto
- 2026-02-01
- Actualizado
- 2026-02-18
Respuestas rápidas
¿Qué es speculative-decoding?
Acelere la inferencia de LLM mediante decodificación especulativa, cabezas múltiples de Medusa y técnicas de decodificación anticipada. Úselo para optimizar la velocidad de inferencia (aceleración de 1,5 a 3,6 veces), reducir la latencia para aplicaciones en tiempo real o implementar modelos con computación limitada. Cubre modelos preliminares, atención basada en árboles, iteración de Jacobi, generación de tokens paralelos y estrategias de implementación de producción. Fuente: ovachiever/droid-tings.
¿Cómo instalo speculative-decoding?
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/ovachiever/droid-tings --skill speculative-decoding Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code o Cursor
¿Dónde está el repositorio de origen?
https://github.com/ovachiever/droid-tings
Detalles
- Categoría
- </>Desarrollo
- Fuente
- skills.sh
- Primera vez visto
- 2026-02-01