sglang
✓Generación estructurada rápida y servicio para LLM con almacenamiento en caché de prefijo RadixAttention. Úselo para salidas JSON/regex, decodificación restringida, flujos de trabajo agentes con llamadas a herramientas o cuando necesite una inferencia 5 veces más rápida que vLLM con uso compartido de prefijos. Alimenta más de 300 000 GPU en xAI, AMD, NVIDIA y LinkedIn.
Instalación
SKILL.md
High-performance serving framework for LLMs and VLMs with RadixAttention for automatic prefix caching.
What it does: Automatically caches and reuses common prefixes across requests.
| Simple generation | 2500 tok/s | 2800 tok/s | 1.12× | | Few-shot (10 examples) | 500 tok/s | 5000 tok/s | 10× | | Agent (tool calls) | 800 tok/s | 4000 tok/s | 5× | | JSON output | 600 tok/s | 2400 tok/s | 4× |
Generación estructurada rápida y servicio para LLM con almacenamiento en caché de prefijo RadixAttention. Úselo para salidas JSON/regex, decodificación restringida, flujos de trabajo agentes con llamadas a herramientas o cuando necesite una inferencia 5 veces más rápida que vLLM con uso compartido de prefijos. Alimenta más de 300 000 GPU en xAI, AMD, NVIDIA y LinkedIn. Fuente: ovachiever/droid-tings.
Datos (listos para citar)
Campos y comandos estables para citas de IA/búsqueda.
- Comando de instalación
npx skills add https://github.com/ovachiever/droid-tings --skill sglang- Fuente
- ovachiever/droid-tings
- Categoría
- </>Desarrollo
- Verificado
- ✓
- Primera vez visto
- 2026-02-01
- Actualizado
- 2026-02-18
Respuestas rápidas
¿Qué es sglang?
Generación estructurada rápida y servicio para LLM con almacenamiento en caché de prefijo RadixAttention. Úselo para salidas JSON/regex, decodificación restringida, flujos de trabajo agentes con llamadas a herramientas o cuando necesite una inferencia 5 veces más rápida que vLLM con uso compartido de prefijos. Alimenta más de 300 000 GPU en xAI, AMD, NVIDIA y LinkedIn. Fuente: ovachiever/droid-tings.
¿Cómo instalo sglang?
Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/ovachiever/droid-tings --skill sglang Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code o Cursor
¿Dónde está el repositorio de origen?
https://github.com/ovachiever/droid-tings
Detalles
- Categoría
- </>Desarrollo
- Fuente
- skills.sh
- Primera vez visto
- 2026-02-01