sglang
✓Génération structurée rapide et service pour les LLM avec la mise en cache du préfixe RadixAttention. À utiliser pour les sorties JSON/regex, le décodage contraint, les flux de travail agents avec appels d'outils ou lorsque vous avez besoin d'une inférence 5 fois plus rapide que vLLM avec partage de préfixe. Alimente plus de 300 000 GPU chez xAI, AMD, NVIDIA et LinkedIn.
Installation
SKILL.md
High-performance serving framework for LLMs and VLMs with RadixAttention for automatic prefix caching.
What it does: Automatically caches and reuses common prefixes across requests.
| Simple generation | 2500 tok/s | 2800 tok/s | 1.12× | | Few-shot (10 examples) | 500 tok/s | 5000 tok/s | 10× | | Agent (tool calls) | 800 tok/s | 4000 tok/s | 5× | | JSON output | 600 tok/s | 2400 tok/s | 4× |
Génération structurée rapide et service pour les LLM avec la mise en cache du préfixe RadixAttention. À utiliser pour les sorties JSON/regex, le décodage contraint, les flux de travail agents avec appels d'outils ou lorsque vous avez besoin d'une inférence 5 fois plus rapide que vLLM avec partage de préfixe. Alimente plus de 300 000 GPU chez xAI, AMD, NVIDIA et LinkedIn. Source : ovachiever/droid-tings.
Faits (prêts à citer)
Champs et commandes stables pour les citations IA/recherche.
- Commande d'installation
npx skills add https://github.com/ovachiever/droid-tings --skill sglang- Source
- ovachiever/droid-tings
- Catégorie
- </>Développement
- Vérifié
- ✓
- Première apparition
- 2026-02-01
- Mis à jour
- 2026-02-18
Réponses rapides
Qu'est-ce que sglang ?
Génération structurée rapide et service pour les LLM avec la mise en cache du préfixe RadixAttention. À utiliser pour les sorties JSON/regex, le décodage contraint, les flux de travail agents avec appels d'outils ou lorsque vous avez besoin d'une inférence 5 fois plus rapide que vLLM avec partage de préfixe. Alimente plus de 300 000 GPU chez xAI, AMD, NVIDIA et LinkedIn. Source : ovachiever/droid-tings.
Comment installer sglang ?
Ouvrez votre terminal ou outil de ligne de commande (Terminal, iTerm, Windows Terminal, etc.) Copiez et exécutez cette commande : npx skills add https://github.com/ovachiever/droid-tings --skill sglang Une fois installé, le skill sera automatiquement configuré dans votre environnement de programmation IA et prêt à être utilisé dans Claude Code ou Cursor
Où se trouve le dépôt source ?
https://github.com/ovachiever/droid-tings
Détails
- Catégorie
- </>Développement
- Source
- skills.sh
- Première apparition
- 2026-02-01