sglang

SKILL.md

High-performance serving framework for LLMs and VLMs with RadixAttention for automatic prefix caching.

What it does: Automatically caches and reuses common prefixes across requests.

| Simple generation | 2500 tok/s | 2800 tok/s | 1.12× | | Few-shot (10 examples) | 500 tok/s | 5000 tok/s | 10× | | Agent (tool calls) | 800 tok/s | 4000 tok/s | 5× | | JSON output | 600 tok/s | 2400 tok/s | 4× |

Génération structurée rapide et service pour les LLM avec la mise en cache du préfixe RadixAttention. À utiliser pour les sorties JSON/regex, le décodage contraint, les flux de travail agents avec appels d'outils ou lorsque vous avez besoin d'une inférence 5 fois plus rapide que vLLM avec partage de préfixe. Alimente plus de 300 000 GPU chez xAI, AMD, NVIDIA et LinkedIn. Source : orchestra-research/ai-research-skills.

Voir l'original