sglang
✓Schnelle strukturierte Generierung und Bereitstellung für LLMs mit RadixAttention-Präfix-Caching. Verwenden Sie es für JSON-/Regex-Ausgaben, eingeschränkte Dekodierung, Agenten-Workflows mit Tool-Aufrufen oder wenn Sie eine 5-mal schnellere Inferenz als vLLM mit Präfixfreigabe benötigen. Betreibt über 300.000 GPUs bei xAI, AMD, NVIDIA und LinkedIn.
Installation
SKILL.md
High-performance serving framework for LLMs and VLMs with RadixAttention for automatic prefix caching.
What it does: Automatically caches and reuses common prefixes across requests.
| Simple generation | 2500 tok/s | 2800 tok/s | 1.12× | | Few-shot (10 examples) | 500 tok/s | 5000 tok/s | 10× | | Agent (tool calls) | 800 tok/s | 4000 tok/s | 5× | | JSON output | 600 tok/s | 2400 tok/s | 4× |
Schnelle strukturierte Generierung und Bereitstellung für LLMs mit RadixAttention-Präfix-Caching. Verwenden Sie es für JSON-/Regex-Ausgaben, eingeschränkte Dekodierung, Agenten-Workflows mit Tool-Aufrufen oder wenn Sie eine 5-mal schnellere Inferenz als vLLM mit Präfixfreigabe benötigen. Betreibt über 300.000 GPUs bei xAI, AMD, NVIDIA und LinkedIn. Quelle: ovachiever/droid-tings.
Fakten (zitierbereit)
Stabile Felder und Befehle für KI/Such-Zitate.
- Installationsbefehl
npx skills add https://github.com/ovachiever/droid-tings --skill sglang- Quelle
- ovachiever/droid-tings
- Kategorie
- </>Entwicklung
- Verifiziert
- ✓
- Erstes Auftreten
- 2026-02-01
- Aktualisiert
- 2026-02-18
Schnelle Antworten
Was ist sglang?
Schnelle strukturierte Generierung und Bereitstellung für LLMs mit RadixAttention-Präfix-Caching. Verwenden Sie es für JSON-/Regex-Ausgaben, eingeschränkte Dekodierung, Agenten-Workflows mit Tool-Aufrufen oder wenn Sie eine 5-mal schnellere Inferenz als vLLM mit Präfixfreigabe benötigen. Betreibt über 300.000 GPUs bei xAI, AMD, NVIDIA und LinkedIn. Quelle: ovachiever/droid-tings.
Wie installiere ich sglang?
Öffnen Sie Ihr Terminal oder Kommandozeilen-Tool (Terminal, iTerm, Windows Terminal, etc.) Kopieren Sie diesen Befehl und führen Sie ihn aus: npx skills add https://github.com/ovachiever/droid-tings --skill sglang Nach der Installation wird der Skill automatisch in Ihrer KI-Programmierumgebung konfiguriert und ist bereit zur Verwendung in Claude Code oder Cursor
Wo ist das Quell-Repository?
https://github.com/ovachiever/droid-tings
Details
- Kategorie
- </>Entwicklung
- Quelle
- skills.sh
- Erstes Auftreten
- 2026-02-01