sglang
✓快速結構化生成並為具有 RadixAttention 前綴緩存的法學碩士提供服務。用於 JSON/正則表達式輸出、受限解碼、帶有工具調用的代理工作流程，或者當您需要比具有前綴共享的 vLLM 快 5 倍的推理時。為 xAI、AMD、NVIDIA 和 LinkedIn 的 300,000 多個 GPU 提供支持。
SKILL.md
High-performance serving framework for LLMs and VLMs with RadixAttention for automatic prefix caching.
What it does: Automatically caches and reuses common prefixes across requests.
| Simple generation | 2500 tok/s | 2800 tok/s | 1.12× | | Few-shot (10 examples) | 500 tok/s | 5000 tok/s | 10× | | Agent (tool calls) | 800 tok/s | 4000 tok/s | 5× | | JSON output | 600 tok/s | 2400 tok/s | 4× |
快速結構化生成並為具有 RadixAttention 前綴緩存的法學碩士提供服務。用於 JSON/正則表達式輸出、受限解碼、帶有工具調用的代理工作流程，或者當您需要比具有前綴共享的 vLLM 快 5 倍的推理時。為 xAI、AMD、NVIDIA 和 LinkedIn 的 300,000 多個 GPU 提供支持。 來源：ovachiever/droid-tings。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/ovachiever/droid-tings --skill sglang- 分類
- </>開發工具
- 認證
- ✓
- 收錄時間
- 2026-02-01
- 更新時間
- 2026-02-18
快速解答
什麼是 sglang？
快速結構化生成並為具有 RadixAttention 前綴緩存的法學碩士提供服務。用於 JSON/正則表達式輸出、受限解碼、帶有工具調用的代理工作流程，或者當您需要比具有前綴共享的 vLLM 快 5 倍的推理時。為 xAI、AMD、NVIDIA 和 LinkedIn 的 300,000 多個 GPU 提供支持。 來源：ovachiever/droid-tings。
如何安裝 sglang？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/ovachiever/droid-tings --skill sglang 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/ovachiever/droid-tings
詳情
- 分類
- </>開發工具
- 來源
- skills.sh
- 收錄時間
- 2026-02-01