sglang
✓快速结构化生成并为具有 RadixAttention 前缀缓存的法学硕士提供服务。用于 JSON/正则表达式输出、受限解码、带有工具调用的代理工作流程，或者当您需要比具有前缀共享的 vLLM 快 5 倍的推理时。为 xAI、AMD、NVIDIA 和 LinkedIn 的 300,000 多个 GPU 提供支持。
SKILL.md
High-performance serving framework for LLMs and VLMs with RadixAttention for automatic prefix caching.
What it does: Automatically caches and reuses common prefixes across requests.
| Simple generation | 2500 tok/s | 2800 tok/s | 1.12× | | Few-shot (10 examples) | 500 tok/s | 5000 tok/s | 10× | | Agent (tool calls) | 800 tok/s | 4000 tok/s | 5× | | JSON output | 600 tok/s | 2400 tok/s | 4× |
快速结构化生成并为具有 RadixAttention 前缀缓存的法学硕士提供服务。用于 JSON/正则表达式输出、受限解码、带有工具调用的代理工作流程，或者当您需要比具有前缀共享的 vLLM 快 5 倍的推理时。为 xAI、AMD、NVIDIA 和 LinkedIn 的 300,000 多个 GPU 提供支持。 来源：orchestra-research/ai-research-skills。
可引用信息
为搜索与 AI 引用准备的稳定字段与命令。
- 安装命令
npx skills add https://github.com/orchestra-research/ai-research-skills --skill sglang- 分类
- </>开发工具
- 认证
- ✓
- 收录时间
- 2026-02-11
- 更新时间
- 2026-02-18
快速解答
什么是 sglang？
快速结构化生成并为具有 RadixAttention 前缀缓存的法学硕士提供服务。用于 JSON/正则表达式输出、受限解码、带有工具调用的代理工作流程，或者当您需要比具有前缀共享的 vLLM 快 5 倍的推理时。为 xAI、AMD、NVIDIA 和 LinkedIn 的 300,000 多个 GPU 提供支持。 来源：orchestra-research/ai-research-skills。
如何安装 sglang？
打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/orchestra-research/ai-research-skills --skill sglang 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code 或 Cursor 中使用
这个 Skill 的源码在哪？
https://github.com/orchestra-research/ai-research-skills
详情
- 分类
- </>开发工具
- 来源
- skills.sh
- 收录时间
- 2026-02-11