sglang
✓RadixAttendant プレフィックス キャッシュを使用した、高速な構造化生成と LLM の提供。 JSON/正規表現出力、制約付きデコード、ツール呼び出しによるエージェント ワークフロー、またはプレフィックス共有による vLLM よりも 5 倍高速な推論が必要な場合に使用します。 xAI、AMD、NVIDIA、LinkedIn で 300,000 個以上の GPU を駆動します。
SKILL.md
High-performance serving framework for LLMs and VLMs with RadixAttention for automatic prefix caching.
What it does: Automatically caches and reuses common prefixes across requests.
| Simple generation | 2500 tok/s | 2800 tok/s | 1.12× | | Few-shot (10 examples) | 500 tok/s | 5000 tok/s | 10× | | Agent (tool calls) | 800 tok/s | 4000 tok/s | 5× | | JSON output | 600 tok/s | 2400 tok/s | 4× |
RadixAttendant プレフィックス キャッシュを使用した、高速な構造化生成と LLM の提供。 JSON/正規表現出力、制約付きデコード、ツール呼び出しによるエージェント ワークフロー、またはプレフィックス共有による vLLM よりも 5 倍高速な推論が必要な場合に使用します。 xAI、AMD、NVIDIA、LinkedIn で 300,000 個以上の GPU を駆動します。 ソース: orchestra-research/ai-research-skills。
引用可能な情報
AI/検索での引用用の安定したフィールドとコマンド。
- インストールコマンド
npx skills add https://github.com/orchestra-research/ai-research-skills --skill sglang- カテゴリ
- </>開発ツール
- 認証済み
- ✓
- 初回登録
- 2026-02-11
- 更新日
- 2026-02-18
クイックアンサー
sglang とは？
RadixAttendant プレフィックス キャッシュを使用した、高速な構造化生成と LLM の提供。 JSON/正規表現出力、制約付きデコード、ツール呼び出しによるエージェント ワークフロー、またはプレフィックス共有による vLLM よりも 5 倍高速な推論が必要な場合に使用します。 xAI、AMD、NVIDIA、LinkedIn で 300,000 個以上の GPU を駆動します。 ソース: orchestra-research/ai-research-skills。
sglang のインストール方法は？
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/orchestra-research/ai-research-skills --skill sglang インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code や Cursor で使用できるようになります
ソースリポジトリはどこですか？
https://github.com/orchestra-research/ai-research-skills
詳細
- カテゴリ
- </>開発ツール
- ソース
- skills.sh
- 初回登録
- 2026-02-11