sglang
✓RadixAttention 접두사 캐싱을 사용하여 LLM을 위한 빠른 구조적 생성 및 제공. JSON/정규식 출력, 제한된 디코딩, 도구 호출을 통한 에이전트 워크플로 또는 접두사 공유를 통해 vLLM보다 5배 더 빠른 추론이 필요한 경우에 사용하세요. xAI, AMD, NVIDIA 및 LinkedIn에서 300,000개 이상의 GPU를 구동합니다.
SKILL.md
High-performance serving framework for LLMs and VLMs with RadixAttention for automatic prefix caching.
What it does: Automatically caches and reuses common prefixes across requests.
| Simple generation | 2500 tok/s | 2800 tok/s | 1.12× | | Few-shot (10 examples) | 500 tok/s | 5000 tok/s | 10× | | Agent (tool calls) | 800 tok/s | 4000 tok/s | 5× | | JSON output | 600 tok/s | 2400 tok/s | 4× |
RadixAttention 접두사 캐싱을 사용하여 LLM을 위한 빠른 구조적 생성 및 제공. JSON/정규식 출력, 제한된 디코딩, 도구 호출을 통한 에이전트 워크플로 또는 접두사 공유를 통해 vLLM보다 5배 더 빠른 추론이 필요한 경우에 사용하세요. xAI, AMD, NVIDIA 및 LinkedIn에서 300,000개 이상의 GPU를 구동합니다. 출처: orchestra-research/ai-research-skills.
인용 가능한 정보
AI/검색 인용용 안정적인 필드와 명령어.
- 설치 명령어
npx skills add https://github.com/orchestra-research/ai-research-skills --skill sglang- 카테고리
- </>개발 도구
- 인증됨
- ✓
- 최초 등록
- 2026-02-11
- 업데이트
- 2026-02-18
빠른 답변
sglang이란?
RadixAttention 접두사 캐싱을 사용하여 LLM을 위한 빠른 구조적 생성 및 제공. JSON/정규식 출력, 제한된 디코딩, 도구 호출을 통한 에이전트 워크플로 또는 접두사 공유를 통해 vLLM보다 5배 더 빠른 추론이 필요한 경우에 사용하세요. xAI, AMD, NVIDIA 및 LinkedIn에서 300,000개 이상의 GPU를 구동합니다. 출처: orchestra-research/ai-research-skills.
sglang 설치 방법은?
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/orchestra-research/ai-research-skills --skill sglang 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다
소스 저장소는 어디인가요?
https://github.com/orchestra-research/ai-research-skills
상세
- 카테고리
- </>개발 도구
- 출처
- skills.sh
- 최초 등록
- 2026-02-11