speculative-decoding
✓추측적 디코딩, Medusa 다중 헤드 및 예측 디코딩 기술을 사용하여 LLM 추론을 가속화합니다. 추론 속도(1.5~3.6배 속도 향상)를 최적화하거나, 실시간 애플리케이션의 지연 시간을 줄이거나, 컴퓨팅이 제한된 모델을 배포할 때 사용하세요. 초안 모델, 트리 기반 관심, Jacobi 반복, 병렬 토큰 생성 및 프로덕션 배포 전략을 다룹니다.
SKILL.md
Key Techniques: Draft model speculative decoding, Medusa (multiple heads), Lookahead Decoding (Jacobi iteration)
Papers: Medusa (arXiv 2401.10774), Lookahead Decoding (ICML 2024), Speculative Decoding Survey (ACL 2024)
Idea: Use small draft model to generate candidates, large target model to verify in parallel.
추측적 디코딩, Medusa 다중 헤드 및 예측 디코딩 기술을 사용하여 LLM 추론을 가속화합니다. 추론 속도(1.5~3.6배 속도 향상)를 최적화하거나, 실시간 애플리케이션의 지연 시간을 줄이거나, 컴퓨팅이 제한된 모델을 배포할 때 사용하세요. 초안 모델, 트리 기반 관심, Jacobi 반복, 병렬 토큰 생성 및 프로덕션 배포 전략을 다룹니다. 출처: ovachiever/droid-tings.
인용 가능한 정보
AI/검색 인용용 안정적인 필드와 명령어.
- 설치 명령어
npx skills add https://github.com/ovachiever/droid-tings --skill speculative-decoding- 카테고리
- </>개발 도구
- 인증됨
- ✓
- 최초 등록
- 2026-02-01
- 업데이트
- 2026-02-18
빠른 답변
speculative-decoding이란?
추측적 디코딩, Medusa 다중 헤드 및 예측 디코딩 기술을 사용하여 LLM 추론을 가속화합니다. 추론 속도(1.5~3.6배 속도 향상)를 최적화하거나, 실시간 애플리케이션의 지연 시간을 줄이거나, 컴퓨팅이 제한된 모델을 배포할 때 사용하세요. 초안 모델, 트리 기반 관심, Jacobi 반복, 병렬 토큰 생성 및 프로덕션 배포 전략을 다룹니다. 출처: ovachiever/droid-tings.
speculative-decoding 설치 방법은?
터미널 또는 명령줄 도구(Terminal, iTerm, Windows Terminal 등)를 엽니다 이 명령어를 복사하여 실행합니다: npx skills add https://github.com/ovachiever/droid-tings --skill speculative-decoding 설치 후 스킬은 자동으로 AI 코딩 환경에 설정되어 Claude Code나 Cursor에서 사용할 수 있습니다
소스 저장소는 어디인가요?
https://github.com/ovachiever/droid-tings
상세
- 카테고리
- </>개발 도구
- 출처
- skills.sh
- 최초 등록
- 2026-02-01