speculative-decoding
✓使用推测性解码、Medusa 多头和前瞻解码技术加速 LLM 推理。在优化推理速度（1.5-3.6 倍加速）、减少实时应用程序的延迟或部署计算有限的模型时使用。涵盖草稿模型、基于树的注意力、雅可比迭代、并行令牌生成和生产部署策略。
SKILL.md
Key Techniques: Draft model speculative decoding, Medusa (multiple heads), Lookahead Decoding (Jacobi iteration)
Papers: Medusa (arXiv 2401.10774), Lookahead Decoding (ICML 2024), Speculative Decoding Survey (ACL 2024)
Idea: Use small draft model to generate candidates, large target model to verify in parallel.
使用推测性解码、Medusa 多头和前瞻解码技术加速 LLM 推理。在优化推理速度（1.5-3.6 倍加速）、减少实时应用程序的延迟或部署计算有限的模型时使用。涵盖草稿模型、基于树的注意力、雅可比迭代、并行令牌生成和生产部署策略。 来源：ovachiever/droid-tings。
可引用信息
为搜索与 AI 引用准备的稳定字段与命令。
- 安装命令
npx skills add https://github.com/ovachiever/droid-tings --skill speculative-decoding- 分类
- </>开发工具
- 认证
- ✓
- 收录时间
- 2026-02-01
- 更新时间
- 2026-02-18
快速解答
什么是 speculative-decoding？
使用推测性解码、Medusa 多头和前瞻解码技术加速 LLM 推理。在优化推理速度（1.5-3.6 倍加速）、减少实时应用程序的延迟或部署计算有限的模型时使用。涵盖草稿模型、基于树的注意力、雅可比迭代、并行令牌生成和生产部署策略。 来源：ovachiever/droid-tings。
如何安装 speculative-decoding？
打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/ovachiever/droid-tings --skill speculative-decoding 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code 或 Cursor 中使用
这个 Skill 的源码在哪？
https://github.com/ovachiever/droid-tings
详情
- 分类
- </>开发工具
- 来源
- skills.sh
- 收录时间
- 2026-02-01