speculative-decoding
✓投機的デコード、Medusa マルチヘッド、先読みデコード技術を使用して LLM 推論を高速化します。推論速度の最適化 (1.5 ～ 3.6 倍の高速化)、リアルタイム アプリケーションの遅延の削減、または限られたコンピューティングでモデルを展開する場合に使用します。ドラフト モデル、ツリーベースのアテンション、Jacobi 反復、並列トークン生成、および運用展開戦略について説明します。
SKILL.md
Key Techniques: Draft model speculative decoding, Medusa (multiple heads), Lookahead Decoding (Jacobi iteration)
Papers: Medusa (arXiv 2401.10774), Lookahead Decoding (ICML 2024), Speculative Decoding Survey (ACL 2024)
Idea: Use small draft model to generate candidates, large target model to verify in parallel.
投機的デコード、Medusa マルチヘッド、先読みデコード技術を使用して LLM 推論を高速化します。推論速度の最適化 (1.5 ～ 3.6 倍の高速化)、リアルタイム アプリケーションの遅延の削減、または限られたコンピューティングでモデルを展開する場合に使用します。ドラフト モデル、ツリーベースのアテンション、Jacobi 反復、並列トークン生成、および運用展開戦略について説明します。 ソース: ovachiever/droid-tings。
引用可能な情報
AI/検索での引用用の安定したフィールドとコマンド。
- インストールコマンド
npx skills add https://github.com/ovachiever/droid-tings --skill speculative-decoding- カテゴリ
- </>開発ツール
- 認証済み
- ✓
- 初回登録
- 2026-02-01
- 更新日
- 2026-02-18
クイックアンサー
speculative-decoding とは？
投機的デコード、Medusa マルチヘッド、先読みデコード技術を使用して LLM 推論を高速化します。推論速度の最適化 (1.5 ～ 3.6 倍の高速化)、リアルタイム アプリケーションの遅延の削減、または限られたコンピューティングでモデルを展開する場合に使用します。ドラフト モデル、ツリーベースのアテンション、Jacobi 反復、並列トークン生成、および運用展開戦略について説明します。 ソース: ovachiever/droid-tings。
speculative-decoding のインストール方法は？
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/ovachiever/droid-tings --skill speculative-decoding インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code や Cursor で使用できるようになります
ソースリポジトリはどこですか？
https://github.com/ovachiever/droid-tings
詳細
- カテゴリ
- </>開発ツール
- ソース
- skills.sh
- 初回登録
- 2026-02-01