long-context
✓RoPE、YaRN、ALiBi、位置補間技術を使用して、変圧器モデルのコンテキスト ウィンドウを拡張します。長いドキュメント (32k ～ 128k+ トークン) を処理する場合、事前トレーニングされたモデルを元のコンテキストの制限を超えて拡張する場合、または効率的な位置エンコーディングを実装する場合に使用します。ロータリー埋め込み、注意バイアス、補間方法、LLM の外挿戦略について説明します。
SKILL.md
Key Techniques: RoPE (Rotary Position Embeddings), YaRN, ALiBi (Attention with Linear Biases), Position Interpolation
Papers: RoFormer (arXiv 2104.09864), YaRN (arXiv 2309.00071), ALiBi (arXiv 2108.12409), Position Interpolation (arXiv 2306.15595)
| Method | Max Context | Training Needed | Memory | Extrapolation | Best For |
RoPE、YaRN、ALiBi、位置補間技術を使用して、変圧器モデルのコンテキスト ウィンドウを拡張します。長いドキュメント (32k ～ 128k+ トークン) を処理する場合、事前トレーニングされたモデルを元のコンテキストの制限を超えて拡張する場合、または効率的な位置エンコーディングを実装する場合に使用します。ロータリー埋め込み、注意バイアス、補間方法、LLM の外挿戦略について説明します。 ソース: orchestra-research/ai-research-skills。
引用可能な情報
AI/検索での引用用の安定したフィールドとコマンド。
- インストールコマンド
npx skills add https://github.com/orchestra-research/ai-research-skills --skill long-context- カテゴリ
- </>開発ツール
- 認証済み
- ✓
- 初回登録
- 2026-02-11
- 更新日
- 2026-02-18
クイックアンサー
long-context とは？
RoPE、YaRN、ALiBi、位置補間技術を使用して、変圧器モデルのコンテキスト ウィンドウを拡張します。長いドキュメント (32k ～ 128k+ トークン) を処理する場合、事前トレーニングされたモデルを元のコンテキストの制限を超えて拡張する場合、または効率的な位置エンコーディングを実装する場合に使用します。ロータリー埋め込み、注意バイアス、補間方法、LLM の外挿戦略について説明します。 ソース: orchestra-research/ai-research-skills。
long-context のインストール方法は？
ターミナルまたはコマンドラインツール（Terminal、iTerm、Windows Terminal など）を開きます このコマンドをコピーして実行します: npx skills add https://github.com/orchestra-research/ai-research-skills --skill long-context インストール後、スキルは自動的に AI コーディング環境に設定され、Claude Code や Cursor で使用できるようになります
ソースリポジトリはどこですか？
https://github.com/orchestra-research/ai-research-skills
詳細
- カテゴリ
- </>開発ツール
- ソース
- skills.sh
- 初回登録
- 2026-02-11