long-context
✓使用 RoPE、YaRN、ALiBi 和位置內插技術擴展變壓器模型的上下文視窗。在處理長文件（32k-128k+ 標記）、將預訓練模型擴展到原始上下文限制之外或實現高效的位置編碼時使用。涵蓋法學碩士的旋轉嵌入、注意力偏差、插值方法和外推策略。
SKILL.md
Key Techniques: RoPE (Rotary Position Embeddings), YaRN, ALiBi (Attention with Linear Biases), Position Interpolation
Papers: RoFormer (arXiv 2104.09864), YaRN (arXiv 2309.00071), ALiBi (arXiv 2108.12409), Position Interpolation (arXiv 2306.15595)
| Method | Max Context | Training Needed | Memory | Extrapolation | Best For |
使用 RoPE、YaRN、ALiBi 和位置內插技術擴展變壓器模型的上下文視窗。在處理長文件（32k-128k+ 標記）、將預訓練模型擴展到原始上下文限制之外或實現高效的位置編碼時使用。涵蓋法學碩士的旋轉嵌入、注意力偏差、插值方法和外推策略。 來源：orchestra-research/ai-research-skills。
可引用資訊
為搜尋與 AI 引用準備的穩定欄位與指令。
- 安裝指令
npx skills add https://github.com/orchestra-research/ai-research-skills --skill long-context- 分類
- </>開發工具
- 認證
- ✓
- 收錄時間
- 2026-02-11
- 更新時間
- 2026-02-18
快速解答
什麼是 long-context？
使用 RoPE、YaRN、ALiBi 和位置內插技術擴展變壓器模型的上下文視窗。在處理長文件（32k-128k+ 標記）、將預訓練模型擴展到原始上下文限制之外或實現高效的位置編碼時使用。涵蓋法學碩士的旋轉嵌入、注意力偏差、插值方法和外推策略。 來源：orchestra-research/ai-research-skills。
如何安裝 long-context？
開啟你的終端機或命令列工具（如 Terminal、iTerm、Windows Terminal 等） 複製並執行以下指令：npx skills add https://github.com/orchestra-research/ai-research-skills --skill long-context 安裝完成後，技能將自動設定到你的 AI 程式設計環境中，可以在 Claude Code 或 Cursor 中使用
這個 Skill 的原始碼在哪？
https://github.com/orchestra-research/ai-research-skills
詳情
- 分類
- </>開發工具
- 來源
- skills.sh
- 收錄時間
- 2026-02-11