long-context
✓使用 RoPE、YaRN、ALiBi 和位置插值技术扩展变压器模型的上下文窗口。在处理长文档（32k-128k+ 标记）、将预训练模型扩展到原始上下文限制之外或实现高效的位置编码时使用。涵盖法学硕士的旋转嵌入、注意力偏差、插值方法和外推策略。
SKILL.md
Key Techniques: RoPE (Rotary Position Embeddings), YaRN, ALiBi (Attention with Linear Biases), Position Interpolation
Papers: RoFormer (arXiv 2104.09864), YaRN (arXiv 2309.00071), ALiBi (arXiv 2108.12409), Position Interpolation (arXiv 2306.15595)
| Method | Max Context | Training Needed | Memory | Extrapolation | Best For |
使用 RoPE、YaRN、ALiBi 和位置插值技术扩展变压器模型的上下文窗口。在处理长文档（32k-128k+ 标记）、将预训练模型扩展到原始上下文限制之外或实现高效的位置编码时使用。涵盖法学硕士的旋转嵌入、注意力偏差、插值方法和外推策略。 来源：orchestra-research/ai-research-skills。
可引用信息
为搜索与 AI 引用准备的稳定字段与命令。
- 安装命令
npx skills add https://github.com/orchestra-research/ai-research-skills --skill long-context- 分类
- </>开发工具
- 认证
- ✓
- 收录时间
- 2026-02-11
- 更新时间
- 2026-02-18
快速解答
什么是 long-context？
使用 RoPE、YaRN、ALiBi 和位置插值技术扩展变压器模型的上下文窗口。在处理长文档（32k-128k+ 标记）、将预训练模型扩展到原始上下文限制之外或实现高效的位置编码时使用。涵盖法学硕士的旋转嵌入、注意力偏差、插值方法和外推策略。 来源：orchestra-research/ai-research-skills。
如何安装 long-context？
打开你的终端或命令行工具（如 Terminal、iTerm、Windows Terminal 等） 复制并运行以下命令：npx skills add https://github.com/orchestra-research/ai-research-skills --skill long-context 安装完成后，技能将自动配置到你的 AI 编程环境中，可以在 Claude Code 或 Cursor 中使用
这个 Skill 的源码在哪？
https://github.com/orchestra-research/ai-research-skills
详情
- 分类
- </>开发工具
- 来源
- skills.sh
- 收录时间
- 2026-02-11