Что такое long-context?
Расширяйте контекстные окна моделей трансформаторов, используя методы RoPE, YaRN, ALiBi и позиционной интерполяции. Используйте при обработке длинных документов (32–128 тыс.+ токенов), расширении предварительно обученных моделей за пределы исходных ограничений контекста или реализации эффективного позиционного кодирования. Охватывает вращающиеся вложения, предвзятость внимания, методы интерполяции и стратегии экстраполяции для LLM. Источник: orchestra-research/ai-research-skills.