long-context

SKILL.md

Key Techniques: RoPE (Rotary Position Embeddings), YaRN, ALiBi (Attention with Linear Biases), Position Interpolation

Papers: RoFormer (arXiv 2104.09864), YaRN (arXiv 2309.00071), ALiBi (arXiv 2108.12409), Position Interpolation (arXiv 2306.15595)

| Method | Max Context | Training Needed | Memory | Extrapolation | Best For |

Étendez les fenêtres contextuelles des modèles de transformateur à l'aide des techniques RoPE, YaRN, ALiBi et d'interpolation de position. À utiliser lors du traitement de documents longs (32 000 à 128 000+ jetons), de l'extension de modèles pré-entraînés au-delà des limites du contexte d'origine ou de la mise en œuvre d'encodages de position efficaces. Couvre les intégrations rotatives, les biais d'attention, les méthodes d'interpolation et les stratégies d'extrapolation pour les LLM. Source : orchestra-research/ai-research-skills.

Voir l'original