long-context

Key Techniques: RoPE (Rotary Position Embeddings), YaRN, ALiBi (Attention with Linear Biases), Position Interpolation

Papers: RoFormer (arXiv 2104.09864), YaRN (arXiv 2309.00071), ALiBi (arXiv 2108.12409), Position Interpolation (arXiv 2306.15595)

| Method | Max Context | Training Needed | Memory | Extrapolation | Best For |

Estendi le finestre di contesto dei modelli di trasformatori utilizzando RoPE, YaRN, ALiBi e tecniche di interpolazione della posizione. Da utilizzare durante l'elaborazione di documenti lunghi (32.000-128.000+ token), l'estensione di modelli preaddestrati oltre i limiti del contesto originale o l'implementazione di codifiche posizionali efficienti. Copre incorporamenti rotanti, distorsioni dell'attenzione, metodi di interpolazione e strategie di estrapolazione per LLM. Fonte: ovachiever/droid-tings.