optimizing-attention-flash

Flash Attention provides 2-4x speedup and 10-20x memory reduction for transformer attention through IO-aware tiling and recomputation.

Flash Attention uses float16/bfloat16 for speed. Float32 not supported.

Integration with HuggingFace Transformers: See references/transformers-integration.md for enabling Flash Attention in BERT, GPT, Llama models.

Optimise l'attention du transformateur avec Flash Attention pour une accélération de 2 à 4x et une réduction de mémoire de 10 à 20x. À utiliser lors de l'entraînement/de l'exécution de transformateurs avec de longues séquences (> 512 jetons), lorsque vous rencontrez des problèmes de mémoire GPU avec attention ou lorsque vous avez besoin d'une inférence plus rapide. Prend en charge le SDPA natif de PyTorch, la bibliothèque flash-attn, le H100 FP8 et l'attention des fenêtres coulissantes. Source : ovachiever/droid-tings.