optimizing-attention-flash

Flash Attention provides 2-4x speedup and 10-20x memory reduction for transformer attention through IO-aware tiling and recomputation.

Flash Attention uses float16/bfloat16 for speed. Float32 not supported.

Integration with HuggingFace Transformers: See references/transformers-integration.md for enabling Flash Attention in BERT, GPT, Llama models.

Ottimizza l'attenzione del trasformatore con Flash Attention per un aumento della velocità di 2-4 volte e una riduzione della memoria di 10-20 volte. Da utilizzare quando si addestrano/eseguono trasformatori con sequenze lunghe (>512 token), si riscontrano problemi di memoria della GPU con attenzione o è necessaria un'inferenza più rapida. Supporta SDPA nativo PyTorch, libreria flash-attn, H100 FP8 e attenzione tramite finestra scorrevole. Fonte: ovachiever/droid-tings.