·optimizing-attention-flash
</>

optimizing-attention-flash

orchestra-research/ai-research-skills

Optimiza la atención del transformador con Flash Attention para una aceleración de 2 a 4 veces y una reducción de memoria de 10 a 20 veces. Úselo cuando entrene/ejecute transformadores con secuencias largas (>512 tokens), encuentre problemas de memoria de GPU con atención o necesite una inferencia más rápida. Admite SDPA nativo de PyTorch, biblioteca flash-attn, H100 FP8 y atención de ventana deslizante.

15Instalaciones·0Tendencia·@orchestra-research

Instalación

$npx skills add https://github.com/orchestra-research/ai-research-skills --skill optimizing-attention-flash

SKILL.md

Flash Attention provides 2-4x speedup and 10-20x memory reduction for transformer attention through IO-aware tiling and recomputation.

Flash Attention uses float16/bfloat16 for speed. Float32 not supported.

Integration with HuggingFace Transformers: See references/transformers-integration.md for enabling Flash Attention in BERT, GPT, Llama models.

Optimiza la atención del transformador con Flash Attention para una aceleración de 2 a 4 veces y una reducción de memoria de 10 a 20 veces. Úselo cuando entrene/ejecute transformadores con secuencias largas (>512 tokens), encuentre problemas de memoria de GPU con atención o necesite una inferencia más rápida. Admite SDPA nativo de PyTorch, biblioteca flash-attn, H100 FP8 y atención de ventana deslizante. Fuente: orchestra-research/ai-research-skills.

Ver original

Datos (listos para citar)

Campos y comandos estables para citas de IA/búsqueda.

Comando de instalación
npx skills add https://github.com/orchestra-research/ai-research-skills --skill optimizing-attention-flash
Categoría
</>Desarrollo
Verificado
Primera vez visto
2026-02-11
Actualizado
2026-02-18

Respuestas rápidas

¿Qué es optimizing-attention-flash?

Optimiza la atención del transformador con Flash Attention para una aceleración de 2 a 4 veces y una reducción de memoria de 10 a 20 veces. Úselo cuando entrene/ejecute transformadores con secuencias largas (>512 tokens), encuentre problemas de memoria de GPU con atención o necesite una inferencia más rápida. Admite SDPA nativo de PyTorch, biblioteca flash-attn, H100 FP8 y atención de ventana deslizante. Fuente: orchestra-research/ai-research-skills.

¿Cómo instalo optimizing-attention-flash?

Abre tu terminal o herramienta de línea de comandos (Terminal, iTerm, Windows Terminal, etc.) Copia y ejecuta este comando: npx skills add https://github.com/orchestra-research/ai-research-skills --skill optimizing-attention-flash Una vez instalado, el skill se configurará automáticamente en tu entorno de programación con IA y estará listo para usar en Claude Code o Cursor

¿Dónde está el repositorio de origen?

https://github.com/orchestra-research/ai-research-skills