·optimizing-attention-flash
</>

optimizing-attention-flash

✓
orchestra-research/ai-research-skillsGitHub: orchestra-research/ai-research-skillsИсточник: orchestra-research/ai-research-skills

Оптимизирует внимание трансформера с помощью Flash Attention для ускорения в 2–4 раза и сокращения памяти в 10–20 раз. Используйте при обучении/запуске преобразователей с длинными последовательностями (>512 токенов), при возникновении проблем с памятью графического процессора или при необходимости более быстрого вывода. Поддерживает встроенный SDPA PyTorch, библиотеку flash-attn, H100 FP8 и внимание к скользящему окну.

orchestra-research·optimizing·attention·flash
39Установки·2Тренд·@orchestra-research

Установка

GitHub: orchestra-research/ai-research-skills
$npx skills add https://github.com/orchestra-research/ai-research-skills --skill optimizing-attention-flash

Как установить optimizing-attention-flash

Быстро установите AI-навык optimizing-attention-flash в вашу среду разработки через командную строку

  1. Откройте терминал: Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.)
  2. Выполните команду установки: Скопируйте и выполните эту команду: npx skills add https://github.com/orchestra-research/ai-research-skills --skill optimizing-attention-flash
  3. Проверьте установку: После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw

Источник: orchestra-research/ai-research-skills.

SKILL.md

Показать raw

Flash Attention provides 2-4x speedup and 10-20x memory reduction for transformer attention through IO-aware tiling and recomputation.

Flash Attention uses float16/bfloat16 for speed. Float32 not supported.

Integration with HuggingFace Transformers: See references/transformers-integration.md for enabling Flash Attention in BERT, GPT, Llama models.

Оптимизирует внимание трансформера с помощью Flash Attention для ускорения в 2–4 раза и сокращения памяти в 10–20 раз. Используйте при обучении/запуске преобразователей с длинными последовательностями (>512 токенов), при возникновении проблем с памятью графического процессора или при необходимости более быстрого вывода. Поддерживает встроенный SDPA PyTorch, библиотеку flash-attn, H100 FP8 и внимание к скользящему окну. Источник: orchestra-research/ai-research-skills.

Факты (для цитирования)

Стабильные поля и команды для ссылок в AI/поиске.

Команда установки
npx skills add https://github.com/orchestra-research/ai-research-skills --skill optimizing-attention-flash
Источник
orchestra-research/ai-research-skills
Категория
</>Разработка
Проверено
✓
Впервые замечено
2026-02-11
Обновлено
2026-03-10
URL
https://www.learn-skills.dev/ru/skills/orchestra-research/ai-research-skills/optimizing-attention-flash

Browse more skills from orchestra-research/ai-research-skills

Короткие ответы

Что такое optimizing-attention-flash?

Оптимизирует внимание трансформера с помощью Flash Attention для ускорения в 2–4 раза и сокращения памяти в 10–20 раз. Используйте при обучении/запуске преобразователей с длинными последовательностями (>512 токенов), при возникновении проблем с памятью графического процессора или при необходимости более быстрого вывода. Поддерживает встроенный SDPA PyTorch, библиотеку flash-attn, H100 FP8 и внимание к скользящему окну. Источник: orchestra-research/ai-research-skills.

Как установить optimizing-attention-flash?

Откройте терминал или инструмент командной строки (Terminal, iTerm, Windows Terminal и т.д.) Скопируйте и выполните эту команду: npx skills add https://github.com/orchestra-research/ai-research-skills --skill optimizing-attention-flash После установки навык будет автоматически настроен в вашей AI-среде разработки и готов к использованию в Claude Code, Cursor или OpenClaw

Где находится исходный репозиторий?

https://github.com/orchestra-research/ai-research-skills

Детали

Категория
</>Разработка
Источник
skills.sh
Впервые замечено
2026-02-11

Похожие навыки

ml-paper-writing
142 Установки
prompt-guard
48 Установки
faiss
48 Установки
mlflow
48 Установки
ray-train
48 Установки
serving-llms-vllm
48 Установки