يعمل على تحسين انتباه المحولات من خلال Flash Attention لتسريع 2-4x وتقليل الذاكرة 10-20x. يُستخدم عند تدريب/تشغيل المحولات بتسلسلات طويلة (> 512 رمزًا)، أو عند مواجهة مشكلات في ذاكرة وحدة معالجة الرسومات (GPU) مع الانتباه، أو عند الحاجة إلى استنتاج أسرع. يدعم PyTorch الأصلي SDPA ومكتبة flash-attn وH100 FP8 وانتبه النافذة المنزلقة.
ثبّت مهارة الذكاء الاصطناعي optimizing-attention-flash بسرعة في بيئة التطوير لديك عبر سطر الأوامر
المصدر: ovachiever/droid-tings.
Flash Attention provides 2-4x speedup and 10-20x memory reduction for transformer attention through IO-aware tiling and recomputation.
Flash Attention uses float16/bfloat16 for speed. Float32 not supported.
Integration with HuggingFace Transformers: See references/transformers-integration.md for enabling Flash Attention in BERT, GPT, Llama models.
يعمل على تحسين انتباه المحولات من خلال Flash Attention لتسريع 2-4x وتقليل الذاكرة 10-20x. يُستخدم عند تدريب/تشغيل المحولات بتسلسلات طويلة (> 512 رمزًا)، أو عند مواجهة مشكلات في ذاكرة وحدة معالجة الرسومات (GPU) مع الانتباه، أو عند الحاجة إلى استنتاج أسرع. يدعم PyTorch الأصلي SDPA ومكتبة flash-attn وH100 FP8 وانتبه النافذة المنزلقة. المصدر: ovachiever/droid-tings.
حقول وأوامر مستقرة للاقتباس في أنظمة الذكاء الاصطناعي والبحث.
npx skills add https://github.com/ovachiever/droid-tings --skill optimizing-attention-flashيعمل على تحسين انتباه المحولات من خلال Flash Attention لتسريع 2-4x وتقليل الذاكرة 10-20x. يُستخدم عند تدريب/تشغيل المحولات بتسلسلات طويلة (> 512 رمزًا)، أو عند مواجهة مشكلات في ذاكرة وحدة معالجة الرسومات (GPU) مع الانتباه، أو عند الحاجة إلى استنتاج أسرع. يدعم PyTorch الأصلي SDPA ومكتبة flash-attn وH100 FP8 وانتبه النافذة المنزلقة. المصدر: ovachiever/droid-tings.
افتح الطرفية أو أداة سطر الأوامر لديك مثل Terminal أو iTerm أو Windows Terminal انسخ ونفّذ هذا الأمر: npx skills add https://github.com/ovachiever/droid-tings --skill optimizing-attention-flash بعد التثبيت، سيتم إعداد المهارة تلقائيا في بيئة البرمجة بالذكاء الاصطناعي لديك وتصبح جاهزة للاستخدام في Claude Code أو Cursor أو OpenClaw
https://github.com/ovachiever/droid-tings