Что такое huggingface-accelerate?
Простейший API распределенного обучения. 4 строки для добавления распределенной поддержки в любой скрипт PyTorch. Единый API для DeepSpeed/FSDP/Megatron/DDP. Автоматическое размещение устройства, смешанная точность (FP16/BF16/FP8). Интерактивная конфигурация, одна команда запуска. Стандарт экосистемы HuggingFace. Источник: orchestra-research/ai-research-skills.