Что такое ray-train?
Распределенная оркестровка обучения по кластерам. Масштабирует PyTorch/TensorFlow/HuggingFace от ноутбука до тысяч узлов. Встроенная настройка гиперпараметров с помощью Ray Tune, отказоустойчивость, эластичное масштабирование. Используйте при обучении массивных моделей на нескольких машинах или при выполнении распределенной проверки гиперпараметров. Источник: orchestra-research/ai-research-skills.