Одним из ключевых направлений NVIDIA Mission Control 2.5 стала автоматическая перезагрузка кластеров Kubernetes. По официальным данным, эта система предназначена для обучения больших моделей на тысячах графических процессоров: чем больше масштаб обучения, тем дороже обходится время, необходимое на восстановление после сбоя кластера. Поэтому мониторинг и автоматизацию встроили непосредственно в кластер. В качестве показателей по-прежнему используют привычные для центров обработки данных метрики — MTTR (среднее время восстановления) и MTBF (среднее время наработки на отказ), только теперь речь идёт об ИИ-фабриках. В исходном тексте подробно не описаны ни процесс восстановления, ни условия его запуска; пока отметим, что это обновление направлено на сокращение простоев кластеров из-за сбоев.

$NVDAB