Amazon Web Services добавила в SageMaker систему Nvidia для совместного использования чипа, благодаря которой несколько моделей на одной конечной точке могут одновременно работать на одном графическом чипе, что позволяет снизить стоимость одного запроса.
Основные выводы
Теперь SageMaker Inference поддерживает разделы Nvidia Multi-Instance GPU (MIG), позволяя разным моделям на одной конечной точке совместно использовать один ускоритель
AWS добавила два необязательных поля API, чтобы клиенты могли разместить конечную точку на полном GPU или на определённом разделе MIG
Разделы MIG выделяют каждому сегменту собственную память и вычислительные ресурсы, обеспечивая изоляцию на аппаратном уровне
Размещение разных рабочих нагрузок на одном ускорителе может повысить его утилизацию и снизить стоимость запроса в парках оборудования для инференса
В пятницу AWS сообщила в блоге, что SageMaker Inference теперь поддерживает Multi-Instance GPU для конечных точек моделей. Nvidia описывает MIG как аппаратное разделение, превращающее один физический GPU в несколько изолированных экземпляров.
Amazon Web Services предоставляет облачную инфраструктуру и продукты для машинного обучения, а SageMaker Inference — это управляемая система для обслуживания моделей через конечные точки в производственной среде.
Новая функция решает базовую экономическую проблему обслуживания моделей с помощью ИИ: небольшие и средние модели часто не используют весь современный GPU.
Один GPU — больше оплачиваемых задач
Выделенная конечная точка обеспечивает модели предсказуемую производительность, но при этом дорогие вычислительные ресурсы могут простаивать. Если модели нужна лишь часть GPU, неиспользуемая часть всё равно резервируется и оплачивается.
MIG меняет ситуацию, разделяя чип на аппаратном уровне. Каждая часть получает собственные ресурсы памяти и вычислений, поэтому небольшая модель может использовать GPU вместе с другой моделью без обходных решений на уровне программного обеспечения.
Это особенно важно для парков оборудования для инференса с разными рабочими нагрузками. Компания может одновременно обслуживать чат-бот, классификатор и модель эмбеддингов, каждый из которых работает с разными профилями трафика.
Размещение их на одном ускорителе может повысить его утилизацию и снизить стоимость запроса.
От гонки за обучением — к марже на инференсе
В течение двух лет рынок ИИ обсуждал покупку новых GPU. Теперь борьба идёт за то, чтобы получать больше дохода от GPU, уже установленных в серверных стойках.
Именно инференс, а не обучение, приводит к тому, что многие облачные счета превращаются в постоянные операционные расходы.
Читайте также: Amazon утверждает, что новый приём работы с памятью может сократить расходы на чат-боты
Пятничное обновление стало частью более широких изменений во всём облачном стеке. Вместо того чтобы считать, что на один ускоритель приходится одна крупная модель, провайдеры оптимизируют инфраструктуру с учётом фрагментации, изоляции и планирования.
Эти проблемы не так бросаются в глаза, но именно они определяют, смогут ли продукты на основе ИИ сохранять маржу при масштабировании.
AWS не ограничила эту функцию какой-либо одной семейством моделей. Поэтому она актуальна для команд, развёртывающих модели обработки изображений, небольшие языковые модели или специализированные системы, которым не нужен эксклюзивный доступ к топовому чипу.
Как SageMaker использует Nvidia Multi-Instance GPU
SageMaker Inference управляет серверами, которые обрабатывают запросы к модели после завершения обучения. Конечная точка модели — это работающий сервис, который получает запросы или данные и возвращает прогнозы. При включённом MIG AWS может разместить компонент инференса на выделенной части совместимого GPU Nvidia, а не на всём устройстве.
Ключевое изменение — изоляция на аппаратном уровне.
Программный планировщик может распределять время работы GPU между задачами, но одна ресурсоёмкая нагрузка всё равно может мешать другой. MIG разделяет ресурсы до запуска задач, поэтому каждая часть получает зарезервированные вычислительные мощности и память.
Благодаря этому проще оценивать задержки и границы отказов.
Для стартапов и внутренних платформенных команд преимущество заключается не только в снижении затрат. MIG также упрощает подбор оборудования под размер рабочей нагрузки.
Теперь лёгкой модели модерации не нужно в одиночку использовать тот же класс ускорителя, что и гораздо более крупные системы.
Операционная сложность и решения о размещении
Разделение GPU на части может сократить потери, но при этом появляется больше вариантов размещения. Теперь командам нужно решать, когда использовать весь GPU, когда — его часть и как менять распределение по мере изменения нагрузки.
Поэтому важно отслеживать работу системы.
Если нагрузка на конечную точку превысит возможности выделенной ей части GPU, задержка вырастет, а экономический эффект исчезнет. Успешными окажутся решения, которые связывают размер модели, трафик и политику разделения GPU, не заставляя инженеров вручную управлять каждой конечной точкой.
Читайте далее: Nvidia сообщает, что 8 000 учреждений теперь используют её инструменты для исследований в области 6G