A Amazon Web Services adicionou ao SageMaker o sistema de compartilhamento de chips da Nvidia, permitindo que vários modelos em um endpoint sejam executados ao mesmo tempo em um único chip gráfico, o que pode reduzir o custo por solicitação.

Principais conclusões

• O SageMaker Inference agora oferece suporte a partições Multi-Instance GPU (MIG) da Nvidia, permitindo que diferentes modelos em um endpoint compartilhem um único acelerador

• A AWS adicionou dois campos opcionais à API para permitir que os clientes executem um endpoint em uma GPU completa ou em uma fatia específica de MIG

• As partições MIG dão a cada fatia sua própria alocação de memória e capacidade de processamento, proporcionando recursos isolados no nível do hardware

• Agrupar cargas de trabalho variadas em um único acelerador pode aumentar a utilização e reduzir o custo por solicitação em frotas de inferência

A AWS afirmou em uma publicação de sexta-feira no blog que o SageMaker Inference agora oferece suporte a GPUs Multi-Instance para endpoints de modelos. A Nvidia descreve o MIG como um particionamento de hardware que transforma uma GPU física em várias instâncias isoladas.

A Amazon Web Services opera uma infraestrutura de nuvem e produtos de aprendizado de máquina, e o SageMaker Inference é seu sistema gerenciado para disponibilizar modelos por meio de endpoints de produção.

O novo recurso busca resolver um problema econômico básico na disponibilização de IA: modelos pequenos e médios muitas vezes não utilizam uma GPU moderna por inteiro.

Uma GPU, mais trabalho remunerado

Um endpoint dedicado oferece desempenho previsível a um modelo, mas também pode deixar capacidade computacional cara sem uso. Se um modelo precisa de apenas uma fração de uma GPU, a parte não utilizada ainda fica reservada e é cobrada.

O MIG muda isso ao dividir o chip no nível do hardware. Cada fatia recebe sua própria alocação de memória e capacidade computacional, o que permite que um modelo pequeno compartilhe uma GPU com outro modelo sem recorrer a artifícios de compartilhamento apenas por software.

Isso é especialmente importante para frotas de inferência com cargas de trabalho variadas. Uma empresa pode disponibilizar ao mesmo tempo um chatbot, um classificador e um modelo de embeddings, todos com padrões de tráfego diferentes.

Agrupá-los em um único acelerador pode aumentar a utilização e reduzir o custo por solicitação.

Da corrida pelo treinamento à margem na inferência

Durante dois anos, o mercado de IA falou sobre comprar mais GPUs. A próxima disputa é gerar mais receita com as GPUs que já estão nos racks.

É na inferência, e não no treinamento, que muitas contas de nuvem se consolidam como custos operacionais recorrentes.

Leia também: Amazon afirma que novo truque de memória pode reduzir os custos de chatbots

A atualização de sexta-feira acompanha uma mudança mais ampla em toda a infraestrutura de nuvem. Em vez de presumir que cada acelerador executará um único modelo grande, os provedores estão ajustando seus sistemas para lidar com fragmentação, isolamento e agendamento.

São problemas menos chamativos, mas que determinam se os produtos de IA conseguem manter suas margens em grande escala.

A AWS não vinculou o recurso a uma única família de modelos. Isso o torna relevante para equipes que implementam modelos de imagem, modelos de linguagem menores ou sistemas específicos para determinadas tarefas, que não justificam acesso exclusivo a um chip de ponta.

Como o SageMaker usa as GPUs Multi-Instance da Nvidia

O SageMaker Inference gerencia os servidores que respondem às solicitações feitas aos modelos após o fim do treinamento. Um endpoint de modelo é o serviço ativo que recebe instruções ou dados e retorna previsões. Com o MIG ativado, a AWS pode alocar um componente de inferência a uma fração definida de uma GPU Nvidia compatível, em vez de usar o dispositivo inteiro.

A principal mudança é o isolamento no nível do hardware.

Um agendador de software pode compartilhar o tempo de uso de uma GPU, mas uma carga de trabalho que consome muitos recursos ainda pode interferir em outra. O MIG divide os recursos antes da execução dos trabalhos, de modo que cada fatia tenha capacidade e memória reservadas.

Isso facilita a análise da latência e dos domínios de falha.

Para startups e equipes internas de plataforma, o benefício não se resume à redução de custos. O MIG também facilita a adequação do hardware ao tamanho da carga de trabalho.

Um modelo leve de moderação não precisa mais ficar sozinho em uma classe de acelerador que também é usada por sistemas muito maiores.

Complexidade operacional e decisões de alocação

O particionamento de GPUs pode reduzir o desperdício, mas também acrescenta opções de alocação. Agora, as equipes precisam decidir quando usar uma GPU inteira, quando usar uma fatia e como reequilibrar a alocação à medida que o tráfego muda.

Isso torna a observabilidade importante.

Se um endpoint ultrapassar a capacidade da sua fatia, a latência aumentará e a justificativa da economia desaparecerá. As configurações mais bem-sucedidas serão aquelas que conectam o tamanho do modelo, o tráfego e a política de particionamento sem obrigar os engenheiros a gerenciar cada endpoint nos mínimos detalhes.

Leia a seguir: Nvidia afirma que 8.000 instituições já usam suas ferramentas de pesquisa em 6G