Quando as políticas de moderação de conteúdo mudavam, no passado isso muitas vezes significava treinar o modelo novamente. O PolicyLM-1.7B, da Musubi, segue outro caminho: as políticas são escritas diretamente em inglês e aplicadas às mensagens, que recebem em até 50 milissegundos uma resposta binária indicando se pertencem ou não a uma determinada categoria. Os pesos são de código aberto.
O ganho de velocidade vem de limitar as saídas: o modelo não gera texto, apenas indica se algo se enquadra na categoria. Sem a geração palavra por palavra, a velocidade e o custo podem se aproximar dos de um classificador tradicional. Além disso, não é preciso treinar o modelo novamente quando as políticas mudam, evitando que a atualização das regras de moderação fique presa nessa etapa.
O ganho de velocidade vem de limitar as saídas: o modelo não gera texto, apenas indica se algo se enquadra na categoria. Sem a geração palavra por palavra, a velocidade e o custo podem se aproximar dos de um classificador tradicional. Além disso, não é preciso treinar o modelo novamente quando as políticas mudam, evitando que a atualização das regras de moderação fique presa nessa etapa.