Изменение политики модерации контента раньше часто означало необходимость переобучать модель. PolicyLM-1.7B от Musubi предлагает другой подход: политики пишутся прямо на английском языке и применяются к сообщениям, а модель менее чем за 50 миллисекунд выдает бинарный ответ — относится ли сообщение к данной категории. Веса модели открыты.

Ускорение достигается за счет ограничения вывода: модель не генерирует текст, а лишь определяет, соответствует ли сообщение категории. Без генерации текста токен за токеном скорость и стоимость становятся сопоставимы с традиционными классификаторами. А для изменения политик не нужно переобучать модель — итерации правил модерации больше не тормозятся на этом этапе.