Исследование Nous Research подтвердило: токенизаторы могут быть смоделированы чистыми байтами, эра моделей без токенизации на подходе.
Nous Research опубликовало работу, в которой указывается, что токенизаторы, на которых долгое время полагались большие языковые модели, в будущем могут быть заменены. В ходе контролируемых тестов с параметрами 1.7B команда исследователей системно количественно оценила преимущества механизма токенизации и доказала осуществимость пути чистого байтового моделирования.
Почему это важно: токенизация – это базовый шаг в обработке текста для больших моделей, таких как GPT. Если модели без токенизации подтвердят свою эффективность, это окажет глубокое влияние на тренировочные парадигмы, эффективность вывода и межъязыковые способности существующих AI моделей. Прорыв китайской команды в этом направлении имеет важное значение.
#NousResearch #AI #大模型 #分词 #开源