Microsoft анонсировала открытый исходный код Deep Speed Chat, который поможет пользователям обучать большие языковые модели, такие как ChatGPT, чтобы каждый мог иметь свой собственный ChatGPT.
Сообщается, что Deep Speed Chat разработан на основе библиотеки оптимизации глубокого обучения Microsoft Deep Speed. Он имеет такие функции, как обучение и расширенное рассуждение. Он также использует технологию RLHF (обучение с подкреплением с механизмом искусственной обратной связи) для повышения эффективности обучения. Скорость работы в 15 раз выше, чем у существующей системы.Более чем в разы, стоимость существенно снижается. Например, модель ChatGPT с 13 миллиардами параметров можно обучить всего за 1,25 часа. (Дейли Планет)
