Согласно опубликованному в понедельник отчету об исследовании, исследователи искусственного интеллекта из Стэнфорда и Вашингтонского университета якобы осуществили то, что никто не считал возможным: они создали модель искусственного интеллекта под названием s1, заплатив менее 50 долларов в виде кредитов на облачные вычисления.

Модель s1, как сообщается, обеспечивает производительность на уровне моделей рассуждений высшего уровня, включая o1 от OpenAI и R1 от DeepSeek, согласно бенчмаркам по математике и тестам кодирования. Еще лучше, весь проект доступен на GitHub — код, данные и все остальное.

Команда начала с того, что взяла готовую модель вместо того, чтобы строить что-то новое. Затем они доработали ее с помощью процесса, называемого дистилляцией. Согласно их исследованию, они извлекли силу рассуждения из экспериментальной модели Gemini 2.0 Flash Thinking Experimental от Google.

Они обучили s1 имитировать техники решения проблем Gemini, изучая его ответы. «Мы стремились к простоте», — сказал Никлас Мюннигофф, один из исследователей Стэнфорда, участвовавших в проекте.

Малый набор данных, большие результаты

Дистилляция быстро становится оружием выбора для команд ИИ, стремящихся снизить затраты. Похожая модель ИИ, разработанная в прошлом месяце исследователями из Беркли, стоила 450 долларов на обучение — всё еще дешево по сравнению с отраслевыми стандартами. Но Стэнфорд и UW сделали шаг дальше, снизив затраты до около 50 долларов, дистиллируя свою модель с помощью меньшего набора данных и упрощенных техник.

Исследователи тщательно отобрали всего 1000 вопросов, каждый из которых был paired с детализированными ответами и поэтапной логикой от Google’s Gemini 2.0. Этот набор данных предоставил все знания, необходимые s1 для работы на высоком уровне. Согласно статье команды, модель научилась мыслить, решая задачи.

Супервизированная тонкая настройка, или SFT, была ключом к успешной работе. Вместо использования обучения с подкреплением, которое требует огромных наборов данных и много вычислительной мощности, исследователи выбрали SFT, метод, при котором ИИ обучается непосредственно имитировать поведение, найденное в наборе данных. Это дешевле и быстрее, и в данном случае это сработало.

Базовая модель пришла из Qwen, лаборатории ИИ, принадлежащей Alibaba. Их готовая модель была бесплатна для скачивания, что сделало проект еще более бюджетным. За менее чем 30 минут и с использованием всего 16 графических процессоров Nvidia H100 команда завершила обучение s1. «Мы могли арендовать необходимую вычислительную мощность за около 20 долларов сегодня», — сказал Мюннигофф.

Команда «Подождите» повысила точность s1

Исследователи, по сообщениям, включили хитрый трюк для улучшения логики s1: они добавили слово «подождите» во время решения задач. Сказав модели сделать паузу и дважды проверить свою работу, они увеличили точность. В исследовательской статье подробно описано, как эта доработка дала s1 достаточно времени, чтобы рассмотреть лучшие ответы перед их отправкой.

OpenAI внимательно следит за ситуацией. Они уже обвинили DeepSeek в неправомерном сборе данных из своего API для создания конкурентов ИИ. С учетом того, что s1 демонстрирует, насколько дешевым может быть воспроизводство, такие крупные игроки, как OpenAI, не в восторге. Коммодитизация моделей ИИ может негативно сказаться на их прибыли.

Но у технологической компании есть и другие проблемы. В вторник юридическая команда Элон Маска противостояла OpenAI в федеральном суде Окленда. Элон, который был ранним инвестором OpenAI, утверждает, что компания abandonила свою некоммерческую миссию и предала свои первоначальные цели.

Он подает в суд, чтобы заблокировать их переход к полностью коммерческому бизнесу. Адвокат Элон, Марк Тоберофф, сказал суду в пятницу, что Элон инвестировал 45 миллионов долларов в OpenAI между его основанием и 2018 годом, потому что верил, что она всегда будет ставить общественную пользу выше прибыли, как это и заявлялось в начале.

Судья Ивонн Гонсалес Роджерс назвала это «растяжкой» и задала вопрос, почему Элон вообще вложил так много денег без письменного контракта. «Это просто много денег на рукопожатие», — высмеивала она. Адвокат Тоберофф затем объяснил, что Элон и генеральный директор OpenAI, Сэм Альтман, имели близкие отношения в то время, и всё строилось на доверии.

Но дело еще не мертво. Судья обеспокоен близкими отношениями OpenAI с Microsoft. Два ключевых игрока — соучредитель LinkedIn Рид Хоффман и исполнительный директор Microsoft Деанна Темплтон — были вовлечены в совет директоров OpenAI. Темплтон была добавлена в качестве члена без права голоса после краткого увольнения Альтмана в 2023 году, но позже была удалена на фоне антимонопольных опасений.

Элон хочет остановить их планы и потенциально получить больше контроля над компанией через свое собственное предприятие ИИ, xAI, которое он добавил в качестве истца в деле. OpenAI утверждает, что запрос Элона подорвет его бизнес и основан на «необоснованных» утверждениях.

Cryptopolitan Academy: Как написать резюме для Web3, чтобы получить собеседования - БЕСПЛАТНЫЙ Чек-лист