Pesquisadores de IA de Stanford e da Universidade de Washington supostamente conseguiram o que ninguém imaginava ser possível: eles construíram um modelo de IA chamado s1 por menos de US$ 50 em créditos de computação em nuvem, de acordo com um relatório de pesquisa divulgado na segunda-feira.
O modelo s1 supostamente entrega desempenho equivalente aos modelos de raciocínio de primeira linha, incluindo o o1 da OpenAI e o R1 da DeepSeek, de acordo com benchmarks em testes de matemática e codificação. Melhor ainda, o projeto inteiro está disponível no GitHub — código, dados e tudo.
A equipe começou pegando um modelo pronto em vez de construir algo novo. A partir daí, eles o ajustaram por meio de um processo chamado destilação. De acordo com sua pesquisa, eles destilaram o poder de raciocínio do modelo Gemini 2.0 Flash Thinking Experimental do Google.
Eles treinaram o s1 para imitar as técnicas de resolução de problemas do Gemini aprendendo com suas respostas. “Aspiramos à simplicidade,” disse Niklas Muennighoff, um dos pesquisadores de Stanford envolvidos.
Conjunto de dados pequeno, grandes resultados
A destilação está rapidamente se tornando uma arma de escolha para equipes de IA que buscam cortar custos. Um modelo de IA semelhante desenvolvido no mês passado por pesquisadores de Berkeley custou $450 para treinar—ainda barato pelos padrões da indústria. Mas Stanford e UW foram um passo além, reduzindo os custos para cerca de $50 ao destilar seu modelo com um conjunto de dados menor e técnicas simplificadas.
Os pesquisadores selecionaram a dedo apenas 1.000 perguntas, cada uma emparelhada com respostas detalhadas e raciocínio passo a passo do Gemini 2.0 do Google. Este conjunto de dados forneceu todo o conhecimento que o s1 precisava para atuar em alto nível. De acordo com o artigo da equipe, o modelo aprendeu a pensar em problemas.
O ajuste fino supervisionado, ou SFT, foi fundamental para fazer isso funcionar. Em vez de usar aprendizado por reforço, que requer enormes conjuntos de dados e toneladas de poder computacional, os pesquisadores optaram pelo SFT, um método onde a IA é treinada diretamente para imitar comportamentos encontrados no conjunto de dados. É mais barato e rápido, e neste caso, funcionou.
O modelo base veio do Qwen, o laboratório de IA pertencente ao Alibaba. O modelo à venda era gratuito para download, tornando o projeto ainda mais amigável ao orçamento. Em menos de 30 minutos e usando apenas 16 GPUs Nvidia H100, a equipe terminou de treinar o s1. “Podemos alugar o poder computacional necessário por cerca de $20 hoje,” disse Muennighoff.
O comando “Esperar” aumentou a precisão do s1
Os pesquisadores supostamente incluíram um truque inteligente para melhorar o raciocínio do s1: eles adicionaram a palavra “esperar” durante a resolução de problemas. Ao dizer ao modelo para pausar e verificar seu trabalho, aumentaram a precisão. O artigo de pesquisa detalha como esse ajuste deu ao s1 tempo suficiente para considerar respostas melhores antes de enviá-las.
A OpenAI está observando de perto. Eles já acusaram a DeepSeek de coletar dados de forma inadequada de sua API para construir concorrentes de IA. Com o s1 mostrando como a replicação pode ser barata, grandes jogadores como a OpenAI não estão satisfeitos. A comoditização de modelos de IA pode prejudicar seu resultado final.
Mas a empresa de tecnologia tem outros problemas. Na terça-feira, a equipe jurídica de Elon Musk enfrentou a OpenAI em um tribunal federal em Oakland. Elon, que foi um dos primeiros investidores da OpenAI, alega que a empresa abandonou sua missão sem fins lucrativos e traiu seus objetivos originais.
Ele está processando para bloquear sua transição para um negócio totalmente lucrativo. O advogado de Elon, Marc Toberoff, disse ao tribunal na sexta-feira que Elon investiu $45 milhões na OpenAI entre sua fundação e 2018 porque acreditava que sempre priorizaria o benefício público em relação aos lucros, assim como disse que faria no início.
A juíza Yvonne Gonzalez Rogers chamou isso de “exagero” e questionou por que Elon investiria tanto dinheiro sem um contrato escrito. “Isso é apenas muito dinheiro em um aperto de mãos,” ela zombou. O advogado Toberoff então explicou que Elon e o CEO da OpenAI, Sam Altman, tinham uma relação próxima na época, e tudo era construído sobre confiança.
Mas o caso ainda não está morto. O juiz está preocupado com o relacionamento próximo da OpenAI com a Microsoft. Dois jogadores-chave—o cofundador do LinkedIn Reid Hoffman e a executiva da Microsoft Deanna Templeton—estiveram envolvidos com o conselho da OpenAI. Templeton foi adicionada como membro não votante após a breve destituição de Altman em 2023, mas foi posteriormente removida em meio a preocupações antitruste.
Elon quer parar seus planos e potencialmente ganhar mais controle sobre a empresa por meio de seu próprio empreendimento de IA, a xAI, que ele adicionou como reclamante no caso. A OpenAI argumenta que o pedido de Elon prejudicaria seus negócios e se baseia em alegações “inverossímeis”.
Academia Cryptopolitan: Como Escrever um Currículo Web3 Que Garante Entrevistas - Folha de Dicas GRÁTIS