Los investigadores de IA de Stanford y la Universidad de Washington supuestamente lograron lo que nadie creía posible: crearon un modelo de IA llamado s1 por menos de 50 dólares en créditos de computación en la nube, según un informe de investigación publicado el lunes.
Según los informes, el modelo s1 ofrece un rendimiento similar al de los modelos de razonamiento de primer nivel, incluidos el o1 de OpenAI y el R1 de DeepSeek, según los puntos de referencia en pruebas de matemáticas y codificación. Mejor aún, todo el proyecto está disponible en GitHub: código, datos y todo.
El equipo comenzó por tomar un modelo estándar en lugar de crear uno nuevo. A partir de ahí, lo fueron perfeccionando mediante un proceso llamado destilación. Según su investigación, extrajeron el poder de razonamiento del modelo experimental Gemini 2.0 Flash Thinking de Google.
Entrenaron a s1 para imitar las técnicas de resolución de problemas de Gemini aprendiendo de sus respuestas. 'Apuntamos a la simplicidad', dijo Niklas Muennighoff, uno de los investigadores de Stanford involucrados.
Conjunto de datos pequeño, grandes resultados
La destilación se está convirtiendo rápidamente en un arma de elección para los equipos de IA que buscan reducir costos. Un modelo de IA similar desarrollado el mes pasado por investigadores de Berkeley costó $450 para entrenar, aún barato según los estándares de la industria. Pero Stanford y UW lo llevaron un paso más allá, reduciendo los costos a unos $50 al destilar su modelo con un conjunto de datos más pequeño y técnicas simplificadas.
Los investigadores seleccionaron a mano solo 1,000 preguntas, cada una emparejada con respuestas detalladas y razonamientos paso a paso del Gemini 2.0 de Google. Este conjunto de datos proporcionó todo el conocimiento que s1 necesitaba para rendir a un alto nivel. Según el artículo del equipo, el modelo aprendió a pensar en los problemas.
El ajuste fino supervisado, o SFT, fue clave para hacer que esto funcionara. En lugar de utilizar el aprendizaje por refuerzo, que requiere enormes conjuntos de datos y toneladas de potencia de cálculo, los investigadores optaron por SFT, un método en el que la IA se entrena directamente para imitar comportamientos encontrados en el conjunto de datos. Es más barato y rápido, y en este caso, funcionó.
El modelo base provino de Qwen, el laboratorio de IA propiedad de Alibaba. Su modelo estándar estaba disponible para descargar de forma gratuita, lo que hacía que el proyecto fuera aún más económico. En menos de 30 minutos y utilizando solo 16 GPU Nvidia H100, el equipo terminó de entrenar s1. 'Podríamos alquilar la potencia de cálculo necesaria por unos $20 hoy', dijo Muennighoff.
El comando 'esperar' mejoró la precisión de s1
Los investigadores, según informes, incluyeron un truco inteligente para mejorar el razonamiento de s1: añadieron la palabra 'esperar' durante la resolución de problemas. Al decirle al modelo que se detuviera y revisara su trabajo, aumentaron la precisión. El artículo de investigación detalla cómo este ajuste le dio a s1 suficiente tiempo para considerar mejores respuestas antes de enviarlas.
OpenAI está observando de cerca. Ya han acusado a DeepSeek de cosechar datos de manera inapropiada de su API para construir competidores de IA. Con s1 mostrando lo barato que puede ser la replicación, grandes actores como OpenAI no están contentos. La comercialización de los modelos de IA podría perjudicar su resultado final.
Pero la empresa tecnológica tiene otros problemas. El martes, el equipo legal de Elon Musk se enfrentó a OpenAI en un tribunal federal de Oakland. Elon, quien fue un inversionista temprano en OpenAI, afirma que la compañía abandonó su misión sin fines de lucro y traicionó sus objetivos originales.
Él está demandando para bloquear su transición a un negocio completamente con fines de lucro. El abogado de Elon, Marc Toberoff, dijo al tribunal el viernes que Elon invirtió $45 millones en OpenAI entre su fundación y 2018 porque creía que siempre priorizaría el beneficio público sobre las ganancias, tal como decía al principio.
La jueza Yvonne Gonzalez Rogers lo llamó un 'exageración' y cuestionó por qué Elon invertiría tanto dinero sin un contrato escrito. 'Eso es solo mucho dinero en un apretón de manos', se burló. El abogado Toberoff explicó que Elon y el CEO de OpenAI, Sam Altman, tenían una relación cercana en ese momento, y todo se basaba en la confianza.
Pero el caso aún no está muerto. El juez está preocupado por la estrecha relación de OpenAI con Microsoft. Dos actores clave—el cofundador de LinkedIn Reid Hoffman y la ejecutiva de Microsoft Deanna Templeton—estuvieron involucrados con la junta de OpenAI. Templeton fue añadida como miembro no votante después de la breve destitución de Altman en 2023, pero fue eliminada más tarde en medio de preocupaciones antimonopolio.
Elon quiere detener sus planes y potencialmente obtener más control sobre la empresa a través de su propia aventura de IA, xAI, que añadió como demandante en el caso. OpenAI argumenta que la solicitud de Elon perjudicaría su negocio y se basa en afirmaciones 'descabelladas'.
Academia Cryptopolitan: Cómo escribir un currículum Web3 que consiga entrevistas - Hoja de trucos GRATIS