El gran sector de modelos de lenguaje continúa creciendo a medida que StabilityAI, fabricante de la popular herramienta de generación de imágenes Stable Diffusion, lanzó un conjunto de herramientas de modelos de lenguaje de código abierto.
Apodado StableLM, las versiones alfa disponibles públicamente de la suite contienen actualmente modelos con tres y siete mil millones de parámetros con modelos de 15, 30 y 65 mil millones de parámetros señalados como "en progreso" y un modelo de 175 mil millones planificado para desarrollo futuro.
Anunciando StableLM❗Estamos lanzando el primero de nuestros modelos de lenguajes grandes, comenzando con los modelos de parámetros 3B y 7B, seguidos por 15-65B. Nuestros LLM se publican bajo licencia CC BY-SA. También estamos lanzando modelos sintonizados con RLHF para uso en investigación. Leer más → https://t.co/R66Wa4gbnW pic.twitter.com/gvDDJMFBYJ
– Estabilidad AI (@StabilityAI) 19 de abril de 2023
En comparación, GPT-4 tiene un recuento de parámetros estimado en un billón, seis veces mayor que su predecesor GPT-3.
Sin embargo, es posible que el recuento de parámetros no sea una medida uniforme de la eficacia del LLM, como señaló Stability AI en su publicación de blog anunciando el lanzamiento de StableLM:
“StableLM está entrenado en un nuevo conjunto de datos experimental construido en The Pile, pero tres veces más grande con 1,5 billones de tokens de contenido […] La riqueza de este conjunto de datos le da a StableLM un rendimiento sorprendentemente alto en tareas de conversación y codificación, a pesar de su pequeño tamaño de 3 a 7 mil millones de parámetros”.
No está claro en este momento exactamente qué tan robustos son los modelos StableLM. El equipo de StabilityAI señaló en la página de Github de la organización que próximamente habrá más información sobre las capacidades de los LM, incluidas las especificaciones del modelo y la configuración de capacitación.
Siempre que los modelos funcionen lo suficientemente bien en las pruebas, la llegada de una poderosa alternativa de código abierto al ChatGPT de OpenAI podría resultar interesante para el mundo del comercio de criptomonedas.
Como informó Cointelegraph, la gente está creando robots comerciales avanzados sobre la API de GPT y nuevas variantes que incorporan acceso a herramientas de terceros, como BabyAGI y AutoGPT.
La incorporación de modelos de código abierto a la combinación podría ser una bendición para los comerciantes expertos en tecnología que no quieren pagar las primas de acceso de OpenAI.
Los interesados pueden probar una interfaz en vivo para el modelo StableLM de parámetros 7B alojado en HuggingFace. Sin embargo, en el momento de la publicación de este artículo, nuestros intentos de hacerlo encontraron que el sitio web estaba abrumado o al límite de su capacidad.