Chainbase ha lanzado el modelo de inteligencia artificial de código abierto Theia-Llama-3.1-8B. Es un modelo de lenguaje que se centra en las criptomonedas.
La empresa había lanzado una versión alfa del chatbot llamado TheiaChat en agosto. Fue lanzada en ese momento para revelar las características de Theia.
La formación de Theia se extrajo de dos fuentes
Los datos utilizados para entrenar el modelo se obtuvieron de CoinMarketCap y otros informes de investigación. Los datos de CoinMarketCap utilizados para entrenar y ajustar Theia-Llama-3.1-8B incluyen documentos del proyecto como documentos técnicos, publicaciones de blogs oficiales y artículos de noticias.
Los informes de investigación se obtuvieron de fuentes en línea creíbles para proporcionar información detallada sobre los fundamentos del proyecto, la influencia del mercado y el progreso del desarrollo.
La publicación del blog detalla además que los datos de estas dos fuentes principales también pasaron por un filtrado manual y algorítmico para reducir la redundancia y eliminar errores.
Chainbase también utilizó técnicas sofisticadas para ajustar y optimizar el modelo. El equipo utilizó LoRA (adaptación de bajo rango) para lograr un ajuste eficiente. Esto ayudó a adaptar el modelo base Llama-3.1-8B-Instruct al dominio de las criptomonedas.
El proceso de entrenamiento se mejoró utilizando LLaMA Factory y DeepSpeed, incorporando técnicas avanzadas como ZeRO, offload, sparse attention, 1-bit Adam y paralelismo de pipeline para acelerar el entrenamiento y reducir el uso de memoria.
Además de realizar ajustes, Chainbase optimizó el modelo para prepararlo para una implementación eficiente. Este proceso de cuantificación reduce el uso de memoria del modelo y acelera la inferencia manteniendo una precisión aceptable.
Chainbase propuso un modelo de IA criptográfico de referencia
Para evaluar el rendimiento de Theia-Llama-3.1-8B, Chainbase propuso un punto de referencia para los modelos de IA criptográfica.
El punto de referencia evalúa modelos en siete dimensiones, incluida la comprensión y generación de conocimiento criptográfico, la cobertura de conocimiento y las capacidades de razonamiento.
Los resultados iniciales de la evaluación comparativa que se centran en las capacidades de comprensión y generación en el ámbito de las criptomonedas muestran que Theia-Llama-3.1-8B supera a otros 11 LLM, entre ellos los modelos más populares de OpenAI, Google, Meta, Qwen y DeepSeek. El modelo alcanzó una puntuación de perplejidad de 1,184 y una puntuación BERT de 0,861, superando a los modelos convencionales que se encuentran actualmente en el mercado.
Chainbase también afirmó en su blog que el rendimiento de Theia-Llama-3.1-8B supera el de los modelos convencionales disponibles actualmente en el mercado. “A continuación, construiremos modelos más grandes y evaluaremos más dimensiones de los modelos”, afirmó Chainbase.
