Chainbase发布了开源人工智慧模型Theia-Llama-3.1-8B。它是一种专注于加密货币的语言模型。

该公司于 8 月推出了名为 TheiaChat 的聊天机器人的 alpha 版本。当时发布是为了揭露Theia的特性。

Theia 训练有两个来源

用于训练模型的数据取自 CoinMarketCap 和其他研究报告。 CoinMarketCap 用于训练和微调 Theia-Llama-3.1-8B 的资料包括白皮书、官方部落格文章和新闻文章等专案文件。

研究报告来自可靠的在线资源，旨在深入了解项目的基本面、市场影响力和发展进展。

博客文章进一步详细说明，这两个主要来源的数据也经过手动和算法过滤，以减少冗余和消除错误。

Chainbase 还使用了复杂的技术来微调和优化模型。该团队使用 LoRA（低秩自适应）进行有效微调。这有助于将基础 Llama-3.1-8B-Instruct 模型适应加密货币领域。

使用 LLaMA Factory 和 DeepSpeed 增强了训练过程，结合了 ZeRO、卸载、稀疏注意力、1 位 Adam 和流水线并行等先进技术，以加快训练速度并减少内存使用。

除了微调之外，Chainbase 还优化了模型，以便高效部署。此量化过程减少了模型的内存占用并加快了推理速度，同时保持了可接受的准确度。

Chainbase 提出了加密 AI 模型基准

为了评估 Theia-Llama-3.1-8B 的性能，Chainbase 提出了加密 AI 模型的基准。

该基准从七个维度对模型进行评估，包括加密知识理解和生成、知识覆盖范围和推理能力。

初步基准测试结果侧重于加密领域的理解和生成能力，结果显示 Theia-Llama-3.1-8B 的表现优于其他 11 个 LLM。其中包括来自 OpenAI、Google、Meta、Qwen 和 DeepSeek 的热门模型。该模型的困惑度得分为 1.184，BERT 得分为 0.861，超越了目前市场上的主流模型。

Chainbase 还在博文中表示，Theia-Llama-3.1-8B 的性能超过了目前市场上的主流模型。Chainbase 表示：“接下来，我们将构建更大的模型，并评估模型的更多维度。”