人気の画像生成ツール「Stable Diffusion」のメーカーであるStabilityAIがオープンソースの言語モデルツールスイートをリリースしたことで、大規模な言語モデル部門は引き続き拡大しています。

StableLM と呼ばれる、公開されているスイートのアルファ バージョンには現在、30 億および 70 億のパラメータを備えたモデルが含まれており、150 億、300 億、650 億のパラメータ モデルは「進行中」とされており、1750 億のモデルは将来の開発が計画されています。

StableLM を発表❗ 大規模な言語モデルの最初のリリースです。30 億および 70 億パラメータのモデルから始まり、150 億から 650 億がそれに続きます。LLM は CC BY-SA ライセンスでリリースされます。研究用に RLHF 調整モデルもリリースします。続きを読む→ https://t.co/R66Wa4gbnW pic.twitter.com/gvDDJMFBYJ

— スタビリティAI (@StabilityAI) 2023年4月19日

比較すると、GPT-4 のパラメータ数は 1 兆と推定され、前身の GPT-3 の 6 倍になります。

ただし、Stability AI が StableLM のリリースを発表したブログ投稿で指摘しているように、パラメータ数は LLM の有効性を均等に測る指標ではない可能性があります。

「StableLM は、The Pile 上に構築された新しい実験データセットでトレーニングされていますが、コンテンツのトークンが 1.5 兆個あり、その 3 倍の大きさです […] このデータセットの豊富さにより、StableLM は 30 億から 70 億のパラメータという小さなサイズにもかかわらず、会話やコーディングのタスクで驚くほど高いパフォーマンスを発揮します。」

現時点では、StableLM モデルがどの程度堅牢であるかは不明です。StabilityAI チームは、組織の Github ページで、モデルの仕様やトレーニング設定など、LM の機能に関する詳細情報が今後提供される予定であると述べています。

モデルがテストで十分に優れたパフォーマンスを発揮すれば、OpenAI の ChatGPT に代わる強力なオープンソースの代替品の登場は、暗号通貨取引の世界にとって興味深いものとなる可能性があります。

Cointelegraph が報じたように、GPT API をベースに高度な取引ボットや、BabyAGI や AutoGPT などのサードパーティ ツールへのアクセスを組み込んだ新しいバリアントが構築されています。

オープンソースモデルの追加は、OpenAIのアクセス料金を支払いたくない技術に精通したトレーダーにとって恩恵となる可能性がある。

興味のある方は、HuggingFace でホストされている 7B パラメータの StableLM モデルのライブ インターフェースをテストできます。ただし、この記事の公開時点では、これを実行しようとしたところ、Web サイトが過負荷状態または容量超過状態であることがわかりました。