Microsoft は、ユーザーが ChatGPT などの大規模な言語モデルをトレーニングできるようにするために、Deep Speed Chat のオープンソースを発表し、誰もが独自の ChatGPT を持てるようにしました。

Deep Speed ChatはMicrosoftのDeep Speed深層学習最適化ライブラリに基づいて開発されていると報告されており、トレーニングや強化された推論などの機能を備えており、トレーニングを強化するためにRLHF(人工フィードバックメカニズムを備えた強化学習)テクノロジーも使用されています。既存システムに比べて15倍以上の高速化を実現し、コストを大幅に削減します。たとえば、130 億個のパラメータを持つ ChatGPT のようなモデルは、わずか 1.25 時間でトレーニングできます。 (デイリープラネット)