ByteDance Seedがモデルの安全性とアライメントを専門に扱う部門を設立したそうで、確かに必要性を感じます。

今回、この部門で世界中からトップ研究者を10人採用する予定です。

研究テーマは次のとおりです。
大規模モデルおよびAgentの安全性に関する最先端の評価手法とベンチマークの構築
モデルの最先端能力をアライメントするための学習手法
自動化されたレッドチーミング
モデルの振る舞いの解釈可能性
モデルの能力と振る舞いのモニタリング

ByteDanceは待遇が非常に良いことで知られていますし、仕事自体も大きな挑戦になるはずです。最近ちょうど似た分野の仕事を探している知人がいたら、応募してみてもいいかもしれません。

最近は大規模モデルも小規模モデルも、脱獄やサンドボックスによる隔離環境の突破が頻繁に起きています。

こうしたリスクは、小さな問題で済むこともあれば、重大な問題が一気に起きることもあります。事前にこうした人材を確保し、研究を続けておけば、少なくとも問題が起きたときに素早く対応できます。

モデルの能力が高まり、自律性が強くなるにつれて、危険な分野に潜むリスクも大きくなっています。
たとえばCBRN分野（化学・生物・放射性物質・核の各分野）です。
この4つは自分たちには縁遠いと思う人も多いかもしれませんが、インターネット上で個人を狙ったコンテンツ攻撃は、私たちにとって非常に身近です。
AIがアプリを直接改ざんしたり、家の中にあるほかの機器を制御したりする可能性さえあります。

AIがあらゆるソフトウェアを突破できるようになれば、非常に強力なウイルスをAIが作り出すのも自然な流れでしょう。

私たちのインターネット全体を支える暗号技術の解読も、急速に進むはずです。

客観的に見ると、この分野における中国国内の進展は、OpenAIやAnthropicよりも遅れています。

Anthropicは安全性を目的に設立され、長年アライメントや解釈可能性の研究に取り組んできました。一方、海外のAI業界では1〜2週間おきに安全性に関する話題が持ち上がります。たとえば数日前にはOpenAIの安全性研究者が辞職し、以前にはHugging Faceが侵入被害に遭いました。

モデルの安全性は非常に先端的な学際分野で、多くの探究が必要であり、研究者には幅広い能力が求められます。

世界中から、あるいは公開募集でトップ人材を採用しようとしているのは、こうした理由からです。興味のある方はチェックしてみてください。