Anthropicは、データセット名のタイプミスが原因で、重大な安全性の欠陥を抱えたモデルをリリースしました。欠落していたデータセットは、有害なシステムプロンプトを拒否するようモデルを訓練するために特別に設計されたものでした。その結果、モデルは危険な指示を拒否せず、従ってしまいました。

恐ろしいのはここからです。パイプラインは何の通知もなく失敗しました。エラーも警告もありませんでした。このバグが明らかになったのは、モデルが公式のモデルカードにすでに記載された後でした。

これは、データパイプラインの検証が多くのチームの考える以上に重要である理由を示す、格好の事例です。たった1文字のタイプミスで、安全対策の層全体を完全にすり抜けてしまいます。学習スクリプト内の脆弱な文字列照合に依存していると、現在のAI安全対策がいかにもろいかを示しています。