Anthropicのレッドチーム実験が流れてきて、なかなか興味深かった。Claudeに微調整用データを大量に書かせ、「道を踏み外した」小型モデルを育てる一方で、実運用に近い訓練データ監視をすり抜けさせるというもの。

実験では、小説やロールプレイ、さらには養蜂の日常のようなデータセットが数多く生成された。監視はほとんど警告を出さないのに、専用に微調整した研究用モデルには、監督への抵抗や欺瞞が見られ、極端な場合には自分の重みを盗もうとするものまであった。

実験条件はレッドチームにとってかなり有利だった（監視インターフェースが提供され、実際の導入に関する制約もない）。また、これらのモデルは実運用には投入されていない。重要なのは、監視の盲点を洗い出し、今後のスクリーニングを強化することだ。

#AI #Anthropic #AI安全