Lauren TanのAI Engineerカンファレンスでの講演「All Code Is Slop (Except Mine)」が話題になった。彼女はSpaceXでGrok Botのデスクトップ版を担当しており、その中核となる手法は、AIを修正するたびに、その修正内容をlintのような自動チェックルールにすること。agents.mdの説明文書に文章を追加するのは控える。lintルールに違反したコードはエラーになって提出できないが、文書に書かれたことにAIが従うとは限らない。

そのほか、コードコメントの99%を禁止し、AIに自分でプログラムを実行してチェックさせ、画面録画やスクリーンショットを提出させる。チームは先月、1万1,000件のPRをマージし、取り消されたのはわずか約0.5%だった。

もうAIに長々と説明を書くのはやめよう。自動チェックルールにできるものこそ、本当の経験だ。
$BTC