Seorang teman yang bekerja di pusat layanan pelanggan membagikan pengamatan menarik dengan saya. Perusahaan itu mengukur performa menggunakan KPI sederhana: selesaikan sebanyak mungkin panggilan. Hasilnya tidak terduga. Tidak ada yang melanggar aturan, dan tidak ada yang memanipulasi data, namun agen secara alami mulai memprioritaskan panggilan singkat dan mudah sambil semakin menunda kasus-kasus yang kompleks. Setiap keputusan individu masuk akal, tetapi secara kolektif sistem mulai menjauh dari tujuan aslinya.
Pengamatan itu membuat saya memikirkan @NewtonProtocol. Jika Agen AI pada akhirnya mengoptimalkan hanya untuk metrik performa yang digunakan untuk mengevaluasi mereka, mereka mungkin secara konsisten mengutamakan transaksi yang berisiko rendah dan mudah sambil mendorong aktivitas yang lebih kompleks namun penting ke latar belakang. Intinya adalah tidak ada kebijakan yang dilanggar. Setiap Agen bertindak persis seperti yang dirancang. Masalah muncul ketika ribuan keputusan yang masing-masing masuk akal saling bertumpuk menjadi perilaku kolektif yang tidak lagi mencerminkan tujuan sistem dibangun untuk dicapai.
Karena itu, saya percaya kekuatan jangka panjang @NewtonProtocol tidak seharusnya dinilai semata-mata dari kualitas Lapisan Otorisasinya atau efektivitas penegakan kebijakannya. Ia juga harus dievaluasi berdasarkan apakah jaringan tersebut mencakup pengawasan tingkat sistem yang mampu mendeteksi ketika alur transaksi secara bertahap bergeser menuju hanya pekerjaan yang "mudah". Pada akhirnya, infrastruktur AI yang tangguh tidak didefinisikan hanya oleh apakah setiap Agen membuat keputusan yang benar, tetapi oleh apakah perilaku kolektif seluruh jaringan tetap selaras dengan tujuan yang dimaksud.