Suatu kali saya menyewa seorang desainer untuk membuat logo bagi sebuah proyek kecil.
Di pesan pertama, saya hanya menulis sangat singkat:
“Yang penting itu dibuat sederhana saja.”
Seminggu kemudian, desainer mengirimkan versi yang sudah selesai.
Harus diakui, logonya sangat indah.
Warna yang serasi.
Komposisi yang seimbang.
Jauh lebih terlihat profesional daripada yang saya bayangkan.
Tapi saya tetap tidak menggunakannya.
Bukan karena desainer belum bekerja dengan baik.
Tapi karena setelah melihat kembali, saya menyadari bahwa kedua pihak berusaha menciptakan dua hasil yang berbeda.
Desainer sedang mengoptimalkan agar logonya terlihat paling bagus.
Yang benar-benar aku butuhkan adalah sebuah logo yang mudah dicetak pada kemasan kain dengan biaya rendah, dan tetap mudah dikenali saat diperkecil hanya menjadi beberapa sentimeter.
Tidak ada yang salah.
Hanya saja kami sedang mengoptimalkan untuk dua tujuan yang berbeda.
Hal itu membuatku cukup banyak berpikir ketika membaca tentang @NewtonProtocol.
Ketika berbicara tentang eksekusi AI, kita biasanya menilai sebuah hasil dengan bertanya:
“Apakah eksekusinya sudah benar?”
Tapi mungkin masih ada pertanyaan yang lebih sulit.
Eksekusi sedang dioptimalkan untuk tujuan siapa?
Menurutku, inilah tempat perbedaan-perbedaan kecil bisa menciptakan jarak yang sangat besar.
Sebuah agen bisa melakukan setiap langkah dengan sangat akurat.
Tidak melakukan kesalahan.
Tidak ketinggalan.
Tidak melanggar aturan apa pun.
Namun jika seluruh proses dioptimalkan untuk tujuan lain yang berbeda dengan yang benar-benar dibutuhkan pengguna, maka hasil akhirnya masih bisa menjadi sebuah kegagalan.
Yang patut diperhatikan adalah eksekusi seperti itu biasanya sangat sulit dideteksi.
Karena dari luar, semuanya tampak sudah masuk akal.
Baru ketika pengguna menerima hasilnya, penyimpangan tersebut menjadi terlihat.
Menurutku, inilah poin menarik ketika melihat @NewtonProtocol.
Yang aku khawatirkan bukan apakah agen berhasil menyelesaikan eksekusi atau tidak.
Melainkan cara sistem menjaga agar eksekusi tetap selaras dengan tujuan yang benar-benar ingin dioptimalkan pengguna, alih-alih membiarkan agen perlahan beralih ke kriteria lain hanya karena terlihat lebih masuk akal selama proses berlangsung.
Saling sanggah.
Tentu saja, jika sebuah agen selalu berpegang teguh pada tujuan awal yang benar tanpa kemampuan untuk beradaptasi, ia akan menjadi kurang fleksibel menghadapi perubahan dalam kenyataan.
Tapi jika agen secara bebas mengubah kriteria optimasi selama proses eksekusi tanpa mekanisme kontrol, jarak antara apa yang dibutuhkan pengguna dan apa yang dihasilkan sistem akan terus membesar, meskipun setiap langkah dilakukan dengan sangat akurat.
Bagiku, eksekusi AI yang bisa dipercaya bukanlah eksekusi yang menghasilkan tampilan paling indah.
Melainkan eksekusi tetap setia pada tujuan yang sebenarnya ingin dicapai pengguna sejak awal.