Setelah menghabiskan waktu menelaah Newton Protocol, saya mulai mempertanyakan sesuatu yang jarang muncul dalam percakapan tentang agen AI.
Kebanyakan orang khawatir tentang AI yang berandal.
Saya mulai berpikir bahwa risiko yang lebih besar adalah yang patuh.
Bukan agen yang melanggar aturan. Agen yang mengikuti aturan dengan sempurna sambil beroperasi di bawah izin yang tidak pernah dipikirkan dengan benar.
Itu jenis kegagalan yang berbeda. Dan menjadi jauh lebih sulit untuk diabaikan begitu AI mulai menggerakkan uang, bukan sekadar menghasilkan teks.
Banyak perbincangan tentang agen otonom masih berkisar pada kapabilitas. Bisakah mereka meneliti? Bisakah mereka berdagang? Bisakah mereka mengotomatisasi alur kerja? Bisakah mereka mengelola operasional?
Pertanyaan-pertanyaan itu penting, tetapi mengasumsikan bahwa kecerdasan yang lebih baik adalah hambatan utama.
Saya tidak yakin itu.
Bayangkan memberi sebuah agen AI wewenang untuk mengelola pengeluaran perangkat lunak yang berulang bagi sebuah perusahaan. Tugas itu terdengar tidak berbahaya. Perbarui langganan, bayarkan tagihan, pastikan layanan tetap berjalan.
Sekarang bayangkan enam bulan kemudian perusahaan berkembang, mengintegrasikan sepuluh alat baru, menghubungkan beberapa sistem pembayaran, dan mendelegasikan tanggung jawab lebih besar kepada agen yang sama karena terus berkinerja baik.
Tidak ada yang rusak.
Tidak ada perilaku berbahaya yang muncul.
Tidak terjadi kesalahan besar.
Namun, cakupan wewenang diam-diam menjadi jauh lebih besar daripada yang awalnya dimaksudkan siapa pun.
Skenario itu terasa lebih realistis bagi saya dibanding gambaran populer ketika sebuah AI tiba-tiba menjadi liar.
Masalah serius pertama dalam ekonomi otonom mungkin berasal dari pergeseran izin, bukan kegagalan kecerdasan.
Itulah cara pandang yang terus saya bawa ketika melihat Newton Protocol.
Bagian yang menarik perhatian saya bukan kecepatan transaksi atau otomatisasi. Melainkan fokus untuk mendefinisikan apa yang diizinkan untuk dilakukan oleh sebuah agen sebelum ia bertindak.
Karena begitu agen mulai berinteraksi dengan sistem ekonomi nyata, otorisasi menjadi infrastruktur operasional.
Pertimbangkan dua situasi.
Pada skenario pertama, sebuah agen AI diizinkan membelanjakan hingga $500 setiap bulan untuk vendor perangkat lunak yang disetujui. Masuk permintaan pembayaran untuk layanan yang sudah dikenal. Transaksi berjalan langsung.
Pada skenario kedua, agen yang sama menghadapi permintaan dari vendor baru yang sebelumnya tidak disetujui. Pembayaran tidak ditolak karena agen tidak cerdas. Pembayaran berhenti karena kerangka izin memaksa adanya lapisan validasi tambahan.
Gesekan bergerak ke hulu.
Biayanya terlihat sebelum kesalahan terjadi, bukan setelahnya.
Kedengarannya jelas sampai Anda memikirkan skala.
Seorang manajer bisa meninjau dua puluh keputusan secara manual per hari.
Jaringan otonom berisi para agen mungkin menghasilkan ribuan.
Pada titik itu, kepercayaan berhenti menjadi sesuatu yang secara aktif disediakan manusia. Kepercayaan harus tertanam di dalam sistem itu sendiri.
Satu hal yang menarik bagi saya adalah bahwa kontrol izin yang lebih kuat tidak gratis.
Mereka mengurangi risiko, tetapi juga mengurangi fleksibilitas.
Agen yang beroperasi dalam batas sempit bisa melewatkan peluang yang akan ditangkap oleh sistem yang lebih otonom. Pemeriksaan tambahan menambah latensi. Validasi yang lebih banyak berarti kompleksitas yang lebih besar. Selalu ada kompromi antara kecepatan dan kontrol.
Kompromi itu sering diabaikan karena otonomi lebih mudah dipasarkan daripada batasan.
Namun, batasan biasanya tempat keandalan berasal dari.
Coba eksperimen pikir sederhana.
Jika hari ini Anda harus memilih antara agen AI dengan penalaran luar biasa dan wewenang belanja yang tidak terbatas, atau agen rata-rata yang beroperasi di dalam batas izin yang ketat, kepada siapa Anda akan mempercayai akun bisnis Anda?
Kebanyakan orang menjawab lebih cepat daripada yang mereka kira.
Dan jawabannya biasanya lebih banyak bicara tentang kepercayaan daripada kecerdasan.
Mungkin saya terlalu menekankan masalah ini. Itu bisa jadi.
Industri AI punya kebiasaan membuat hambatan hari ini terlihat permanen sebelum suatu perubahan yang tak terduga mengubah lanskap. Model yang lebih baik suatu saat dapat mengurangi banyak kekhawatiran ini.
Namun, saya terus kembali pada pengamatan yang sama.
Setiap sistem ekonomi yang matang pada akhirnya mengembangkan mekanisme untuk otoritas yang didelegasikan.
Perusahaan memiliki rantai persetujuan.
Bank memiliki lapisan otorisasi.
Pemerintah memiliki proses pengawasan.
Bukan karena para peserta berniat jahat, tetapi karena wewenang meluas seiring waktu jika tidak ada yang menetapkan batas yang jelas.
Mengapa agen otonom akan berbeda?
Di sinilah Newton Protocol mulai terasa kurang seperti proyek AI dan lebih seperti eksperimen tata kelola.
Pertanyaannya bukan apakah sebuah agen bisa mengeksekusi sebuah tindakan.
Pertanyaannya adalah apakah seseorang nanti bisa memverifikasi mengapa tindakan itu diizinkan sejak awal.
Itu menjadi pertanyaan yang jauh kurang menarik.
Itu juga kemungkinan besar yang paling penting.
Hanya setelah memikirkan lensa itu, token mulai masuk akal.
Jika sebuah jaringan bertanggung jawab untuk menegakkan izin, memvalidasi tindakan, dan menjaga akuntabilitas, para peserta perlu insentif untuk berperilaku jujur. Kesesuaian ekonomi menjadi bagian dari model kepercayaan, bukan fitur terpisah.
Token itu bukan alasan sistem ini ada.
Itu adalah konsekuensi dari masalah yang sedang coba diselesaikan oleh sistem.
Yang masih mengganjal dalam pikiran saya bukanlah Newton itu sendiri.
Kemungkinannya adalah kita sedang mengajukan pertanyaan yang salah tentang AI.
Kita menghabiskan begitu banyak waktu untuk berdebat apakah AI bisa mengambil keputusan.
Kita menghabiskan waktu jauh lebih sedikit untuk menanyakan siapa yang menetapkan izinnya.
Dan jika pada akhirnya agen otonom menjadi bertanggung jawab atas aktivitas ekonomi yang berarti, pertanyaan kedua itu mungkin akan menyerap perhatian jauh lebih besar daripada pertanyaan pertama.