Mungkin saja bahwa aplikasi pembunuh (killer app) dari teori desain mekanisme tata kelola yang berlawanan (adversarial governance mechanism design) akan berujung pada keselamatan AI.
Bandingkan:
https://vitalik.eth.limo/general/2020/09/11/coordination.html
https://aiprospects.substack.com/p/preventing-ai-collusion-are-you-paying
Ada dualitas mendalam antara dua lingkungan tersebut. Keduanya membahas tentang seorang prinsipal yang kurang canggih yang berusaha mendapatkan hasil ideal dari sejumlah agen yang lebih canggih: pada kasus pertama, prinsipalnya adalah algoritme statis dan agennya adalah manusia; pada kasus kedua, prinsipalnya adalah manusia ditambah LLM yang lebih lemah, dan agennya adalah LLM yang lebih kuat.
Temuan kunci adalah bahwa Anda bisa mencapai hasil yang jauh lebih baik jika Anda dapat menjamin batasan tentang seberapa banyak agen bisa berkolusi (lihat: kesetimbangan Nash yang melimpah, dibandingkan dengan "core" teori permainan kooperatif yang sering kosong). Argumen itu secara alami harus dapat diterapkan pada pengaturan baru ini.
Bandingkan:
https://vitalik.eth.limo/general/2020/09/11/coordination.html
https://aiprospects.substack.com/p/preventing-ai-collusion-are-you-paying
Ada dualitas mendalam antara dua lingkungan tersebut. Keduanya membahas tentang seorang prinsipal yang kurang canggih yang berusaha mendapatkan hasil ideal dari sejumlah agen yang lebih canggih: pada kasus pertama, prinsipalnya adalah algoritme statis dan agennya adalah manusia; pada kasus kedua, prinsipalnya adalah manusia ditambah LLM yang lebih lemah, dan agennya adalah LLM yang lebih kuat.
Temuan kunci adalah bahwa Anda bisa mencapai hasil yang jauh lebih baik jika Anda dapat menjamin batasan tentang seberapa banyak agen bisa berkolusi (lihat: kesetimbangan Nash yang melimpah, dibandingkan dengan "core" teori permainan kooperatif yang sering kosong). Argumen itu secara alami harus dapat diterapkan pada pengaturan baru ini.