Chatbot AI seperti ChatGPT telah menarik perhatian di seluruh dunia berkat kemampuannya yang mirip manusia untuk mendiskusikan topik apa pun.
Namun demikian, laporan Benj Edwards untuk Ars Technica, yang diterbitkan pada hari Kamis (6 April), menyoroti kelemahan utama: chatbots ini dapat secara tidak sengaja menyebarkan informasi palsu namun persuasif, menjadikannya sumber fakta yang tidak dapat diandalkan dan berpotensi menjadi kontributor pencemaran nama baik.
Edwards menjelaskan bahwa chatbot AI, seperti ChatGPT OpenAI, menggunakan “model bahasa besar” (LLM) untuk menghasilkan respons. LLM adalah program komputer yang dilatih pada sejumlah besar data teks untuk membaca dan menghasilkan bahasa alami. Namun, mereka rentan terhadap kesalahan, yang biasa disebut “halusinasi” atau “konfabulasi” di kalangan akademis. Edwards lebih memilih “konfabulasi”, karena ini menunjukkan pemalsuan yang kreatif namun tidak disengaja.
Artikel Ars Technica menggarisbawahi masalah bot AI yang menghasilkan informasi yang menipu, menyesatkan, atau memfitnah. Edwards memberikan contoh ChatGPT yang secara salah menuduh seorang profesor hukum melakukan pelecehan seksual dan secara salah mengklaim bahwa seorang walikota Australia dihukum karena suap. Terlepas dari kelemahan ini, ChatGPT dianggap sebagai peningkatan dari GPT-3, karena dapat menolak menjawab pertanyaan tertentu atau memperingatkan potensi ketidakakuratan.
CEO OpenAI Sam Altman telah mengakui keterbatasan ChatGPT, menulis tweet tentang keterbatasannya yang “luar biasa” dan risiko mengandalkannya untuk hal-hal penting. Altman juga berkomentar tentang pengetahuan dan kecenderungan chatbot untuk menjadi “percaya diri dan salah.”
Edwards mempelajari cara kerja mereka untuk memahami bagaimana model GPT seperti ChatGPT digabungkan. Para peneliti membuat LLM seperti GPT-3 dan GPT-4 menggunakan “pembelajaran tanpa pengawasan”, yang mana model tersebut belajar memprediksi kata berikutnya secara berurutan dengan menganalisis data teks yang sangat besar dan menyempurnakan prediksinya melalui coba-coba.
ChatGPT berbeda dari pendahulunya, karena telah dilatih berdasarkan transkrip percakapan yang ditulis manusia, kata Edwards. OpenAI menggunakan “pembelajaran penguatan dari umpan balik manusia” (RLHF) untuk menyempurnakan ChatGPT, sehingga menghasilkan respons yang lebih koheren dan lebih sedikit perbincangan. Meskipun demikian, masih terdapat ketidakakuratan.
Edwards memperingatkan agar tidak mempercayai keluaran chatbot AI secara membabi buta, namun ia mengakui bahwa kemajuan teknologi dapat mengubah hal ini. Sejak diluncurkan, ChatGPT telah mengalami beberapa kali peningkatan, meningkatkan akurasi dan kemampuannya untuk menolak menjawab pertanyaan yang tidak dapat diatasi.
Meskipun OpenAI belum secara langsung menanggapi pertanyaan tentang keakuratan ChatGPT, Edwards mengacu pada dokumen perusahaan dan laporan berita untuk mendapatkan wawasan. Kepala Ilmuwan OpenAI, Ilya Sutskever, percaya bahwa pelatihan RLHF lebih lanjut dapat mengatasi masalah halusinasi. Pada saat yang sama, Kepala Ilmuwan AI Meta, Yann LeCun, berpendapat bahwa LLM berbasis GPT saat ini tidak akan menyelesaikan masalah.
Edwards juga menyebutkan metode alternatif untuk meningkatkan akurasi LLM dengan menggunakan arsitektur yang ada. Bing Chat dan Google Bard sudah memanfaatkan penelusuran web untuk menyaring hasilnya, dan versi ChatGPT yang mendukung browser diharapkan dapat mengikuti jejak tersebut. Selain itu, plugin ChatGPT berencana untuk menambah data pelatihan GPT-4 dengan sumber eksternal, seperti web dan database khusus. Seperti yang ditunjukkan Edwards, hal ini mencerminkan peningkatan akurasi yang diperoleh manusia dengan membaca ensiklopedia.
Terakhir, Edwards menyarankan agar model mirip GPT-4 dapat dilatih untuk mengenali kapan model tersebut membuat informasi dan melakukan penyesuaian. Hal ini mungkin melibatkan kurasi data tingkat lanjut dan menghubungkan data pelatihan dengan skor “kepercayaan”, mirip dengan PageRank. Kemungkinan lainnya adalah menyempurnakan model agar lebih berhati-hati ketika kurang yakin dengan responsnya.