Untuk mengetahui apakah sebuah model dunia benar-benar memahami fisika, kita tidak bisa hanya melihat apakah model itu mampu mengulang penjelasan tentang gravitasi.

Klip pilihan AI on Air ini diambil dari episode terbaru acara Redpoint AI. Pembicaranya adalah Oriol Vinyals, wakil presiden riset di Google DeepMind sekaligus salah satu pemimpin Google Gemini.

▷ Tantangan utama: Setelah bahasa masuk ke dalam model, tanya jawab tentang «gravitasi» mungkin hanya bersumber dari penjelasan di internet yang pernah dibaca selama pelatihan. Hal ini tidak membuktikan bahwa konsep tersebut benar-benar ada di dalam model dunia.
▷ Evaluasi yang dapat dilakukan: Hubungkan keberadaan «gravitasi» dalam representasi model dunia dengan penjelasan yang dapat didekodekan. Pertama, lihat apakah model dapat memberikan penjelasan dasar, lalu lihat apakah model dapat menurunkan persamaan.
▷ Petunjuk metode: Penerjemahan mesin tanpa pengawasan pada tahap awal dapat menyelaraskan representasi bahasa yang belum pernah ditemui selama pelatihan. Demikian pula, kemampuan dekode model bahasa dapat diselaraskan dengan pemahaman konseptual model dunia, tetapi evaluasi akhirnya harus bermakna bagi penerapannya.🪁