Pencarian untuk Kecerdasan Umum Buatan (AGI) baru saja menjadi jauh lebih menarik dan menantang! Dalam perkembangan yang groundbreaking yang mengirimkan gelombang di dunia AI, Arc Prize Foundation, yang dipimpin oleh tokoh AI François Chollet, telah meluncurkan tes AGI baru yang sangat sulit. Disebut ARC-AGI-2, tolok ukur ini dirancang untuk benar-benar mengukur kecerdasan umum model AI, dan hasil awalnya, yah, mengesankan bahkan untuk sistem yang paling maju.

Mengapa ARC-AGI-2 Menjadi Hambatan Baru untuk Model AI?

Menurut posting blog terbaru dari Arc Prize Foundation, ARC-AGI-2 terbukti menjadi tantangan yang sangat besar. Model AI 'penalaran' terkemuka seperti o1-pro dari OpenAI dan R1 dari DeepSeek hanya mencakar permukaan, mencetak hanya 1% hingga 1,3% di papan peringkat tes AGI. Bahkan model non-penalaran yang kuat, termasuk GPT-4.5, Claude 3.7 Sonnet, dan Gemini 2.0 Flash, hanya mencapai sekitar angka 1%. Ini sangat kontras dengan kinerja manusia, di mana panel rata-rata memiliki akurasi 60% yang solid pada pertanyaan ARC-AGI-2 yang sama.

Jadi, apa yang membuat tolok ukur AI baru ini begitu berbeda dan sulit?

  • Masalah Puzzle Visual: ARC-AGI-2 menghadapkan model AI dengan masalah seperti puzzle yang melibatkan identifikasi pola visual dalam grid kotak berwarna. Tujuannya adalah agar AI menghasilkan grid 'jawaban' yang benar berdasarkan pola-pola ini.

  • Fokus Adaptabilitas: Berbeda dengan tes sebelumnya, ARC-AGI-2 dirancang khusus untuk memaksa model AI beradaptasi dengan jenis masalah baru yang sama sekali belum mereka temui selama pelatihan. Ini menguji kemampuan pemecahan masalah yang sebenarnya, bukan hanya mengingat.

  • Metrik Efisiensi: Inovasi kunci dalam ARC-AGI-2 adalah pengenalan metrik efisiensi. Ini berarti bukan hanya tentang mendapatkan jawaban yang benar, tetapi juga tentang seberapa efisien model AI mencapai solusi. Ini secara langsung menanggapi kekhawatiran tentang kekuatan komputasi brute-force yang menyamarkan kecerdasan sejati dalam tolok ukur sebelumnya.

Berikut adalah perbandingan bagaimana berbagai jenis model berperforma:

Contoh Tipe Model AI Skor ARC-AGI-2 (Perkiraan) Model AI Penalaran OpenAI o1-pro, DeepSeek R1 1% – 1,3% Model AI Non-Penalaran GPT-4.5, Claude 3.7 Sonnet, Gemini 2.0 Flash Sekitar 1% Rata-rata Panel Manusia 60%

Sumber: Papan Peringkat Arc Prize

ARC-AGI-2 vs. ARC-AGI-1: Apa yang Berubah?

François Chollet sendiri menyatakan di X (dahulu Twitter) bahwa ARC-AGI-2 adalah ukuran yang lebih baik dari kecerdasan sejati model AI dibandingkan pendahulunya, ARC-AGI-1. Tujuan inti dari tes-tes Arc Prize Foundation tetap konsisten: untuk mengevaluasi kapasitas sistem AI untuk belajar keterampilan baru di luar data pelatihannya.

Namun, ARC-AGI-2 mengatasi kelemahan kritis dalam ARC-AGI-1 – ketergantungan yang berlebihan pada komputasi brute-force. ARC-AGI-1, meskipun menjadi tolok ukur AI yang menantang selama bertahun-tahun, akhirnya 'diselesaikan' oleh model o3 (rendah) dari OpenAI. Sementara o3 (rendah) mencapai 75,7% yang mengesankan pada ARC-AGI-1, menunjukkan kinerja setara manusia yang nyata, skornya terjun bebas menjadi hanya 4% pada ARC-AGI-2, bahkan dengan biaya komputasi yang signifikan sebesar $200 per tugas. Ini menyoroti pergeseran fokus mendasar menuju efisiensi dan kecerdasan sejati dalam tes baru ini.

Mengapa Tolok Ukur AI Baru Ini Penting Sekarang?

Kedatangan ARC-AGI-2 sangat tepat. Banyak suara dalam industri teknologi, termasuk salah satu pendiri Hugging Face Thomas Wolf, telah mendorong tolok ukur yang lebih kuat dan baru untuk benar-benar mengukur kemajuan AI, terutama di bidang kreativitas – komponen kunci dari Kecerdasan Umum Buatan.

Keterbatasan tolok ukur sebelumnya semakin jelas. Model dapat mencapai skor tinggi melalui metode yang tidak selalu mencerminkan kecerdasan yang sebenarnya, seperti menghafal secara luas atau komputasi brute-force. ARC-AGI-2 berusaha untuk menangani kekurangan ini secara langsung, mendorong batasan evaluasi AI.

Arc Prize 2025: Sebuah Tantangan untuk Mendorong Kecerdasan AI

Menambah lapisan kegembiraan lainnya, Arc Prize Foundation telah mengumumkan kontes Arc Prize 2025. Tantangan ini mengundang pengembang untuk mencapai akurasi 85% pada tes ARC-AGI-2 sambil mematuhi batasan biaya yang ketat hanya $0,42 per tugas. Kontes ini bukan hanya tentang mencapai skor tinggi; ini tentang mendorong model-model AI yang efisien dan benar-benar cerdas.

Tes AGI baru ini, ARC-AGI-2, merupakan langkah maju yang signifikan dalam kemampuan kita untuk mengukur dan memahami kecerdasan umum buatan. Ini adalah pengingat yang jelas bahwa meskipun model AI telah membuat kemajuan yang luar biasa, kecerdasan setara manusia yang sejati, yang ditandai dengan adaptabilitas dan efisiensi, tetap menjadi batasan yang sulit. Tantangan telah ditetapkan, dan perlombaan untuk membangun AI yang benar-benar cerdas sedang berlangsung, dengan ARC-AGI-2 sebagai tolok ukur baru yang lebih ketat.

Untuk mempelajari lebih lanjut tentang tren tolok ukur AI terbaru, jelajahi artikel kami tentang perkembangan kunci yang membentuk kemajuan AI.