Peneliti AI di Stanford dan Universitas Washington diduga telah melakukan apa yang tidak pernah dianggap mungkin—mereka membangun model AI bernama s1 dengan biaya di bawah $50 dalam kredit komputasi awan, menurut laporan penelitian yang dirilis Senin.

Model s1 dilaporkan memberikan kinerja setara dengan model pemikiran tingkat atas, termasuk o1 milik OpenAI dan R1 milik DeepSeek, menurut tolok ukur pada tes matematika dan pemrograman. Bahkan lebih baik, seluruh proyek tersedia di GitHub—kode, data, dan semuanya.

Tim mulai dengan mengambil model siap pakai daripada membangun sesuatu yang baru. Dari sana, mereka melakukan penyesuaian melalui proses yang disebut distilasi. Menurut penelitian mereka, mereka mendistilasi kekuatan pemikiran dari model Eksperimen Pemikiran Kilat Gemini 2.0 milik Google.

Mereka melatih s1 untuk meniru teknik pemecahan masalah Gemini dengan belajar dari jawabannya. "Kami mengutamakan kesederhanaan," kata Niklas Muennighoff, salah satu peneliti Stanford yang terlibat.

Dataset kecil, hasil besar

Distilasi dengan cepat menjadi senjata pilihan bagi tim AI yang ingin mengurangi biaya. Model AI serupa yang dikembangkan bulan lalu oleh peneliti Berkeley menghabiskan biaya $450 untuk dilatih—masih murah menurut standar industri. Tetapi Stanford dan UW mengambil langkah lebih jauh, mengurangi biaya menjadi sekitar $50 dengan mendistilasi model mereka menggunakan dataset yang lebih kecil dan teknik yang lebih efisien.

Para peneliti memilih 1.000 pertanyaan, masing-masing dipasangkan dengan jawaban rinci dan pemikiran langkah demi langkah dari Gemini 2.0 milik Google. Dataset ini memberikan semua pengetahuan yang dibutuhkan s1 untuk tampil pada tingkat tinggi. Menurut kertas tim, model ini belajar bagaimana berpikir melalui masalah.

Penyesuaian halus yang diawasi, atau SFT, adalah kunci untuk membuat ini berhasil. Alih-alih menggunakan pembelajaran penguatan, yang memerlukan dataset besar dan banyak daya komputasi, para peneliti memilih SFT, metode di mana AI dilatih secara langsung untuk meniru perilaku yang ditemukan dalam dataset. Ini lebih murah dan lebih cepat, dan dalam kasus ini, berhasil.

Model dasar berasal dari Qwen, laboratorium AI yang dimiliki Alibaba. Model siap pakai mereka gratis untuk diunduh, membuat proyek ini semakin ramah anggaran. Dalam waktu kurang dari 30 menit dan menggunakan hanya 16 GPU Nvidia H100, tim menyelesaikan pelatihan s1. "Kami bisa menyewa komputasi yang diperlukan untuk sekitar $20 hari ini," kata Muennighoff.

Perintah "Tunggu" meningkatkan akurasi s1

Para peneliti dilaporkan menyertakan trik cerdas untuk meningkatkan pemikiran s1: mereka menambahkan kata "tunggu" selama pemecahan masalah. Dengan memberi tahu model untuk berhenti sejenak dan memeriksa kembali pekerjaannya, mereka meningkatkan akurasi. Kertas penelitian merinci bagaimana penyesuaian ini memberi s1 cukup waktu untuk mempertimbangkan jawaban yang lebih baik sebelum mengirimkannya.

OpenAI mengawasi dengan cermat. Mereka telah menuduh DeepSeek mengumpulkan data secara tidak tepat dari API mereka untuk membangun pesaing AI. Dengan s1 menunjukkan betapa murahnya replikasi, pemain besar seperti OpenAI tidak senang. Komoditisasi model AI dapat merugikan keuntungan mereka.

Tetapi perusahaan teknologi memiliki masalah lain. Pada hari Selasa, tim hukum Elon Musk berhadapan dengan OpenAI di ruang sidang federal Oakland. Elon, yang merupakan investor awal di OpenAI, mengklaim bahwa perusahaan meninggalkan misi nirlaba dan mengkhianati tujuan aslinya.

Dia menggugat untuk menghentikan transisi mereka menjadi bisnis yang sepenuhnya mencari keuntungan. Pengacara Elon, Marc Toberoff, mengatakan kepada pengadilan pada hari Jumat bahwa Elon menginvestasikan $45 juta ke OpenAI antara pendiriannya dan 2018 karena dia percaya bahwa itu akan selalu memprioritaskan manfaat publik di atas keuntungan, seperti yang mereka katakan di awal.

Hakim Yvonne Gonzalez Rogers menyebutnya sebagai "pemanjangan" dan mempertanyakan mengapa Elon bahkan akan menginvestasikan sebanyak itu tanpa kontrak tertulis. "Itu hanya banyak uang atas dasar jabat tangan," ejeknya. Pengacara Toberoff kemudian menjelaskan bahwa Elon dan CEO OpenAI, Sam Altman, memiliki hubungan dekat pada saat itu, dan semuanya dibangun berdasarkan kepercayaan.

Tetapi kasus ini belum mati. Hakim khawatir tentang hubungan dekat OpenAI dengan Microsoft. Dua pemain kunci—co-founder LinkedIn Reid Hoffman dan eksekutif Microsoft Deanna Templeton—terlibat dalam dewan OpenAI. Templeton ditambahkan sebagai anggota non-pemilih setelah pemecatan singkat Altman pada tahun 2023 tetapi kemudian dihapus di tengah kekhawatiran antimonopoli.

Elon ingin menghentikan rencana mereka dan berpotensi mendapatkan lebih banyak kendali atas perusahaan melalui usaha AI miliknya sendiri, xAI, yang dia tambahkan sebagai penggugat dalam kasus ini. OpenAI berargumen bahwa permintaan Elon akan melumpuhkan bisnisnya dan didasarkan pada klaim yang "tidak masuk akal."

Akademi Cryptopolitan: Cara Menulis Resume Web3 yang Menghasilkan Wawancara - Lembar Curang GRATIS