Tahun lalu saya ingin menyetel model kecil untuk mengklasifikasikan alamat di blockchain. Saya menyewa satu A100 di cloud, dan setelah sebulan, saya langsung terkejut. Ditambah biaya penyimpanan dan bandwidth, cukup untuk membeli satu smartphone baru. Yang lebih parah, kartu itu sebagian besar waktu nganggur. Saya hanya menjalankan beberapa putaran pelatihan di malam hari, tapi siang hari tetap harus bayar. Rasanya seperti menyewa mobil sport, tetapi hanya mengemudikannya setengah jam setiap hari, sementara sisanya terparkir dan saya harus bayar biaya parkir.

Kemudian saya baca dokumen teknis dan menemukan bab tentang OpenLoRA. Saat itu saya baru sadar betapa bodohnya saya sebelumnya. Mereka menggunakan arsitektur GPU multi-penyewa yang memungkinkan puluhan model LoRA berbagi model utama yang sama. Ketika Anda perlu melatih, sistem akan memuat bobot adaptor Anda secara dinamis, dan setelah pelatihan selesai, itu akan dilepaskan. Anda tidak perlu lagi menyewa satu kartu penuh, tetapi membayar berdasarkan jarak tempuh setiap kali Anda di jalan. Dengan cara itu, biaya langsung terpangkas besar-besaran.

Saya coba deploy model kecil di atas, dari upload data sampai fine-tuning, semuanya nggak perlu repot install driver, setting environment, atau ngatur versi CUDA. Semua hal yang dulu bikin saya pusing udah terkemas rapi. Latihan cuma jalan kurang dari dua jam, total biaya juga nggak sampai sewa satu jam sebelumnya. Waktu itu saya cuma mikir, kalau ini keluar dua tahun lebih awal, saya bisa hemat banyak.

Ada yang mungkin bilang, ini kan sama aja dengan layanan cloud? Apa yang bisa dibanggakan? Bro, coba deh lihat layanan AI di platform cloud tradisional, harganya masih mahal. Banyak yang nggak kompatibel dengan LoRA yang ringan. Meski cuma ubah sedikit parameter, tetep harus sewa instansi penuh. OpenLoRA itu khusus dioptimasi untuk LoRA, kernel SGMV-nya bikin efisiensi operasi matriks maksimal. Dengan jumlah iterasi yang sama, memori yang digunakan lebih sedikit, waktu lebih cepat, jadi tagihan juga otomatis lebih rendah.

Saya nggak cuma hemat uang, tapi juga nemuin keuntungan lain. Dulu, saat saya sendiri pakai GPU, selalu pengen jalankan beberapa eksperimen sekaligus, takut buang-buang power. Akibatnya, sering keluar parameter sampah. Sekarang, bayar sesuai kebutuhan, mindset saya berubah. Setiap kali cuma jalankan satu modifikasi kecil. Kalau hasilnya buruk, langsung stop. Justru iterasi jadi lebih cepat, ini juga jadi keuntungan tak terduga.

Tentu aja, ini juga ada kekurangan. Saat ini, jenis model dasar yang didukung masih kurang banyak. Saya punya proyek yang mau pakai model yang kurang umum, eh susah banget cari, harus nunggu permintaan saya diadaptasi resmi. Selain itu, saat peak time, kadang harus antri beberapa menit. Tapi ngeliat selisih harganya, semua itu saya tahan.

Sekarang, saya simpan sebagian besar aset di Bitcoin dan Ethereum tanpa diganggu. Tapi untuk eksperimen model sehari-hari, semua udah pindah ke OpenLedger. Uang yang dihemat dipakai buat beli model lagi, toh eksperimen juga butuh biaya. Mendingan dihabiskan di platform yang saya punya posisi. Bro, ingat ya, dalam urusan model, jangan pelit sama uang. Kalau bisa bayar sesuai kebutuhan, jangan ambil langganan bulanan. Detail-detail kecil ini bisa nambah profit setahun jadi banyak.