Gue punya folder penuh dengan prompt lama yang hampir gak pernah gue lihat
Sesekali, gue jalankan salah satu karena penasaran
Bukan karena gue butuh output-nya
Lebih karena gue tertarik sama apa yang berubah
Hari ini gue lagi testing Image Studio dari @OpenGradient dan akhirnya melakukan hal yang sama
Yang jelas untuk diperhatikan adalah verifikasi
Sebuah gambar dihasilkan
Eksekusi bisa diverifikasi
Infrastruktur bisa membuktikan apa yang terjadi
Di situ gue kira bagian yang menarik akan muncul
Ternyata enggak
Gue mulai penasaran apa yang bakal terjadi kalau gue ambil prompt yang sama, setting yang sama, dan jalankan lagi beberapa bulan ke depan
Permintaan masih bisa diproses dengan benar
Verifikasi masih bisa berhasil
Asumsi TEE masih bisa berlaku
Namun ada kemungkinan gambar itu bakal terlihat berbeda
Awalnya gue pikir ini basically masalah provenance
Mungkin melacak versi akan menyelesaikan sebagian besar masalahnya
Semakin lama gue mikir, semakin gak yakin gue
Yang bikin gue terus berpikir bukan apakah modelnya berubah
Model selalu berubah
Yang bikin gue penasaran adalah menemukan di mana konsekuensi dari perubahan itu sebenarnya berakhir
Sebuah aplikasi menerima output yang valid
Sebuah alur kerja terus berjalan
Verifikasi lulus
Gak ada yang terlihat rusak
Sementara perilaku menyimpang cukup untuk seseorang di hilir mulai beradaptasi dengan perbedaan yang mungkin mereka bahkan gak sadar berasal dari model
Seorang developer mengubah parameter
Seorang agen mengubah keputusan
Seorang pengguna diam-diam kehilangan kepercayaan pada alur kerja yang dulunya terasa dapat diprediksi
Tidak ada yang terlihat seperti kegagalan verifikasi
Itu mungkin alasan kenapa mereka terus menarik perhatian gue
Semakin gue pikirkan tentang sistem AI yang dapat diverifikasi, semakin sedikit gue yakin bahwa membuktikan eksekusi adalah seluruh masalah koordinasi
Mungkin itu hanya bagian yang paling mudah diukur
Gue masih belum yakin apa yang seharusnya dilakukan infrastruktur ketika eksekusi tetap stabil tetapi identitas model perlahan-lahan bergerak di bawahnya
Itu terasa seperti masalah terpisah
Atau mungkin masalah yang sama dilihat dari hulu
#opg $OPG $SYN $LAB
Sesekali, gue jalankan salah satu karena penasaran
Bukan karena gue butuh output-nya
Lebih karena gue tertarik sama apa yang berubah
Hari ini gue lagi testing Image Studio dari @OpenGradient dan akhirnya melakukan hal yang sama
Yang jelas untuk diperhatikan adalah verifikasi
Sebuah gambar dihasilkan
Eksekusi bisa diverifikasi
Infrastruktur bisa membuktikan apa yang terjadi
Di situ gue kira bagian yang menarik akan muncul
Ternyata enggak
Gue mulai penasaran apa yang bakal terjadi kalau gue ambil prompt yang sama, setting yang sama, dan jalankan lagi beberapa bulan ke depan
Permintaan masih bisa diproses dengan benar
Verifikasi masih bisa berhasil
Asumsi TEE masih bisa berlaku
Namun ada kemungkinan gambar itu bakal terlihat berbeda
Awalnya gue pikir ini basically masalah provenance
Mungkin melacak versi akan menyelesaikan sebagian besar masalahnya
Semakin lama gue mikir, semakin gak yakin gue
Yang bikin gue terus berpikir bukan apakah modelnya berubah
Model selalu berubah
Yang bikin gue penasaran adalah menemukan di mana konsekuensi dari perubahan itu sebenarnya berakhir
Sebuah aplikasi menerima output yang valid
Sebuah alur kerja terus berjalan
Verifikasi lulus
Gak ada yang terlihat rusak
Sementara perilaku menyimpang cukup untuk seseorang di hilir mulai beradaptasi dengan perbedaan yang mungkin mereka bahkan gak sadar berasal dari model
Seorang developer mengubah parameter
Seorang agen mengubah keputusan
Seorang pengguna diam-diam kehilangan kepercayaan pada alur kerja yang dulunya terasa dapat diprediksi
Tidak ada yang terlihat seperti kegagalan verifikasi
Itu mungkin alasan kenapa mereka terus menarik perhatian gue
Semakin gue pikirkan tentang sistem AI yang dapat diverifikasi, semakin sedikit gue yakin bahwa membuktikan eksekusi adalah seluruh masalah koordinasi
Mungkin itu hanya bagian yang paling mudah diukur
Gue masih belum yakin apa yang seharusnya dilakukan infrastruktur ketika eksekusi tetap stabil tetapi identitas model perlahan-lahan bergerak di bawahnya
Itu terasa seperti masalah terpisah
Atau mungkin masalah yang sama dilihat dari hulu
#opg $OPG $SYN $LAB