Baru-baru ini saya menonton ulang materi kuliah terbuka tentang rekayasa agent. Kesan terbesar saya: hambatan di bidang ini bukanlah model, melainkan disiplin rekayasa.
Untuk tugas yang sama, pemula menulis satu prompt besar dan membiarkan model mencari cara sendiri. Praktisi berpengalaman menulis banyak fungsi kecil, masing-masing dengan input dan output yang jelas, assertion, serta mekanisme fallback saat gagal. Yang pertama tampak mengesankan dalam demo, tetapi langsung ambyar saat diluncurkan; yang kedua tampak biasa saja dalam demo, tetapi bisa berjalan tiga bulan tanpa masalah.
Karena itu, saya kurang percaya bahwa hal-hal seperti “trik prompt” akan bernilai dalam jangka panjang. Yang bernilai adalah memasukkan perilaku model yang tidak pasti ke dalam struktur rekayasa yang pasti.
Kalau ingin terjun ke bidang ini, jangan mulai dengan belajar cara bertanya. Belajarlah cara menguji.
Untuk tugas yang sama, pemula menulis satu prompt besar dan membiarkan model mencari cara sendiri. Praktisi berpengalaman menulis banyak fungsi kecil, masing-masing dengan input dan output yang jelas, assertion, serta mekanisme fallback saat gagal. Yang pertama tampak mengesankan dalam demo, tetapi langsung ambyar saat diluncurkan; yang kedua tampak biasa saja dalam demo, tetapi bisa berjalan tiga bulan tanpa masalah.
Karena itu, saya kurang percaya bahwa hal-hal seperti “trik prompt” akan bernilai dalam jangka panjang. Yang bernilai adalah memasukkan perilaku model yang tidak pasti ke dalam struktur rekayasa yang pasti.
Kalau ingin terjun ke bidang ini, jangan mulai dengan belajar cara bertanya. Belajarlah cara menguji.
