OpenAI telah menyerahkan tugas memperbaiki perlambatan ChatGPT kepada agen AI-nya sendiri, dan dalam waktu sedikit lebih dari tiga bulan, mereka menelusuri lebih dari 1.700 investigasi dan menemukan penyebabnya dalam lebih dari 600 kasus.

Poin Penting

  • Performance Factory adalah sistem internal OpenAI untuk menjalankan alur kerja rekayasa performa berbasis agen

  • Alur Kerja Regresi membuka tugas saat peringatan performa muncul, menyelidiki penurunan performa, mengusulkan perbaikan untuk ditinjau oleh engineer, dan memeriksa apakah performa kembali ke kondisi awal setelah penerapan

  • OpenAI mengatakan bahwa dalam waktu sedikit lebih dari tiga bulan, Alur Kerja Regresi melacak lebih dari 1.700 investigasi dan menemukan akar penyebab lebih dari 600 kasus

  • Dalam tinjauan manual terhadap 100 saran akar penyebab, OpenAI menilai 70% akurat

OpenAI mengatakan bahwa mereka membangun Performance Factory karena rekayasa performa tradisional tidak mampu mengikuti laju pengembangan berbasis agen. Perusahaan tersebut menggambarkannya sebagai sistem otonom yang berjalan di cloud dan mengotomatiskan investigasi serta penyelesaian masalah performa.

Tulisan tersebut menjelaskan bahwa sistem ini berkembang melalui beberapa tahap: dari investigasi manual, ke debugging dengan bantuan Codex, ke keahlian bersama seperti perf-forensics, lalu ke alur kerja otomatis yang dapat dimulai dari sebuah peringatan.

Bagaimana OpenAI Memasukkan Pekerjaan Performa ke Dalam Alur Kerja

Sebelum Codex, OpenAI mengatakan para insinyur memeriksa metrik dan log secara manual, membandingkan rekam jejak, men-debug mesin yang sedang aktif, dan membaca kode untuk menyelidiki perlambatan. Seiring waktu, tim tersebut membangun lebih dari 30 alat performa untuk membantu menangani masalah yang berulang.

OpenAI mengatakan Codex kemudian menjadi mitra dalam investigasi ini. Para insinyur dapat bertanya mengapa sesuatu menjadi lebih lambat, menelusuri basis kode, memeriksa metrik dan rekam jejak, serta mengikuti interaksi antar-layanan, tetapi mereka tetap harus mengarahkan prosesnya.

Untuk mengotomatiskan lebih banyak pekerjaan tersebut, OpenAI membuat keahlian bersama bernama perf-forensics. Perusahaan itu mengatakan bahwa keahlian ini memberi tahu Codex alat apa saja yang tersedia, kapan harus menggunakannya, dan cara menyelidiki perlambatan.

OpenAI kemudian memindahkan investigasi ke cloud agar sebuah peringatan dapat memulai sesi Codex secara otomatis. Performance Factory mengembangkan kemampuan ini menjadi alur kerja menyeluruh yang melacak setiap tugas, menyimpan temuan bersama tugas tersebut, dan memungkinkan pekerjaan berpindah antara agen dan insinyur.

Baca Juga: OpenAI Memberikan Kesepakatan 457MW kepada TensorWave untuk Beroperasi dengan Chip AMD

Apa Saja yang Ada di Dalam Performance Factory

OpenAI mengatakan sistem ini memiliki empat bagian: pelacak tugas dengan alur kerja yang dapat dikonfigurasi, loop distribusi yang menugaskan pekerjaan yang siap kepada agen, API yang menjalankan Codex di cloud, dan langganan yang membangunkan agen saat terjadi perubahan.

Para insinyur menentukan alur kerja menggunakan berkas konfigurasi dan prompt Markdown. OpenAI mengatakan layanan tugas melacak status, transisi, dan langkah mana saja yang memerlukan insinyur, sementara dasbor menampilkan tugas yang masih terbuka dan progresnya.

Perusahaan tersebut mengatakan API internalnya menjalankan sesi Codex di dalam jaringannya dengan akses ke repositori kode dan alat observabilitas seperti metrik, log, rekam jejak, profil CPU, dan cuplikan memori.

Jika pekerjaan harus menunggu sesuatu seperti komentar tinjauan, pemeriksaan kode otomatis yang gagal, atau penerapan, sistem dapat berlangganan pada peristiwa tersebut dan membangunkan tugas saat siap dilanjutkan.

Cara Kerja Alur Kerja Regresi

OpenAI mengatakan alur kerja pertama di dalam Performance Factory adalah Alur Kerja Regresi. Saat peringatan performa yang telah dikonfigurasi aktif, sistem membuka tugas yang melewati beberapa tahap, seperti perlu diselidiki, akar penyebab ditemukan, perbaikan diusulkan, dan diselesaikan.

Untuk menemukan penyebabnya, agen memeriksa metrik mana yang memburuk, kapan perubahannya terjadi, dan permintaan mana yang terdampak. OpenAI mengatakan mereka juga menambahkan tinjauan adversarial, yaitu sesi Codex terpisah yang mencoba membantah diagnosis yang diusulkan.

OpenAI memberikan satu contoh dari investigasi ChatGPT. Sebuah agen mengaitkan percakapan yang gagal dengan kesalahan pengunduhan gambar, tetapi peninjau menemukan bahwa diagnosis tersebut tidak menjelaskan mengapa kegagalan terus terjadi setelah layanan lokasi berkas internal pulih, sehingga investigasi dibuka kembali.

Setelah diagnosis lolos tinjauan, Codex dapat menerapkan perbaikan dan membuka pull request untuk ditinjau oleh seorang insinyur. Setelah penerapan, agen lain memeriksa apakah performa telah kembali ke kondisi awal. Jika sudah, tugas ditandai selesai.

Metrik Performance Factory|Yang Dilaporkan OpenAI|Waktu berjalan|Sedikit lebih dari tiga bulan|Investigasi perlambatan yang dilacak|Lebih dari 1.700|Penyebab yang ditemukan|Lebih dari 600|Akurasi dalam pemeriksaan manual terhadap 100 diagnosis|70% dinilai akurat|Alat performa yang dibuat sebelum agen|Lebih dari 30

Sumber: Tulisan rekayasa OpenAI.

Hal yang Perlu Diperhatikan Selanjutnya

Angka 70% memiliki dua sisi. Artinya, agen berhasil mendiagnosis dengan benar dalam sebagian besar kasus yang diperiksa OpenAI, tetapi juga berarti sekitar tiga dari sepuluh diagnosis salah. Itulah sebabnya sesi Codex kedua mencoba membantah setiap diagnosis, dan seorang insinyur tetap meninjau setiap perbaikan sebelum dirilis.

Perubahan yang lebih besar adalah perusahaan AI menggunakan AI mereka sendiri untuk menjaga produk tetap berjalan. OpenAI mengatakan mereka dapat mengubah optimisasi umum menjadi alur kerja yang berjalan secara rutin di seluruh layanan mereka. Jadi, langkah berikutnya adalah agen yang mencari cara untuk meningkatkan kecepatan sebelum pengguna menyadari adanya perlambatan.

Perhatikan apakah OpenAI menghadirkan alat seperti ini kepada pelanggan Codex, yang menghadapi masalah serupa dalam menjaga agar perangkat lunak yang terus berubah tetap cepat.

Baca Selanjutnya: GPT-6.2 OpenAI Mengungguli Versi Lamanya dengan Biaya Sepertiganya