Sedikit melakukan eksperimen mandiri.
Tujuan: menggunakan data kesehatan dan perjalanan pribadi saya untuk memberikan rekomendasi diet dan olahraga yang dipersonalisasi untuk saya, dengan menggunakan model frontier, tetapi dengan cara yang menghindari kebocoran informasi pribadi apa pun kepada mereka.
Strategi: gunakan model lokal (Qwen 3.8 Flash Next) untuk mengorkestrasi, dan gunakan model jarak jauh yang kuat sebagai panggilan alat (tool call) untuk memanfaatkan penalaran tingkat lebih tinggi dan pengetahuan yang tidak dimiliki model lokal.
Pendekatan tiga lapis untuk privasi:
Hindari kebocoran informasi yang dapat mengidentifikasi pribadi, atau kebocoran identitas saya melalui gaya penulisan —> model lokal menuliskan kueri ke model frontier, bukan saya
Hindari kebocoran siapa saya melalui kanal pembayaran —> zkAPI
Hindari kebocoran siapa saya melalui jaringan / IP —> Tor
Anda perlu ketiganya (dan akhirnya, kami memiliki ketiganya, setidaknya sampai batas tertentu)
Sebuah file skill mengajarkan model lokal kapan dan bagaimana menyusun permintaan ke model jarak jauh yang meminimalkan data yang terungkap. Gunakan zkAPI yang dibungkus dengan Tor sebagai alat CLI.
Dan semuanya bekerja! Saya mendapatkan kembali rekomendasinya, dan info dari model frontier membantu meningkatkannya.
Kekurangan utama:
* Tor memang tidak dioptimalkan untuk pemutusan keterkaitan (de-linking) per permintaan, yang merupakan satu-satunya bentuk privasi lapisan jaringan yang benar-benar masuk akal di dunia saat ini (pengidentifikasi yang berjalan lama terlalu rapuh). Mungkin tidak cukup privat, dan latensinya 10–100x lebih tinggi daripada seharusnya, sekaligus.
* Strategi penyusunan permintaan dari file skill jelas masih jauh dari optimal.
* Qwen 3.8 Flash Next masih terlalu lambat untuk kenyamanan. Ia berjalan dengan nyaman pada 20–30 TPS, tetapi baru akan terasa cepat pada 100+
* Ada kompromi: semakin berhati-hati Anda tentang data apa yang Anda berikan kepada model jarak jauh, semakin sedikit ia bisa membantu Anda
https://github.com/ethereum/zkapi/pull/16/changes
Tujuan: menggunakan data kesehatan dan perjalanan pribadi saya untuk memberikan rekomendasi diet dan olahraga yang dipersonalisasi untuk saya, dengan menggunakan model frontier, tetapi dengan cara yang menghindari kebocoran informasi pribadi apa pun kepada mereka.
Strategi: gunakan model lokal (Qwen 3.8 Flash Next) untuk mengorkestrasi, dan gunakan model jarak jauh yang kuat sebagai panggilan alat (tool call) untuk memanfaatkan penalaran tingkat lebih tinggi dan pengetahuan yang tidak dimiliki model lokal.
Pendekatan tiga lapis untuk privasi:
Hindari kebocoran informasi yang dapat mengidentifikasi pribadi, atau kebocoran identitas saya melalui gaya penulisan —> model lokal menuliskan kueri ke model frontier, bukan saya
Hindari kebocoran siapa saya melalui kanal pembayaran —> zkAPI
Hindari kebocoran siapa saya melalui jaringan / IP —> Tor
Anda perlu ketiganya (dan akhirnya, kami memiliki ketiganya, setidaknya sampai batas tertentu)
Sebuah file skill mengajarkan model lokal kapan dan bagaimana menyusun permintaan ke model jarak jauh yang meminimalkan data yang terungkap. Gunakan zkAPI yang dibungkus dengan Tor sebagai alat CLI.
Dan semuanya bekerja! Saya mendapatkan kembali rekomendasinya, dan info dari model frontier membantu meningkatkannya.
Kekurangan utama:
* Tor memang tidak dioptimalkan untuk pemutusan keterkaitan (de-linking) per permintaan, yang merupakan satu-satunya bentuk privasi lapisan jaringan yang benar-benar masuk akal di dunia saat ini (pengidentifikasi yang berjalan lama terlalu rapuh). Mungkin tidak cukup privat, dan latensinya 10–100x lebih tinggi daripada seharusnya, sekaligus.
* Strategi penyusunan permintaan dari file skill jelas masih jauh dari optimal.
* Qwen 3.8 Flash Next masih terlalu lambat untuk kenyamanan. Ia berjalan dengan nyaman pada 20–30 TPS, tetapi baru akan terasa cepat pada 100+
* Ada kompromi: semakin berhati-hati Anda tentang data apa yang Anda berikan kepada model jarak jauh, semakin sedikit ia bisa membantu Anda
https://github.com/ethereum/zkapi/pull/16/changes
