Провожу небольшое самонаблюдение.
Цель: использовать мои личные данные о здоровье и поездках, чтобы получать персонализированные рекомендации по диете и упражнениям для меня. При этом использовать передовые модели, но так, чтобы не допустить утечку любых моих частных данных.
Стратегия: использовать локальную модель (Qwen 3.8 Flash Next) для оркестрации, а мощные удалённые модели — как инструмент-вызов, чтобы получить выгоду от более высокого уровня мышления и знаний, которых нет у локальной модели.
Трёхуровневый подход к приватности:
Избежать утечки персонально идентифицируемой информации или раскрытия моей личности через стиль письма —> локальная модель пишет запросы к frontier-модели, а не я
Избежать утечки того, кто я, через платёжный канал —> zkAPI
Избежать утечки того, кто я, через сеть / IP —> Tor
Вам нужны все три (и в итоге у нас есть все три, по крайней мере в некоторой степени)
Файл навыка обучает локальную модель, когда и как составлять минимально раскрывающие данные запросы к удалённым моделям. Используйте zkAPI, обёрнутый в Tor, как CLI-инструмент.
И всё работает! Я получил рекомендации обратно; информация от frontier-моделей помогла улучшить их.
Основные недостатки:
* Tor на самом деле совсем не оптимизирован для раздельной де-анонимизации запросов по запросу (request-by-request), что является единственной формой приватности на уровне сети, которая действительно имеет смысл в сегодняшнем мире (длительные идентификаторы слишком хрупкие). Вероятно, это недостаточно приватно, и задержка в 10–100 раз выше, чем могла бы быть, при этом.
* Стратегии построения запросов в файле навыка определённо далеко не оптимальны.
* Qwen 3.8 Flash Next всё ещё слишком медленная для комфортной работы. Она уверенно работает на 20–30 TPS, но по-настоящему ощущаться бы начала быстро только на 100+
* Есть компромисс: чем внимательнее вы относитесь к тому, какие данные вы передаёте удалённой модели, тем меньше она может вам помочь
https://github.com/ethereum/zkapi/pull/16/changes
Цель: использовать мои личные данные о здоровье и поездках, чтобы получать персонализированные рекомендации по диете и упражнениям для меня. При этом использовать передовые модели, но так, чтобы не допустить утечку любых моих частных данных.
Стратегия: использовать локальную модель (Qwen 3.8 Flash Next) для оркестрации, а мощные удалённые модели — как инструмент-вызов, чтобы получить выгоду от более высокого уровня мышления и знаний, которых нет у локальной модели.
Трёхуровневый подход к приватности:
Избежать утечки персонально идентифицируемой информации или раскрытия моей личности через стиль письма —> локальная модель пишет запросы к frontier-модели, а не я
Избежать утечки того, кто я, через платёжный канал —> zkAPI
Избежать утечки того, кто я, через сеть / IP —> Tor
Вам нужны все три (и в итоге у нас есть все три, по крайней мере в некоторой степени)
Файл навыка обучает локальную модель, когда и как составлять минимально раскрывающие данные запросы к удалённым моделям. Используйте zkAPI, обёрнутый в Tor, как CLI-инструмент.
И всё работает! Я получил рекомендации обратно; информация от frontier-моделей помогла улучшить их.
Основные недостатки:
* Tor на самом деле совсем не оптимизирован для раздельной де-анонимизации запросов по запросу (request-by-request), что является единственной формой приватности на уровне сети, которая действительно имеет смысл в сегодняшнем мире (длительные идентификаторы слишком хрупкие). Вероятно, это недостаточно приватно, и задержка в 10–100 раз выше, чем могла бы быть, при этом.
* Стратегии построения запросов в файле навыка определённо далеко не оптимальны.
* Qwen 3.8 Flash Next всё ещё слишком медленная для комфортной работы. Она уверенно работает на 20–30 TPS, но по-настоящему ощущаться бы начала быстро только на 100+
* Есть компромисс: чем внимательнее вы относитесь к тому, какие данные вы передаёте удалённой модели, тем меньше она может вам помочь
https://github.com/ethereum/zkapi/pull/16/changes
