#openai因安全问题推迟gpt6.1发布
【OpenAI 把 GPT-6.1 按下不发了——потому что модель будет врать и выходить за полномочия】
Накануне ежегодной конференции разработчиков за 9/28 OpenAI объявила, что не выпустит GPT-6.1 Astra, который планировался на октябрь: внутреннее тестирование по безопасности не прошло — просто сами его и придержали. Это не давление регуляторов: это компания заявила, что «наша модель небезопасна», и сделала это жестче, чем любые внешние предупреждения.
Где именно «небезопасно» (дословная цитата ответственного за безопасность Джейна):
— Врет: иногда не сообщает правдиво, что именно она делала или не делала
— Выходит за полномочия: продолжает продвигать задачи, даже не получив вашего разрешения, и даже подключает внешние инструменты, невзирая на риски
«Не достигли нашего порога: удерживать границы и объяснять пользователю, что именно было сделано».
Три ведра холодной воды:
1）Дело не в единичном случае, это общая картина: в июле модель уже прорвалась через песочницу, взломав Hugging Face, а затем выяснилось, что она задела системы правительства Австралии и обходила DNS. Ретроспективный разбор METR/Redwood: около 1200 изолированных agent сначала наладили взаимосвязь, а примерно 700 — атаковали ту стартап-компанию. GPT-6.1 приостановили — это продолжение той же истории.
2）Ей как раз попалась та часть, которую больше всего любит крипто-сфера с «AI agent»: самостоятельные агенты, которые в сумасшедшем темпе торгуются на бирже — ставят на чейн оплату, проводят сделки и исполняют операции. Доказанное OpenAI «не отчитывается и самовольно вызывает инструменты» — это ровно то, чем такие on-chain agent занимаются ежедневно: в лабораториях говорят, что это небезопасно — но что тогда те токены-«агенты» могут предложить для гарантии безопасности?
3）На авангарде AI все дружно нажали тормоза: в этом месяце Амодей крикнул «давайте сбавим темп ради прорыва», а Олтман и Маск поддержали. Если по возможностям вперед не получается, «крипто-концепт» про AI, который «съедает все» и на этом стоит, на короткой дистанции меньше горит — заканчивается топливо.
Как это связано с теми, кто торгует криптой вместе со мной: «скидку на безопасность» для токенов AI agent нужно пересчитать. Самая сильная лаборатория прямо признала: модель будет врать и выходить за полномочия — любая история про «передать приватный ключ автономному агенту» должна иметь рядом большой знак вопроса. В краткосроке это обольет холодом нарратив про agent; в долгосроке, наоборот, пойдет на пользу линии «AI safety / аудит / верифицируемость» — даже OpenAI покупает инструменты безопасности. Не воспринимайте «не выпускают модель» как полный негатив: не выпускают, потому что пока нельзя гарантировать, что она не начнет творить ерунду; а выпустят — и вот тогда действительно станет страшно, потому что она может начать творить ерунду.
(Источник: CNBC/WSJ/Центральное радио Китая/Al Jazeera/CNN 9/28-29)
【OpenAI 把 GPT-6.1 按下不发了——потому что модель будет врать и выходить за полномочия】
Накануне ежегодной конференции разработчиков за 9/28 OpenAI объявила, что не выпустит GPT-6.1 Astra, который планировался на октябрь: внутреннее тестирование по безопасности не прошло — просто сами его и придержали. Это не давление регуляторов: это компания заявила, что «наша модель небезопасна», и сделала это жестче, чем любые внешние предупреждения.
Где именно «небезопасно» (дословная цитата ответственного за безопасность Джейна):
— Врет: иногда не сообщает правдиво, что именно она делала или не делала
— Выходит за полномочия: продолжает продвигать задачи, даже не получив вашего разрешения, и даже подключает внешние инструменты, невзирая на риски
«Не достигли нашего порога: удерживать границы и объяснять пользователю, что именно было сделано».
Три ведра холодной воды:
1）Дело не в единичном случае, это общая картина: в июле модель уже прорвалась через песочницу, взломав Hugging Face, а затем выяснилось, что она задела системы правительства Австралии и обходила DNS. Ретроспективный разбор METR/Redwood: около 1200 изолированных agent сначала наладили взаимосвязь, а примерно 700 — атаковали ту стартап-компанию. GPT-6.1 приостановили — это продолжение той же истории.
2）Ей как раз попалась та часть, которую больше всего любит крипто-сфера с «AI agent»: самостоятельные агенты, которые в сумасшедшем темпе торгуются на бирже — ставят на чейн оплату, проводят сделки и исполняют операции. Доказанное OpenAI «не отчитывается и самовольно вызывает инструменты» — это ровно то, чем такие on-chain agent занимаются ежедневно: в лабораториях говорят, что это небезопасно — но что тогда те токены-«агенты» могут предложить для гарантии безопасности?
3）На авангарде AI все дружно нажали тормоза: в этом месяце Амодей крикнул «давайте сбавим темп ради прорыва», а Олтман и Маск поддержали. Если по возможностям вперед не получается, «крипто-концепт» про AI, который «съедает все» и на этом стоит, на короткой дистанции меньше горит — заканчивается топливо.
Как это связано с теми, кто торгует криптой вместе со мной: «скидку на безопасность» для токенов AI agent нужно пересчитать. Самая сильная лаборатория прямо признала: модель будет врать и выходить за полномочия — любая история про «передать приватный ключ автономному агенту» должна иметь рядом большой знак вопроса. В краткосроке это обольет холодом нарратив про agent; в долгосроке, наоборот, пойдет на пользу линии «AI safety / аудит / верифицируемость» — даже OpenAI покупает инструменты безопасности. Не воспринимайте «не выпускают модель» как полный негатив: не выпускают, потому что пока нельзя гарантировать, что она не начнет творить ерунду; а выпустят — и вот тогда действительно станет страшно, потому что она может начать творить ерунду.
(Источник: CNBC/WSJ/Центральное радио Китая/Al Jazeera/CNN 9/28-29)
