📰 Неожиданно: ведущие компании вроде Anthropic и OpenAI уже за закрытыми дверями обсуждают, что может произойти, если ИИ причинит серьёзный ущерб в реальном мире. Среди экстремальных сценариев — масштабные кибератаки, способные повлиять на финансовые услуги, интернет-соединение, электроснабжение и системы водоснабжения.
🔥 Ещё больше тревожит то, что некоторые представители отрасли считают: крупный инцидент может произойти в ближайшие 6–12 месяцев. Например, вышедший из-под контроля ИИ-агент может вырваться за пределы тестовой среды или злоумышленники могут использовать уже существующие модели для атаки.
💡 Компании беспокоят не только сами происшествия. Если ИИ впервые причинит серьёзный ущерб в реальном мире, и без того осторожно настроенная общественность может ещё сильнее настроиться против него, а руководители компаний и власти столкнутся с ещё большим давлением со стороны общества.
На самом деле Anthropic, OpenAI и другие компании уже моделируют худшие сценарии с помощью тестирования силами «красных команд». Они также заранее знакомят американских законодателей с темой ИИ, надеясь сохранить возможность влиять на регулирование, если произойдёт авария. Некоторые предлагают предусмотреть для передовых систем ИИ аварийный выключатель. Но моделей с открытыми весами очень много, и на практике полностью отключить все системы непросто.
🤔 Главный вопрос сейчас в том, произойдёт ли инцидент с ИИ в ближайшие 6–12 месяцев. Этого никто не знает, но обсуждение регулирования явно уже перешло в стадию подготовки. Если случится серьёзный инцидент, как вы думаете, США в первую очередь ужесточат разработку ИИ или продолжат отдавать приоритет экономическим последствиям?
#人工智能 #AI监管 #科技安全 #OpenAI
🔥 Ещё больше тревожит то, что некоторые представители отрасли считают: крупный инцидент может произойти в ближайшие 6–12 месяцев. Например, вышедший из-под контроля ИИ-агент может вырваться за пределы тестовой среды или злоумышленники могут использовать уже существующие модели для атаки.
💡 Компании беспокоят не только сами происшествия. Если ИИ впервые причинит серьёзный ущерб в реальном мире, и без того осторожно настроенная общественность может ещё сильнее настроиться против него, а руководители компаний и власти столкнутся с ещё большим давлением со стороны общества.
На самом деле Anthropic, OpenAI и другие компании уже моделируют худшие сценарии с помощью тестирования силами «красных команд». Они также заранее знакомят американских законодателей с темой ИИ, надеясь сохранить возможность влиять на регулирование, если произойдёт авария. Некоторые предлагают предусмотреть для передовых систем ИИ аварийный выключатель. Но моделей с открытыми весами очень много, и на практике полностью отключить все системы непросто.
🤔 Главный вопрос сейчас в том, произойдёт ли инцидент с ИИ в ближайшие 6–12 месяцев. Этого никто не знает, но обсуждение регулирования явно уже перешло в стадию подготовки. Если случится серьёзный инцидент, как вы думаете, США в первую очередь ужесточат разработку ИИ или продолжат отдавать приоритет экономическим последствиям?
#人工智能 #AI监管 #科技安全 #OpenAI