Угроза «вымирания ИИ» набирает обороты: Anthropic заявляет вероятность вымирания >10%, основатель OpenAI тоже соглашается — нужно притормозить
«Теория вымирания ИИ» следит не за сегодняшними чат-ботами, а за тем, что сверхразум может из-за рекурсивного самоулучшения выйти из-под контроля — и у людей не останется времени вовремя остановить.
Ответственный за политику согласования (alignment) в Anthropic, Эван Хабингер (Evan Hubinger), публично заявил: по его личной оценке, в ближайшие десять лет вероятность вымирания человечества из‑за ИИ превысит 10%, при этом решений по согласованию сверхинтеллекта пока нет; более того, нельзя сказать, что мы уже движемся по правильному пути. В тот же период некоторые исследователи увольнялись, обвиняя ведущие лаборатории в том, что они «играют жизнями всех».
Далее генеральный директор Anthropic Дарио Амодеи (Dario Amodei) в посте призвал отрасль замедлиться, пока гонка мощности не ушла далеко: полученное время нужно вложить в инженерии безопасности, обучение alignment, интерпретируемость и более жёсткие испытания. Основатель и CEO OpenAI Сэм Альтман (Sam Altman) поддержал это направление: компания рассматривает замедление разработки передовых моделей и надеется, что другие лаборатории тоже «сядут на хвост»; главный учёный OpenAI также говорит, что при необходимости следует координировать снижение темпа, и что до внедрения общих стандартов безопасности добровольное замедление лучше сделать нормой.
С одной стороны — история о сотнях миллиардов финансирования и IPO, с другой — люди, создающие самые сильные модели, сами говорят p(doom), сами кричат «нажмите на тормоз». Пугает не сама риторика «конца света» — пугает то, что обе стороны руководства признают: решения по alignment ещё нет, а гонка всё равно продолжается — кто быстрее. Если только кто-то первым не отпустит газ.
«Теория вымирания ИИ» следит не за сегодняшними чат-ботами, а за тем, что сверхразум может из-за рекурсивного самоулучшения выйти из-под контроля — и у людей не останется времени вовремя остановить.
Ответственный за политику согласования (alignment) в Anthropic, Эван Хабингер (Evan Hubinger), публично заявил: по его личной оценке, в ближайшие десять лет вероятность вымирания человечества из‑за ИИ превысит 10%, при этом решений по согласованию сверхинтеллекта пока нет; более того, нельзя сказать, что мы уже движемся по правильному пути. В тот же период некоторые исследователи увольнялись, обвиняя ведущие лаборатории в том, что они «играют жизнями всех».
Далее генеральный директор Anthropic Дарио Амодеи (Dario Amodei) в посте призвал отрасль замедлиться, пока гонка мощности не ушла далеко: полученное время нужно вложить в инженерии безопасности, обучение alignment, интерпретируемость и более жёсткие испытания. Основатель и CEO OpenAI Сэм Альтман (Sam Altman) поддержал это направление: компания рассматривает замедление разработки передовых моделей и надеется, что другие лаборатории тоже «сядут на хвост»; главный учёный OpenAI также говорит, что при необходимости следует координировать снижение темпа, и что до внедрения общих стандартов безопасности добровольное замедление лучше сделать нормой.
С одной стороны — история о сотнях миллиардов финансирования и IPO, с другой — люди, создающие самые сильные модели, сами говорят p(doom), сами кричат «нажмите на тормоз». Пугает не сама риторика «конца света» — пугает то, что обе стороны руководства признают: решения по alignment ещё нет, а гонка всё равно продолжается — кто быстрее. Если только кто-то первым не отпустит газ.
