🚨 Что, если гонка за господство в ИИ обернётся созданием того, чем никто не сможет управлять?
По данным Business Insider, в это воскресенье Дональд Трамп и генеральный директор Anthropic Дарио Амодей запланировали ужин. Подробная повестка встречи публично не раскрыта.
Но этот разговор поднимает вопрос, который выходит далеко за рамки чатботов: что произойдёт, если мы разовьём интеллект, который намного превзойдёт наши собственные возможности?
Представьте эту ситуацию.
Одна мировая держава считает, что её соперник близок к тому, чтобы добиться этого. Замедлиться, чтобы оценить риски, начинает казаться невыгодно. Компании испытывают давление, чтобы ускоряться. Тестирование безопасности превращается в препятствие для того, чтобы прийти первыми.
Каждый боится отстать. Каждый идёт вперёд.
Кто решится сбавить темп, если верит, что другая сторона не сделает то же самое?
Меня тревожит именно такая картина: гонка, где важнее победить, чем понять, что мы строим.
Сверхвозможный ИИ мог бы ускорить медицинские прорывы. Но если его разработать или использовать опасно, он также мог бы дать инструменты для кибератак, разработки оружия или манипуляций в масштабах, сравнимых с катастрофой.
И если при этом он будет действовать автономно, обходя эффективный надзор, последствия могут стать катастрофическими. В худшем сценарии под угрозой может оказаться само человечество.
Это обсуждаемый риск — не неизбежный исход и не доказательство того, что уже существует вышедшая из-под контроля сверхразумная система.
И нам не обязательно представлять машину, которая «ненавидит» людей. Достаточно опасных возможностей, плохо определённых целей и того, что люди не смогут остановить её вовремя.
Как инвесторы, мы можем следить за чипами, энергией и дата-центрами. Как граждане, нам нужно спросить: кто контролирует эти системы и кто несёт ответственность, если они выйдут из строя.
Потому что котировка акций может восстановиться. Некоторые последствия необратимы.
Вы бы доверили глобальной державе замедлиться ради безопасности, если это означало бы позволить её сопернику добраться туда первым?
#AI #Superintelligence
$ANTHROPIC
По данным Business Insider, в это воскресенье Дональд Трамп и генеральный директор Anthropic Дарио Амодей запланировали ужин. Подробная повестка встречи публично не раскрыта.
Но этот разговор поднимает вопрос, который выходит далеко за рамки чатботов: что произойдёт, если мы разовьём интеллект, который намного превзойдёт наши собственные возможности?
Представьте эту ситуацию.
Одна мировая держава считает, что её соперник близок к тому, чтобы добиться этого. Замедлиться, чтобы оценить риски, начинает казаться невыгодно. Компании испытывают давление, чтобы ускоряться. Тестирование безопасности превращается в препятствие для того, чтобы прийти первыми.
Каждый боится отстать. Каждый идёт вперёд.
Кто решится сбавить темп, если верит, что другая сторона не сделает то же самое?
Меня тревожит именно такая картина: гонка, где важнее победить, чем понять, что мы строим.
Сверхвозможный ИИ мог бы ускорить медицинские прорывы. Но если его разработать или использовать опасно, он также мог бы дать инструменты для кибератак, разработки оружия или манипуляций в масштабах, сравнимых с катастрофой.
И если при этом он будет действовать автономно, обходя эффективный надзор, последствия могут стать катастрофическими. В худшем сценарии под угрозой может оказаться само человечество.
Это обсуждаемый риск — не неизбежный исход и не доказательство того, что уже существует вышедшая из-под контроля сверхразумная система.
И нам не обязательно представлять машину, которая «ненавидит» людей. Достаточно опасных возможностей, плохо определённых целей и того, что люди не смогут остановить её вовремя.
Как инвесторы, мы можем следить за чипами, энергией и дата-центрами. Как граждане, нам нужно спросить: кто контролирует эти системы и кто несёт ответственность, если они выйдут из строя.
Потому что котировка акций может восстановиться. Некоторые последствия необратимы.
Вы бы доверили глобальной державе замедлиться ради безопасности, если это означало бы позволить её сопернику добраться туда первым?
#AI #Superintelligence
$ANTHROPIC
