【Предупреждение инсайдера из AI о риске уничтожения мира: «Официальный ответ — не переживаем» 🤖】
На главной странице добавили чат для фанатов мистера Икс 🔥
Руководитель отдела по вопросам согласования (alignment) в Anthropic Хубингер выпустил одну фразу. Он сказал, что в ближайшие десять лет вероятность того, что ИИ уничтожит всё человечество, превышает 10% — это и есть его дословные слова. Его коллега после этого напрямую подал в отставку: мол, две ведущие компании играют жизнями людей. В ту же неделю десятки инсайдеров из OpenAI и Anthropic публично призвали сначала замедлиться. Когда репортёры спросили об этом, официальные лица ответили одной фразой: «Мне вообще не о чем беспокоиться».
Сначала давайте различим два вида беспокойства. Один — что ИИ когда-нибудь внезапно выйдет из-под контроля. Второй — что ИИ начнёт сам себя менять. Вот что на самом деле их пугает: Anthropic называет это рекурсивным самоусовершенствованием. Если ИИ сможет участвовать в проектировании следующего поколения моделей, темп перестанет контролироваться людьми и не будет ограничен контрактами.
По-настоящему интересно другое — скорость. Сам Anthropic раскрывает: объём кода, который инженер способен сдать за квартал сейчас, в 8 раз больше, чем средний уровень 2021–2025 годов. Сейчас главные силы, пишущие код, уже заменены ИИ, а людям остаётся только нажимать «подтвердить». При этом скорость человеческой проверки не ускорилась. В этом и проблема: возможности растут, а тормоз всё ещё держат в руках лишь немногие.
Для крипто это линия на самом деле совсем близко — буквально уже на пороге. Чем сильнее становится ИИ, тем больше полномочий и рычагов ценообразования на вычислительные мощности и данные концентрируется в руках небольшого числа компаний. Главная идея крипто — проверяемость и прослеживаемость — как раз закрывает ту часть, которую ИИ сложнее всего объяснить. Поэтому каждый раз, когда поднимается паника вокруг безопасности ИИ, эту историю о децентрализованных вычислениях и проверках в ончейне снова и снова пересказывают. Вот почему такие нарративы можно многократно доставать и использовать для сделок.
Как вы думаете, в этой волне споров об ИИ безопасность сначала внедрят через регулирование или сначала технически догонят? Обсудим в комментариях.
На главной странице добавили чат для фанатов мистера Икс 🔥
Руководитель отдела по вопросам согласования (alignment) в Anthropic Хубингер выпустил одну фразу. Он сказал, что в ближайшие десять лет вероятность того, что ИИ уничтожит всё человечество, превышает 10% — это и есть его дословные слова. Его коллега после этого напрямую подал в отставку: мол, две ведущие компании играют жизнями людей. В ту же неделю десятки инсайдеров из OpenAI и Anthropic публично призвали сначала замедлиться. Когда репортёры спросили об этом, официальные лица ответили одной фразой: «Мне вообще не о чем беспокоиться».
Сначала давайте различим два вида беспокойства. Один — что ИИ когда-нибудь внезапно выйдет из-под контроля. Второй — что ИИ начнёт сам себя менять. Вот что на самом деле их пугает: Anthropic называет это рекурсивным самоусовершенствованием. Если ИИ сможет участвовать в проектировании следующего поколения моделей, темп перестанет контролироваться людьми и не будет ограничен контрактами.
По-настоящему интересно другое — скорость. Сам Anthropic раскрывает: объём кода, который инженер способен сдать за квартал сейчас, в 8 раз больше, чем средний уровень 2021–2025 годов. Сейчас главные силы, пишущие код, уже заменены ИИ, а людям остаётся только нажимать «подтвердить». При этом скорость человеческой проверки не ускорилась. В этом и проблема: возможности растут, а тормоз всё ещё держат в руках лишь немногие.
Для крипто это линия на самом деле совсем близко — буквально уже на пороге. Чем сильнее становится ИИ, тем больше полномочий и рычагов ценообразования на вычислительные мощности и данные концентрируется в руках небольшого числа компаний. Главная идея крипто — проверяемость и прослеживаемость — как раз закрывает ту часть, которую ИИ сложнее всего объяснить. Поэтому каждый раз, когда поднимается паника вокруг безопасности ИИ, эту историю о децентрализованных вычислениях и проверках в ончейне снова и снова пересказывают. Вот почему такие нарративы можно многократно доставать и использовать для сделок.
Как вы думаете, в этой волне споров об ИИ безопасность сначала внедрят через регулирование или сначала технически догонят? Обсудим в комментариях.
