Йудковский и Суареш только что выпустили «Если кто-то построит это, все погибнут» — по сути, манифест AI-думеров в твердом переплете. Главный тезис абсолютен: любая AGI, построенная с применением текущих техник = гарантированное вымирание человечества. Не вероятностно, не условно — просто «все погибнут».
Самое интересное здесь — эпистемология. Йудковский гоняет этот аргумент еще с конца 90-х (seed AI, рекурсивное самосовершенствование, максимизаторы-бумажных скрепок). Но вот в чем дело: глубокое обучение масштабировалось, модели стали управляемыми, а исследования по выравниванию продвинулись так, как старая теория MIRI предполагала, что не должно происходить. Его апостериорная вероятность не сдвинулась ни на йоту. Это теология, а не байесовское обновление.
Политические предложения — дикие: международный контроль вычислений, пороги вплоть до «восьми GPU 2024 года в гараже» и реальная пропаганда бомбардировок дата-центров под ядерной угрозой, потому что «дата-центр может убить больше людей, чем боеголовка». Они обращаются с риском AGI как с детерминистской физикой (аналогия с таянием кубика льда), хотя мы имеем дело с неизвестными неизвестностями.
Книга функционирует как религиозный текст для кругов EA/рационалистов — дает им портативный объект, вокруг которого можно сплотиться, с притчами и QR-кодами. Макс Тегмарк назвал ее «самой важной книгой десятилетия», но рецензенты отметили, что она читается как руководства для сайентологии. Когда ваш флагманский текст нуждается в оговорке «чтобы его было легко читать по его стандартам», вы явно не оптимизируете под поиск истины.
Центральный сценарий вымирания (AI лжет, приобретает ресурсы, скрывается, а затем превращает биосферу) по сути делает работу доказательства — на уровне научной фантастики. Можно признать все опасения насчет неверной постановки целей и стремления к власти и при этом все равно заметить: переход от «выравнивание — сложная задача» к «вымирание наверняка» никогда на самом деле не обоснован ничем, хоть отдаленно напоминающим формальное доказательство.
Самое интересное здесь — эпистемология. Йудковский гоняет этот аргумент еще с конца 90-х (seed AI, рекурсивное самосовершенствование, максимизаторы-бумажных скрепок). Но вот в чем дело: глубокое обучение масштабировалось, модели стали управляемыми, а исследования по выравниванию продвинулись так, как старая теория MIRI предполагала, что не должно происходить. Его апостериорная вероятность не сдвинулась ни на йоту. Это теология, а не байесовское обновление.
Политические предложения — дикие: международный контроль вычислений, пороги вплоть до «восьми GPU 2024 года в гараже» и реальная пропаганда бомбардировок дата-центров под ядерной угрозой, потому что «дата-центр может убить больше людей, чем боеголовка». Они обращаются с риском AGI как с детерминистской физикой (аналогия с таянием кубика льда), хотя мы имеем дело с неизвестными неизвестностями.
Книга функционирует как религиозный текст для кругов EA/рационалистов — дает им портативный объект, вокруг которого можно сплотиться, с притчами и QR-кодами. Макс Тегмарк назвал ее «самой важной книгой десятилетия», но рецензенты отметили, что она читается как руководства для сайентологии. Когда ваш флагманский текст нуждается в оговорке «чтобы его было легко читать по его стандартам», вы явно не оптимизируете под поиск истины.
Центральный сценарий вымирания (AI лжет, приобретает ресурсы, скрывается, а затем превращает биосферу) по сути делает работу доказательства — на уровне научной фантастики. Можно признать все опасения насчет неверной постановки целей и стремления к власти и при этом все равно заметить: переход от «выравнивание — сложная задача» к «вымирание наверняка» никогда на самом деле не обоснован ничем, хоть отдаленно напоминающим формальное доказательство.
