📰 27-летний AI-исследователь Джейкоб Коксон (Jacob Coxon) покинул Anthropic. За последние три года он поработал сначала в OpenAI, затем в Anthropic над дообучением и предобучением больших моделей; также он был официальным участником по GPT-4o и ключевым участником по GPT-4.5.
🔥 Причины его ухода немного пугают: он считает, что эти компании ускоряют разработку супер-интеллекта, способного к самоулучшению, по сути ставя на кон жизни всех. Он также говорит, что некоторые действительно работающие над передовыми исследованиями в области ИИ втайне считают, что человек может быть уничтожен в результате неконтролируемого развития — еще до конца этого десятилетия.
👀 Еще тоньше то, что руководитель по выравниванию (alignment) в Anthropic публично поддержал его вывод, считая, что вероятность серьезных последствий в течение десяти лет превышает 10%. Два других человека, ранее занимавшиеся в Anthropic исследованиями по безопасности и масштабируемому надзору, тоже признали его оценку текущего состояния отрасли.
Скажем честно: никто не может доказать, насколько именно верны 10% или не верны. Но человек, который участвовал в обучении ключевых моделей, предпочел уйти — вплоть до того, чтобы рассматривать уход из индустрии ИИ, — вместо того чтобы продолжать двигать это дальше. Сам по себе этот шаг многое значит.
🤔 Если вы прямо сейчас работаете в передовой команде моделей и слышите, как коллега оценивает вероятность потери контроля в течение десяти лет выше 10%, вы бы остались и продолжили заниматься безопасностью или сразу уволились?
#人工智能 #OpenAI #Anthropic #AI безопасность
🔥 Причины его ухода немного пугают: он считает, что эти компании ускоряют разработку супер-интеллекта, способного к самоулучшению, по сути ставя на кон жизни всех. Он также говорит, что некоторые действительно работающие над передовыми исследованиями в области ИИ втайне считают, что человек может быть уничтожен в результате неконтролируемого развития — еще до конца этого десятилетия.
👀 Еще тоньше то, что руководитель по выравниванию (alignment) в Anthropic публично поддержал его вывод, считая, что вероятность серьезных последствий в течение десяти лет превышает 10%. Два других человека, ранее занимавшиеся в Anthropic исследованиями по безопасности и масштабируемому надзору, тоже признали его оценку текущего состояния отрасли.
Скажем честно: никто не может доказать, насколько именно верны 10% или не верны. Но человек, который участвовал в обучении ключевых моделей, предпочел уйти — вплоть до того, чтобы рассматривать уход из индустрии ИИ, — вместо того чтобы продолжать двигать это дальше. Сам по себе этот шаг многое значит.
🤔 Если вы прямо сейчас работаете в передовой команде моделей и слышите, как коллега оценивает вероятность потери контроля в течение десяти лет выше 10%, вы бы остались и продолжили заниматься безопасностью или сразу уволились?
#人工智能 #OpenAI #Anthropic #AI безопасность
