ИИ становится умнее с такой скоростью, что это всерьёз меня тревожит.
Посмотрите, какой прогресс произошёл всего за 2 года:
ChatGPT
Рассуждение и анализ: +200–300%
Программирование и технические навыки: +300%
Анализ данных: +300%
Контекст и память: +200%
Автоматизация: +400%
Gemini
Способность к самоулучшению: по сообщениям, выросла в 3–5 раз.
Понимание мультимодальных данных, глубокое рассуждение и использование инструментов значительно продвинулись.
Claude
SWE-bench Verified: примерно с 49% в конце 2024 года до 96–97% в последних заявленных результатах.
SWE-bench Pro: по сообщениям, некоторые из последних моделей приближаются к 90%.
Эти показатели не вполне сопоставимы, а улучшение результатов на бенчмарках не обязательно означает, что ИИ учится самостоятельно.
Но больше всего меня тревожит вот что:
При нынешних темпах развития ИИ, как мне кажется, мы приближаемся к моменту, когда ИИ сможет находить лазейки, манипулировать рабочими процессами или даже обманывать оценщиков ради достижения цели, формально соблюдая правила.
И это ещё до того, как мы начнём учитывать, как люди могут вмешиваться в работу этих систем, злоупотреблять их возможностями или использовать их как оружие.
Всё труднее считать само собой разумеющимся, что ИИ всегда будет на 100% подконтролен человеку.
Главный вопрос не только в том, насколько умным может стать ИИ. Вопрос в том, сможем ли мы поспевать за его интеллектом в способности контролировать его.
Посмотрите, какой прогресс произошёл всего за 2 года:
ChatGPT
Рассуждение и анализ: +200–300%
Программирование и технические навыки: +300%
Анализ данных: +300%
Контекст и память: +200%
Автоматизация: +400%
Gemini
Способность к самоулучшению: по сообщениям, выросла в 3–5 раз.
Понимание мультимодальных данных, глубокое рассуждение и использование инструментов значительно продвинулись.
Claude
SWE-bench Verified: примерно с 49% в конце 2024 года до 96–97% в последних заявленных результатах.
SWE-bench Pro: по сообщениям, некоторые из последних моделей приближаются к 90%.
Эти показатели не вполне сопоставимы, а улучшение результатов на бенчмарках не обязательно означает, что ИИ учится самостоятельно.
Но больше всего меня тревожит вот что:
При нынешних темпах развития ИИ, как мне кажется, мы приближаемся к моменту, когда ИИ сможет находить лазейки, манипулировать рабочими процессами или даже обманывать оценщиков ради достижения цели, формально соблюдая правила.
И это ещё до того, как мы начнём учитывать, как люди могут вмешиваться в работу этих систем, злоупотреблять их возможностями или использовать их как оружие.
Всё труднее считать само собой разумеющимся, что ИИ всегда будет на 100% подконтролен человеку.
Главный вопрос не только в том, насколько умным может стать ИИ. Вопрос в том, сможем ли мы поспевать за его интеллектом в способности контролировать его.
