TL;DR Розбивка
OpenAI підвищує обізнаність про ризики суперінтелекту ШІ та формує спеціальну команду для вирішення цих проблем.
Компанія наголошує на узгодженні суперінтелекту з людськими цінностями та намірами та створенні нових інститутів управління.
OpenAI визнає, що узгодження AGI створює значні ризики та може вимагати колективних зусиль людства.
Генеральний директор OpenAI Сем Альтман розпочав глобальну кампанію з підвищення обізнаності про потенційну небезпеку суперінтелекту ШІ, коли машини перевершують людський інтелект і можуть стати некерованими.
У відповідь на ці занепокоєння OpenAI нещодавно оголосила про створення спеціалізованої команди, яка має розробляти методи для зменшення ризиків, пов’язаних із надінтелектом, що може з’явитися протягом цього десятиліття.
Компанія наголошує, що ефективне управління надінтелектом потребує створення нових інституцій управління та розв’язання критично важливого завдання з узгодження надінтелекту з людськими цінностями й намірами.
OpenAI визнає, що узгодження ШІ (штучного інтелекту загального призначення) (AGI) створює значні ризики для людства і може вимагати колективних зусиль усіх людей, як зазначено в дописі в блозі, опублікованому минулого року.
Названа «Суперузгодженням» (Superalignment) новостворена команда складається з провідних дослідників і інженерів у галузі машинного навчання. Ілля Сутске́вер, співзасновник і головний науковий співробітник OpenAI, та Ян Лейке, керівник з узгодження, керують цим проєктом.
Щоб подолати ключові технічні виклики узгодження надінтелекту, OpenAI взяла на себе зобов’язання спрямувати 20% обчислювальних ресурсів, отриманих досі, на розв’язання проблеми узгодження. Компанія очікує, що протягом чотирьох років вона вирішить ці виклики.
Головна мета команди з суперузгодження — розробити автоматизованого дослідника з узгодження на рівні людини. Це передбачає створення систем ШІ, які зможуть ефективно узгоджувати надінтелектні системи ШІ, випереджаючи людей за швидкістю та точністю.
Щоб досягти цієї віхи, команда зосередиться на створенні масштабованого методу навчання, який використовує системи ШІ для оцінювання інших систем ШІ. Вони перевірять свою модель, автоматизувавши пошук потенційно проблемної поведінки. Також конвеєр узгодження пройде ретельне стрес-тестування: навмисно тренуватимуть неправильно узгоджені моделі, щоб оцінити їхню виявлюваність.
Зусилля OpenAI щодо усунення ризиків надінтелекту є значним кроком уперед у прагненні до відповідального та узгодженого розвитку ШІ. Зібравши команду провідних дослідників і взявши на себе зобов’язання виділити значні обчислювальні ресурси, компанія демонструє свою відданість завчасному пом’якшенню потенційних ризиків, пов’язаних із появою надінтелекту. Рушаючи в це амбітне намагання, OpenAI задає прецедент співпраці та єдності в справі захисту майбутнього людства в епоху ШІ.