Мир заслуживает уверенности в том, что американские компании, разрабатывающие все более способный ИИ, будут действовать ответственно — особенно с учетом того, что траектория прогресса заметно ускорилась. Каждая лаборатория на переднем крае должна это обеспечить, и нет причин кому-либо из нас приходить на работу, если мы не можем этого сделать.
Мы приветствуем федеральную рамочную основу, которая задаст единые требования по безопасности для ИИ на переднем крае. Но мы не считаем, что нужно ждать антимонопольного освобождения или принятия законодательства, чтобы начать работу по формированию этой уверенности. Единые правила для управления рисками на переднем крае, чтобы мы могли максимизировать выгоды, — это хорошая идея (и нас вдохновляют такие подходы, как независимые аудиторы).
Много лет назад компании вроде нашей разрабатывали такие вещи, как Политики ответственного масштабирования и Рамки готовности. Они были хороши для того момента и в первую очередь фокусировались на развертывании уже завершенных моделей, а не на том, что происходит в процессе их разработки.
Сегодняшний переход к фокусу на безопасной разработке и оценке потребует новых инструментов. Например, в OpenAI мы теперь заранее формулируем явные обоснования безопасности (safety cases) до запуска экспериментов по усилению обучения на переднем крае, ожидая значительного повышения возможностей — в дополнение к той работе по безопасности, которую мы давно выполняем до релизов моделей.
Мы надеемся, что другие компании изучат наши подходы и предложат свои; мы считаем, что общие стандарты по устранению рассогласований (misalignment), мониторингу и безопасности приведут к более результативным итогам. Мы с нетерпением ждем сотрудничества с коллегами по всей отрасли, чтобы выработать наилучшую версию этих подходов.
Когда мы говорим о «темпе» (pacing), мы не имеем в виду «остановку». Прогресс идет быстро и будет продолжаться. Но он должен быть медленнее, чем мог бы; вмешательства вроде обоснований безопасности и мониторинга имеют существенные издержки.
Темпование (pacing) того стоит — никакое давление американской конкурентоспособности не должно оправдывать безрассудство или позволять возможностям опережать согласование с целями (alignment) и мониторинг.
В чем нам понадобится помощь нашего правительства — это международная координация. Но сначала нам следует сделать то, что мы можем сами.
Мы приветствуем федеральную рамочную основу, которая задаст единые требования по безопасности для ИИ на переднем крае. Но мы не считаем, что нужно ждать антимонопольного освобождения или принятия законодательства, чтобы начать работу по формированию этой уверенности. Единые правила для управления рисками на переднем крае, чтобы мы могли максимизировать выгоды, — это хорошая идея (и нас вдохновляют такие подходы, как независимые аудиторы).
Много лет назад компании вроде нашей разрабатывали такие вещи, как Политики ответственного масштабирования и Рамки готовности. Они были хороши для того момента и в первую очередь фокусировались на развертывании уже завершенных моделей, а не на том, что происходит в процессе их разработки.
Сегодняшний переход к фокусу на безопасной разработке и оценке потребует новых инструментов. Например, в OpenAI мы теперь заранее формулируем явные обоснования безопасности (safety cases) до запуска экспериментов по усилению обучения на переднем крае, ожидая значительного повышения возможностей — в дополнение к той работе по безопасности, которую мы давно выполняем до релизов моделей.
Мы надеемся, что другие компании изучат наши подходы и предложат свои; мы считаем, что общие стандарты по устранению рассогласований (misalignment), мониторингу и безопасности приведут к более результативным итогам. Мы с нетерпением ждем сотрудничества с коллегами по всей отрасли, чтобы выработать наилучшую версию этих подходов.
Когда мы говорим о «темпе» (pacing), мы не имеем в виду «остановку». Прогресс идет быстро и будет продолжаться. Но он должен быть медленнее, чем мог бы; вмешательства вроде обоснований безопасности и мониторинга имеют существенные издержки.
Темпование (pacing) того стоит — никакое давление американской конкурентоспособности не должно оправдывать безрассудство или позволять возможностям опережать согласование с целями (alignment) и мониторинг.
В чем нам понадобится помощь нашего правительства — это международная координация. Но сначала нам следует сделать то, что мы можем сами.