Я вошёл в Newton Protocol в ожидании очередного разговора о более быстрой автоматизации с помощью ИИ. А вышел, думая о совершенно другом.
Чем больше я читал, тем яснее понимал: Newton на самом деле не спрашивает «Может ли агент ИИ действовать?». Он спрашивает: «Что агент ИИ должен быть допущен делать до того, как он начнёт действовать?»
Этот нюанс имеет значение.
Я думаю, отрасль стала слишком привыкшей воспринимать «проверяемость» так, словно она автоматически означает «правильность». Но это не так.
Криптографическое доказательство может показать, что агент строго следовал своим разрешениям, как они были написаны. Оно не может доказать, что лежащая в основе оценка была умной, или что сама политика охватывает все пограничные случаи.
Для меня именно там начинается настоящая сложность.
Если доверие переносится от людей в политики, то эти политики становятся одной из самых важных частей системы. А если управление отвечает за формирование этих политик, то управление — это уже не просто про голосование. Это про решение того, какие ошибки система вообще имеет право совершать.
Вот почему меня привлёк Newton Protocol. Не потому что он обещает идеальную автоматизацию, а потому что он поднимает более глубокий вопрос, к которому отрасль, как мне кажется, только начинает всматриваться.
Когда агентам ИИ будет предоставляться всё больше власти над капиталом, я не думаю, что главная угроза будет в том, будут ли они следовать правилам.
Мне кажется, главный вопрос — а написали ли мы вообще правильные правила.
$EVAA
$OGN
$NEWT
@NewtonProtocol #Newt #newt
Чем больше я читал, тем яснее понимал: Newton на самом деле не спрашивает «Может ли агент ИИ действовать?». Он спрашивает: «Что агент ИИ должен быть допущен делать до того, как он начнёт действовать?»
Этот нюанс имеет значение.
Я думаю, отрасль стала слишком привыкшей воспринимать «проверяемость» так, словно она автоматически означает «правильность». Но это не так.
Криптографическое доказательство может показать, что агент строго следовал своим разрешениям, как они были написаны. Оно не может доказать, что лежащая в основе оценка была умной, или что сама политика охватывает все пограничные случаи.
Для меня именно там начинается настоящая сложность.
Если доверие переносится от людей в политики, то эти политики становятся одной из самых важных частей системы. А если управление отвечает за формирование этих политик, то управление — это уже не просто про голосование. Это про решение того, какие ошибки система вообще имеет право совершать.
Вот почему меня привлёк Newton Protocol. Не потому что он обещает идеальную автоматизацию, а потому что он поднимает более глубокий вопрос, к которому отрасль, как мне кажется, только начинает всматриваться.
Когда агентам ИИ будет предоставляться всё больше власти над капиталом, я не думаю, что главная угроза будет в том, будут ли они следовать правилам.
Мне кажется, главный вопрос — а написали ли мы вообще правильные правила.
$EVAA
$OGN
$NEWT
@NewtonProtocol #Newt #newt
