Протокол Newton снова и снова возвращается в мои мысли не потому, что я считаю, будто он дает все ответы, а потому, что заставляет меня подвергать сомнению то, что становится все более и более неприятным. Мы часто предполагаем, что если система ИИ работает в защищенной и верифицируемой среде, то доверие возникает само собой. Не уверен, что все так просто. Доверие редко строится только технологиями. Его формируют привычки, ожидания и готовность людей продолжать задавать трудные вопросы даже после того, как кажется, что все работает.
Я подозреваю, что реальная сложность для @NewtonProtocol не в том, смогут ли стратегии, основанные на ИИ, выполняться безопасно, а в том, останутся ли люди, которые на них полагаются, достаточно вовлеченными, чтобы понимать, чему именно они доверяют. В начале участники, как правило, внимательно рассматривают решения, потому что все новое. Со временем привычность вытесняет любопытство. Успех может создать тихую уверенность, которая постепенно снижает склонность к проверкам. Возможно, система работает до тех пор, пока люди не станут чувствовать себя комфортно с результатами больше, чем с тем, как эти результаты были получены.
Меня больше всего беспокоит то, как может развиваться управление по мере взросления протокола. Никому не нужно намеренно централизовать контроль, чтобы влияние стало сосредоточенным. Похоже, возможно, что люди с самыми глубокими техническими знаниями постепенно окажутся теми, от кого будет зависеть каждый, тогда как более широкое сообщество примет их решения просто потому, что оценивать сложные решения становится слишком обременительно. Этот сдвиг может происходить настолько постепенно, что мало кто даже заметит это.
Может быть, более важный вопрос не в том, сможет ли Newton Protocol обеспечить безопасный автономный интеллект, а в том, сможет ли он сохранить независимое человеческое суждение по мере того, как автоматизация станет обычным явлением. Не уверен, что любой протокол полностью сможет разрешить это противоречие — и, возможно, дело именно в этом.
@NewtonProtocol #Newt $NEWT
Я подозреваю, что реальная сложность для @NewtonProtocol не в том, смогут ли стратегии, основанные на ИИ, выполняться безопасно, а в том, останутся ли люди, которые на них полагаются, достаточно вовлеченными, чтобы понимать, чему именно они доверяют. В начале участники, как правило, внимательно рассматривают решения, потому что все новое. Со временем привычность вытесняет любопытство. Успех может создать тихую уверенность, которая постепенно снижает склонность к проверкам. Возможно, система работает до тех пор, пока люди не станут чувствовать себя комфортно с результатами больше, чем с тем, как эти результаты были получены.
Меня больше всего беспокоит то, как может развиваться управление по мере взросления протокола. Никому не нужно намеренно централизовать контроль, чтобы влияние стало сосредоточенным. Похоже, возможно, что люди с самыми глубокими техническими знаниями постепенно окажутся теми, от кого будет зависеть каждый, тогда как более широкое сообщество примет их решения просто потому, что оценивать сложные решения становится слишком обременительно. Этот сдвиг может происходить настолько постепенно, что мало кто даже заметит это.
Может быть, более важный вопрос не в том, сможет ли Newton Protocol обеспечить безопасный автономный интеллект, а в том, сможет ли он сохранить независимое человеческое суждение по мере того, как автоматизация станет обычным явлением. Не уверен, что любой протокол полностью сможет разрешить это противоречие — и, возможно, дело именно в этом.
@NewtonProtocol #Newt $NEWT