Несколько дней назад я наблюдал, как самообслуживающийся автомат списал с неверного клиента оплату за чужие продукты. Сначала никто не спорил с машиной, потому что все предполагали, что автоматизация обязательно права. В конце концов сотрудник исправил ошибку, но это напомнило мне о кое-чем, что я постоянно замечаю в криптовалюте.
Мы тратим много времени на то, может ли автоматизация сделать больше.
Мы тратим гораздо меньше времени на то, кто несет ответственность, когда автоматизация делает что-то неправильно.
Этот вопрос стал гораздо интереснее, когда я разобрался с @NewtonProtocol . Я ожидал еще одно обсуждение ИИ-агентов, автоматизированных стратегий и более быстрого исполнения. Вместо этого я поймал себя на мысли об ответственности.
Для меня это гораздо более масштабная тема, чем сама по себе автоматизация.
Автоматизацию легко восхищаться, когда всё работает идеально. Сложная часть начинается, когда рынки становятся волатильными, фиды данных выходят из строя или ИИ-агент принимает плохое решение, которое стоит реальных денег.
В традиционных финансах обычно к ошибкам кто-то привязан. Менеджер портфеля отвечает перед клиентами. Банк отвечает перед регуляторами. Компания отвечает перед акционерами.
Крипто часто убирает этот человеческий слой.
Это повышает эффективность, но может также создать дистанцию между действиями и последствиями.
Представьте, что вы наняли водителя для доставки.
Если они знают, что отвечают за каждую посылку, они ездят аккуратно. Если они знают, что никто не сможет определить их после ошибки, их стимулы меняются сразу.
Автоматизация работает примерно так же.
Сама по себе технология не является ни честной, ни нечестной. Она просто следует стимулам.
Вот почему я думаю, что подотчетности стоит уделять больше внимания, чем скорости автоматизации.
Многие обсуждения в крипто фокусируются на том, как разумные ИИ-агенты станут реальностью. Я думаю, более важный вопрос — будут ли эти агенты работать внутри систем, где плохое поведение действительно ведёт к последствиям.
Без последствий автоматизация просто масштабирует ошибки.
Один сломанный процесс может превратиться в тысячи сломанных транзакций за минуты.
Мы уже видели более маленькие версии этого в крипто.
Торговые боты случайно усиливали флэш-крэши.
Плохо настроенные системы ликвидации вызвали ненужные потери.
Сбои оракула приводили к тому, что протоколы реагировали на неверную информацию.
Ни одна из этих проблем не возникла потому, что автоматизация по своей сути плоха.
Они случились потому, что автоматизированные системы исполняли ровно то, для чего были созданы — даже когда эти инструкции приводили к ужасным результатам.
Этот нюанс важен.
Люди часто представляют ИИ как нечто, способное к самостоятельному суждению.
Большинство автоматизированных систем на самом деле очень буквальны.
Дайте им несовершенные правила — и они идеально выполнят несовершенные решения.
Это напоминает мне навигацию GPS.
Большинство водителей сталкивались с тем, что GPS отправлял их по невозможному маршруту или в неожиданную пробку.
GPS не пытается принимать плохие решения.
Она просто следует доступной информации.
Хорошие водители понимают, когда нужно перестать доверять автоматизации.
Плохие водители продолжают ехать, потому что «так сказал компьютер».
Крипто сталкивается с похожей проблемой.
По мере того как ИИ-агенты станут способны управлять активами, исполнять сделки, взаимодействовать между сетями и принимать финансовые решения, пользователи могут начать доверять им, не понимая их ограничений.
Это создаёт опасную иллюзию.
Автоматизация может уменьшить усилия.
Она не может устранить ответственность.
Один аспект, о котором я задумался, — это попытка мыслить шире чистой автоматизации, внедрив механизмы, призванные согласовать стимулы между операторами и действиями, выполняемыми в интересах пользователей.
Успех каждой реализации — это то, что сможет подтвердить только реальное внедрение.
Whitepapers редко раскрывают, как системы ведут себя под давлением.
Рынки делают это.
Вот почему я остаюсь осторожно заинтересованным, а не полностью убеждённым.
Настоящая подотчетность проверяется во время сбоев, а не во время успешных демо-видео.
Предположим, в будущем ИИ-агент управляет инвестиционным портфелем.
Она автоматически ребалансирует активы, заявляет награды за стейкинг, перемещает ликвидность между протоколами и ищет возможности доходности.
Всё выглядит впечатляюще.
Затем одно событие на рынке создаёт неожиданные условия.
ИИ следует заложенной логике и теряет значительный капитал.
Кто несёт ответственность?
Пользователь?
Разработчик?
Оператор?
Протокол?
Без ясного ответа автоматизацию трудно доверять в масштабе.
Теперь представьте другой сценарий.
Децентрализованный бизнес нанимает ИИ-агентов для управления платежами поставщикам, payroll и казначейством.
Система экономит несколько часов каждую неделю.
Но одна ошибочная апдейтовка ПО отправляет платежи на неверные адреса.
Эффективность, полученная за месяцы, исчезает за минуты.
Снова: подотчетность становится ценнее, чем сама по себе автоматизация.
Вот почему я считаю, что инфраструктура важнее, чем броские демонстрации ИИ.
Криптоиндустрия часто восхваляет то, чего может добиться автоматизация.
Я думаю, мы должны одинаково отмечать системы, которые создают последствия, когда автоматизация ведёт себя безответственно.
Иначе мы рискуем построить невероятно быстрые системы, которые просто быстрее совершают дорогие ошибки.
Есть ещё один психологический фактор, которому стоит уделить внимание.
Люди естественно доверяют машинам, которые выглядят умными.
Мы предполагаем, что ПО объективно.
Мы предполагаем, что алгоритмы убирают предвзятость.
Ни одно из предположений не всегда верно.
Алгоритмы наследуют предположения от людей, которые их проектируют.
ИИ наследует ограничения из данных, на которых его обучали.
Автоматизация наследует риски от окружающей инфраструктуры.
Ни одна из этих технологий не существует в изоляции.
Вот почему подотчетность нельзя просто добавить позже как опциональную функцию.
Это должно существовать с самого начала.
Иначе любое улучшение в автоматизации также увеличит скорость, с которой проблемы распространяются.
Заглядывая вперёд, я могу представить, что ИИ-агенты станут обычными участниками децентрализованных финансов.
Они могут вести переговоры по транзакциям, оптимизировать ликвидность, управлять подписками, выполнять инструкции по управлению и координироваться между несколькими блокчейнами.
Такое будущее выглядит всё более реалистичным.
Но я не думаю, что пользователи будут доверять автономным агентам просто потому, что они умны.
Люди будут доверять им, когда поймут, что ответственность всё равно остаётся, если что-то пойдёт не так.
Для меня это более интересный долгосрочный вопрос вокруг $NEWT и более широкой идеи за #Newt .
Технология сама по себе вдохновляет.
Управление вокруг технологии в конечном счёте может оказаться ещё важнее.
Крипто годами доказывает, что автоматизация возможна.
Следующая задача — доказать, что автоматизация может оставаться подотчетной, даже когда на неё завязаны миллиарды долларов.
Если эту задачу решить, автономные финансы могут стать гораздо более практичными, чем многие ожидают.
Если нет, мы можем просто автоматизировать старые проблемы в гораздо большем масштабе.
Вопрос для обсуждения: когда ИИ-агенты становятся более автономными в крипто, что для вас важнее — более умная автоматизация или более жёсткая подотчетность, когда что-то идёт не так?