Ошибки ИИ на самом деле не так страшны, настоящая проблема заключается в том, что после инцидента все начинают перекладывать ответственность.
Разработчик говорит, что модель так и ответила, поставщик модели утверждает, что на сервере не было сбоев, а оператор говорит, что, возможно, проблема в вводе пользователя. В итоге, после всех проверок, остаются только обычные логи, и никто не может доказать, полные ли они, были ли изменены.
В обычном чате такие ситуации ведут к плохому опыту, но если ИИ участвует в переводах, согласовании, управлении рисками или медицинских решениях, то тут уже не обойдешься простой фразой "системный сбой".
Именно поэтому я считаю, что OpenGradient более реалистичен: он хочет оставить каждую итерацию с доказательственной цепочкой для привлечения к ответственности.
Вызовы модели будут подписаны, доказательства фиксируются в блокчейне, а внешние данные могут оставлять записи о происхождении через узлы данных. Если возникнет спор, можно будет проверить, какую модель вызывали, какие данные использовали, когда вернулся результат и были ли изменены пути выполнения.
Я думаю, что это гораздо ближе к коммерческому внедрению, чем просто стремление сделать ИИ "умнее". Компании решают, доверять ли важные процессы ИИ, не только исходя из точности, но и из того, смогут ли они проанализировать ситуацию после возникновения проблем.
Конечно, наличие записей не означает автоматической ясности ответственности. Даже если доказательства показывают, что модель выполнила все корректно, это может быть следствием ошибки в проектировании подсказок или проблем с исходными данными. Доказательства в блокчейне могут показать, что произошло, но не всегда указывают, кто должен компенсировать.
Поэтому OpenGradient также нужно будет обеспечить более четкие механизмы прав, ответственности и разрешения споров, нельзя упаковывать "аудит" как "абсолютную защиту от ошибок".
Но, по крайней мере, он решает первую задачу: делает ключевые действия ИИ доступными не только в бэкэнде одной компании.
В будущем высокоценные ИИ-сервисы будут соперничать не только в умении говорить, но и в том, кто сможет разъяснить ситуацию от начала до конца, когда возникнут проблемы.
$OPG @OpenGradient #OPG
Разработчик говорит, что модель так и ответила, поставщик модели утверждает, что на сервере не было сбоев, а оператор говорит, что, возможно, проблема в вводе пользователя. В итоге, после всех проверок, остаются только обычные логи, и никто не может доказать, полные ли они, были ли изменены.
В обычном чате такие ситуации ведут к плохому опыту, но если ИИ участвует в переводах, согласовании, управлении рисками или медицинских решениях, то тут уже не обойдешься простой фразой "системный сбой".
Именно поэтому я считаю, что OpenGradient более реалистичен: он хочет оставить каждую итерацию с доказательственной цепочкой для привлечения к ответственности.
Вызовы модели будут подписаны, доказательства фиксируются в блокчейне, а внешние данные могут оставлять записи о происхождении через узлы данных. Если возникнет спор, можно будет проверить, какую модель вызывали, какие данные использовали, когда вернулся результат и были ли изменены пути выполнения.
Я думаю, что это гораздо ближе к коммерческому внедрению, чем просто стремление сделать ИИ "умнее". Компании решают, доверять ли важные процессы ИИ, не только исходя из точности, но и из того, смогут ли они проанализировать ситуацию после возникновения проблем.
Конечно, наличие записей не означает автоматической ясности ответственности. Даже если доказательства показывают, что модель выполнила все корректно, это может быть следствием ошибки в проектировании подсказок или проблем с исходными данными. Доказательства в блокчейне могут показать, что произошло, но не всегда указывают, кто должен компенсировать.
Поэтому OpenGradient также нужно будет обеспечить более четкие механизмы прав, ответственности и разрешения споров, нельзя упаковывать "аудит" как "абсолютную защиту от ошибок".
Но, по крайней мере, он решает первую задачу: делает ключевые действия ИИ доступными не только в бэкэнде одной компании.
В будущем высокоценные ИИ-сервисы будут соперничать не только в умении говорить, но и в том, кто сможет разъяснить ситуацию от начала до конца, когда возникнут проблемы.
$OPG @OpenGradient #OPG