ИИ обслуживает несколько компаний — на каком основании данные не смешиваются? Первый рубеж защиты корпоративного ИИ (перепечатано из статьи в официальном аккаунте нашей компании)
Вопрос возник после одного скриншота: отвечая на вопрос клиента компании B о продлении договора, ИИ-ассистент компании невзначай упомянул сумму контракта компании A. Доверие сразу двух клиентов едва не оказалось под угрозой. Проблема была не на уровне модели, а в границе изоляции, которая должна проходить раньше.
При оценке изоляции корпоративного ИИ обычно смотрят на три измерения. Компании: факты, документы, сведения о потенциальных клиентах и результаты работы каждой компании должны быть независимы и храниться отдельно. Рабочие пространства: у разных направлений и проектов одной компании должны быть собственные рабочие данные и контекст. Учётные записи: один и тот же человек часто управляет несколькими компаниями, поэтому при переключении нужно гарантировать, что «человек остаётся внутри своей границы», а данные не сваливаются в один общий пул. Возможности могут быть общими, но факты должны оставаться у каждой компании своими.
В отрасли уже были подобные случаи. В марте 2023 года OpenAI сообщила об инциденте с ChatGPT: из-за дефекта в библиотеке клиента заголовки диалогов некоторых пользователей и даже отдельные платёжные данные на некоторое время стали видны другим пользователям. В апреле 2023 года СМИ сообщили, что Samsung ужесточила правила использования после того, как сотрудники вставили внутренний код во внешние инструменты ИИ. Если границы между арендаторами устанавливают постфактум, риск остаётся постоянно.
Прежде чем оценивать систему, задайте вопрос: по какому принципу в ней изолируются данные? Если изоляция настроена только на уровне учётных записей, границы начинают размываться, как только один и тот же человек управляет несколькими компаниями.
Не является инвестиционной рекомендацией.
Вопрос возник после одного скриншота: отвечая на вопрос клиента компании B о продлении договора, ИИ-ассистент компании невзначай упомянул сумму контракта компании A. Доверие сразу двух клиентов едва не оказалось под угрозой. Проблема была не на уровне модели, а в границе изоляции, которая должна проходить раньше.
При оценке изоляции корпоративного ИИ обычно смотрят на три измерения. Компании: факты, документы, сведения о потенциальных клиентах и результаты работы каждой компании должны быть независимы и храниться отдельно. Рабочие пространства: у разных направлений и проектов одной компании должны быть собственные рабочие данные и контекст. Учётные записи: один и тот же человек часто управляет несколькими компаниями, поэтому при переключении нужно гарантировать, что «человек остаётся внутри своей границы», а данные не сваливаются в один общий пул. Возможности могут быть общими, но факты должны оставаться у каждой компании своими.
В отрасли уже были подобные случаи. В марте 2023 года OpenAI сообщила об инциденте с ChatGPT: из-за дефекта в библиотеке клиента заголовки диалогов некоторых пользователей и даже отдельные платёжные данные на некоторое время стали видны другим пользователям. В апреле 2023 года СМИ сообщили, что Samsung ужесточила правила использования после того, как сотрудники вставили внутренний код во внешние инструменты ИИ. Если границы между арендаторами устанавливают постфактум, риск остаётся постоянно.
Прежде чем оценивать систему, задайте вопрос: по какому принципу в ней изолируются данные? Если изоляция настроена только на уровне учётных записей, границы начинают размываться, как только один и тот же человек управляет несколькими компаниями.
Не является инвестиционной рекомендацией.