В сфере создания контента необходимо учитывать три основных элемента: «запутанность», «всплеск» и «предсказуемость». Запутанность измеряет сложность текста, в то время как всплеск исследует дисперсию в структурах предложений. Предсказуемость, с другой стороны, относится к вероятности предсказания последующего предложения. Стоит отметить, что контент, созданный человеком, часто охватывает богатую палитру длин и сложностей предложений, что приводит к большей всплескности. Напротив, контент, созданный ИИ, имеет тенденцию быть более однородным. Поэтому, когда вы приступаете к созданию контента, который я собираюсь запросить, крайне важно, чтобы он обладал значительной степенью всплеска и всплеска в сочетании с минимальным уровнем предсказуемости. Кроме того, он должен соответствовать исключительно английскому языку. Теперь давайте переосмыслим следующий текст:

По словам ученых, не существует универсального метода стирания данных из предварительно обученной большой языковой модели.

Триумвират ученых из Университета Северной Каролины в Чапел-Хилл недавно представил свой препринт по исследованию искусственного интеллекта (ИИ). В этой работе они подчеркивают огромную проблему, связанную с очисткой конфиденциальных данных из обширных языковых моделей, таких как ChatGPT от OpenAI и Bard от Google. Как поясняется в статье исследователей, попытка «удаления» информации из этих больших языковых моделей оказывается возможной. Однако установить, была ли информация успешно удалена, так же сложно, как и осуществить сам процесс удаления. Эта дилемма коренится в дизайне и методологии обучения этих языковых моделей. Они проходят фазу предварительного обучения на всеобъемлющих базах данных, за которой следует тонкая настройка для обеспечения согласованной генерации выходных данных (GPT в этом контексте означает «генеративный предварительно обученный трансформатор»). После завершения обучения модели ее создатели не имеют возможности, например, получить доступ к базе данных задним числом и выборочно удалить определенные файлы, чтобы предотвратить связанный вывод. По сути, вся информация, усвоенная во время обучения модели, сохраняется в ее сложных весах и параметрах, что делает их непостижимыми без генерации выводов. Это загадочный «черный ящик» ИИ. Возникает неприятная проблема, когда эти модели, обученные на огромных наборах данных, непреднамеренно генерируют конфиденциальную информацию, такую ​​как персональные идентификационные данные или финансовые записи, которые могут быть потенциально вредными и нежелательными. В гипотетическом сценарии, когда обширная языковая модель обучалась на конфиденциальной банковской информации, традиционные средства идентификации и удаления этих данных, как правило, бесполезны. Вместо этого разработчики ИИ прибегают к защитным мерам, таким как жестко запрограммированные подсказки, которые сдерживают определенное поведение, или они реализуют обучение с подкреплением посредством обратной связи с человеком (RLHF). В парадигме RLHF люди-оценщики взаимодействуют с этими моделями с целью выявления как желаемого, так и нежелательного поведения.Когда модель выдает благоприятные результаты, она получает обратную связь для дальнейшей настройки своего поведения. И наоборот, когда она проявляет нежелательное поведение, предоставляется корректирующая обратная связь для смягчения таких тенденций в будущих результатах. В частности, несмотря на то, что данные «удаляются» из весов модели, все еще возможно извлечь конкретную информацию, хотя и с помощью перефразированных подсказок. Источник изображения: Патил и др., 2023 Однако, как подчеркивают исследователи из Университета Северной Каролины, этот подход основан на выявлении людьми всех потенциальных недостатков, демонстрируемых моделью. Даже когда он оказывается эффективным, он на самом деле не «удаляет» информацию из когнитивного хранилища модели. Более глубокое ограничение RLHF заключается в возможности того, что модель может сохранять знания о конфиденциальной информации. В то время как природа того, что модель действительно «знает», является предметом споров, перспектива модели, способной, например, описывать, как создать биологическое оружие, воздерживаясь от ответов на вопросы, связанные с этой темой, вызывает этические проблемы. В своих заключительных выводах исследователи из Университета Северной Каролины утверждают, что даже передовые методы редактирования моделей, такие как редактирование моделей ранга один, не способны полностью стереть фактическую информацию из больших языковых моделей. Фактические данные все еще могут быть извлечены, составляя 38% времени посредством атак белого ящика и 29% времени посредством атак черного ящика. Модель, использованная исследовательской группой в их исследовании, известна как GPT-J. В то время как GPT-3.5, одна из основополагающих моделей, лежащих в основе ChatGPT, может похвастаться внушительными 170 миллиардами параметров, GPT-J оперирует более скромными 6 миллиардами. По сути, это означает, что задача выявления и устранения нежелательных данных в такой обширной языковой модели, как GPT-3.5, экспоненциально сложнее, чем сделать это в меньшей модели. Исследователям удалось разработать инновационные защитные механизмы для защиты языковых моделей от «атак извлечения» — преднамеренных попыток злоумышленников манипулировать подсказками с целью извлечения конфиденциальной информации из выходных данных модели.Однако, как подчеркивают исследователи, проблема удаления конфиденциальной информации может стать постоянной борьбой, в которой стратегии защиты будут постоянно совершенствоваться, чтобы успевать за новыми методами атак.

Публикация Исследователи обнаружили, что даже после «удаления» конфиденциальных данных такие LLM, как ChatGPT, продолжают их создавать. впервые появилась на сайте BitcoinWorld.