Компания по анализу уязвимостей VulnCheck недавно опубликовала третий разбор программы Anthropic по кибербезопасности Project Glasswing. Согласно данным из открытого реестра самой Anthropic по состоянию на 2 ноября, за семь месяцев работы Glasswing было зарегистрировано 37 966 находок, из которых публично раскрыли только 7 349 — около 19,4%. Исправленными были отмечены лишь 217.
Когда Anthropic запустила Glasswing 7 апреля, компания сообщила, что обнаружила «тысячи уязвимостей с высоким и критическим уровнем риска» и ответственно раскрывает информацию о них сопровождающим разработчикам проектов с открытым исходным кодом. Автор статьи, сотрудник VulnCheck Патрик Гаррити, с середины апреля ведёт базу данных с открытым исходным кодом и отслеживает каждую уязвимость, которую можно приписать Anthropic.
За два месяца число обнаружений выросло почти на 12 тысяч, а число исправленных уязвимостей — всего на 15
VulnCheck сравнила реестры за 8 сентября и 2 ноября: общее число обнаружений выросло с 26 153 до 37 966 — на 11 813; число исправленных уязвимостей — с 202 до 217, всего на 15; число отозванных записей увеличилось с 245 до 419, а помеченных как дубликаты — с 2 до 1 670. За тот же период указанная в реестре доля подтверждённых уязвимостей выросла с 91,4% до 94,2%.
По мнению Гаррити, число дубликатов и отозванных записей превышает число исправленных уязвимостей, а доля подтверждённых уязвимостей при этом продолжает расти. Это может означать, что классификация в реестре не отражает эти результаты. Он также выявил 442 идентификатора уязвимостей CVE, которые можно отнести к заслугам Anthropic. Это около 0,5% от всех 93 450 CVE, опубликованных в этом году, и только 2 из них вошли в список уязвимостей, фактически использованных злоумышленниками.
Более половины отчётов, полученных curl, признаны не содержащими уязвимостей
VulnCheck также приводит в пример curl — инструмент с открытым исходным кодом для загрузки файлов. Недавно сопровождающий проект Даниэль Стенберг сообщил, что проект получил от Anthropic 45 отчётов об уязвимостях. Сама Anthropic оценила один из них как уязвимость среднего уровня риска, остальные — как низкого. На момент публикации анализа из 34 уже обнародованных отчётов 19 были признаны не содержащими уязвимостей, 6 подтвердились как уязвимости низкого уровня риска, а 9 всё ещё находились на рассмотрении.
Вывод Гаррити таков: ИИ действительно полезен для поиска уязвимостей, но результаты за семь месяцев не сходятся с заявлениями, сделанными при запуске Glasswing, а бремя проверки перекладывается на сопровождающих проекты с открытым исходным кодом.
Anthropic ранее признала, что проверка специалистами — узкое место
8 октября, представляя OSS Scanner — инструмент для самостоятельного сканирования проектов с открытым исходным кодом, — Anthropic написала в официальном блоге, что к тому времени обнаружила более 29 тысяч предполагаемых уязвимостей, но специалисты проверили лишь около 6 000. Компания признала, что ограничена «возможностями людей по проверке», и сообщила, что по просьбам некоторых сопровождающих проектов уже разослала партиями почти 5 000 непроверенных отчётов.
Anthropic также прямо указала, что отчёты OSS Scanner «полностью создаются моделью и не проходят проверку или классификацию специалистами» и могут содержать ошибки или недостоверную информацию. Оценивать их должны сопровождающие проектов. Об этой инициативе рассказывалось ранее: Anthropic бесплатно сканирует проекты с открытым исходным кодом на уязвимости с помощью своей самой мощной модели. На момент публикации Anthropic публично не ответила на этот анализ VulnCheck.
Статья «Программа Anthropic по поиску уязвимостей: за семь месяцев — 38 тысяч обнаружений, исправлено лишь 217» впервые опубликована на .
【Дополнительный анализ】
【Мой дополнительный комментарий】
Проект Glasswing компании Anthropic выявил типичную проблему больших языковых моделей (LLM) в сфере кибербезопасности: **противоречие между «высокой способностью генерировать отчёты» и «низкой эффективностью понимания контекста и проверки»**. Массовое сканирование с помощью ИИ значительно снижает порог обнаружения потенциальных аномалий, однако высокий уровень ложных срабатываний (как в случае с curl) перекладывает огромные затраты на ручную проверку на сопровождающих проектов с открытым исходным кодом и приводит к наплыву «мусорных отчётов от ИИ». Это показывает, что генеративный ИИ в аудите кода и защите всё ещё не может обойтись без экспертов-людей, а инструменты безопасности, основанные исключительно на моделях, в ближайшей перспективе не смогут заменить зрелые специализированные решения.
【Влияние на рынок】
* **Рынок акций США (нейтральный с уклоном в негатив):**
* **Технологические гиганты в сфере ИИ и их партнёры (например, Amazon AMZN, Alphabet GOOGL):** Проблемы, с которыми столкнулся эксперимент Anthropic, отражают разрыв между возможностями больших языковых моделей и эффективностью их применения в специализированных сферах, таких как DevSecOps. Это может охладить чрезмерно оптимистичные ожидания рынка, что «ИИ полностью заменит людей», и в целом оказать **нейтральное** влияние на основных инвесторов компании.
* **Традиционный сектор кибербезопасности (например, CrowdStrike CRWD, Palo Alto Networks PANW):** Умеренно **позитивный** настрой. Этот случай показывает, что универсальный генеративный ИИ пока не способен заменить профессиональные системы мониторинга и защиты в сфере кибербезопасности, а модель взаимодействия человека и ИИ (Human-in-the-loop), используемая специализированными компаниями, создаёт более высокий барьер для конкурентов.
* **Рынок криптовалют (нейтральный):**
* В отношении токенов, связанных с ИИ (например, TAO, FET), а также проектов, заявляющих о «полностью основанном на ИИ аудите смарт-контрактов», рынок может осторожнее оценивать зрелость их технологий. Вместе с тем это подчёркивает важность «совместного аудита человека и ИИ» и оказывает **нейтральное** влияние на сектор криптобезопасности.
【За чем следить】
В дальнейшем следует наблюдать за тем, изменит ли Anthropic механизмы фильтрации OSS Scanner, а также введут ли сообщества разработчиков ПО с открытым исходным кодом (например, Linux Foundation и GitHub) правила противодействия нежелательной рассылке и ограничениям на автоматически создаваемые ИИ отчёты об уязвимостях.
【Предупреждение о рисках】
Если злоупотребление ИИ-сканированием вызовет негативную реакцию в сообществах разработчиков ПО с открытым исходным кодом, это может замедлить обработку уязвимостей в целом. Кроме того, следует учитывать системный риск атак нулевого дня (0-day attacks): хакеры могут использовать раскрытые Anthropic подтверждённые, но ещё не исправленные уязвимости.