По словам Decrypt, новый инструмент под названием Nightshade может помочь художникам защитить свою работу от без разрешения генеративных моделей искусственного интеллекта. Эти модели, которые в этом году привлекли всеобщее внимание, основаны на огромных библиотеках существующего искусства и могут создавать визуальные образы с удивительными возможностями. Nightshade использует оптимизированные, специфичные для подсказок атаки по отравлению данных, чтобы повредить данные, необходимые для обучения моделей ИИ, когда они подаются в генератор изображений.
Профессор Бен Чжао объяснил, что отравление было известным вектором атаки в моделях машинного обучения в течение многих лет, но Nightshade уникален, поскольку он отравляет генеративные модели ИИ, что ранее считалось невозможным из-за их большого размера. Инструмент нацелен на отдельные запросы, такие как запросы на создание изображения дракона, собаки или лошади, а не атакует всю модель. Такой подход ослабляет модель и лишает ее возможности создавать искусство.
Чтобы избежать обнаружения, текст и изображение в искаженных данных должны выглядеть естественными и быть созданы так, чтобы обмануть как автоматические детекторы выравнивания, так и людей-инспекторов. Хотя Nightshade в настоящее время является лишь доказательством концепции, Чжао считает, что если достаточное количество художников внедрит эти ядовитые таблетки, модель ИИ может рухнуть и стать бесполезной.
Nightshade не требует каких-либо действий против самого генератора изображений ИИ, но вступает в силу, когда модель ИИ пытается использовать данные, в которые был включен Nightshade. Чжао описал это как меньшее нападение и больше похожее на самооборону или забор из колючей проволоки. с опасными советами, предназначенными для разработчиков ИИ, которые не соблюдают требования об отказе и директивы о запрете очистки.
