Después de que las herramientas anteriores se quedaron cortas, OpenAI lanzó otro detector de IA centrado en imágenes y el creciente riesgo de deepfakes.

OpenAI, pionera en el campo de la inteligencia artificial generativa, asume el desafío de detectar imágenes deepfake en un momento en que el contenido engañoso es cada vez más común en las redes sociales. Mira Murati, directora de tecnología de la compañía, presentó un nuevo detector de deepfake en la reciente conferencia WSJ Technology Live en Laguna Beach, California.

Murati dijo que la nueva herramienta de OpenAI tiene "99 por ciento de confiabilidad" para determinar si una imagen se generó usando IA.

Las imágenes generadas por IA pueden incluir de todo, desde creaciones alegres, como el Papa Francisco con un abrigo mullido de Balenciaga, hasta imágenes engañosas que pueden causar estragos financieros. El potencial y los peligros de la IA son claros. A medida que estas herramientas se vuelven más sofisticadas, distinguir el contenido real del contenido generado por IA está resultando un desafío.

Si bien la fecha de lanzamiento de la herramienta permanece en secreto, su lanzamiento ha generado un interés significativo, especialmente teniendo en cuenta los esfuerzos anteriores de OpenAI.

En enero de 2022, la compañía lanzó un clasificador de texto que, según decía, podía distinguir la escritura humana del texto generado por máquina a partir de modelos como ChatGPT. Pero en julio, OpenAI cerró silenciosamente la herramienta y publicó una actualización diciendo que su tasa de error era inaceptablemente alta. Su clasificador etiquetó incorrectamente la escritura humana real como generada por IA el 9% de las veces.

Si las afirmaciones de Murati son ciertas, sería un momento importante para la industria, ya que los métodos actuales de detección de imágenes generadas por IA a menudo no están automatizados. Normalmente, los aficionados confían en la intuición y se centran en desafíos bien conocidos que obstaculizan la IA generativa, como trazar manos, dientes y patrones. La distinción entre imágenes generadas por IA e imágenes editadas por IA sigue siendo borrosa, especialmente cuando se intenta utilizar IA para detectar IA.

OpenAI no solo trabaja para detectar imágenes dañinas de IA, sino que también establece barreras para censurar sus propios modelos, incluso más allá de lo que declara públicamente en sus pautas de contenido.

Como descubrió Decrypt, la herramienta Dall-E de OpenAI parece estar configurada para modificar mensajes sin notificación y generar errores silenciosamente cuando se le solicita que produzca resultados específicos, incluso si cumplen con las pautas publicadas, y evita crear datos relacionados con nombres, estilos de artistas y razas específicos. .

Parte del mensaje de Dall-E 3 en ChatGPT. Fuente: descifrar

La detección de deepfakes no es tarea exclusiva de OpenAI. DeepMedia es una empresa que desarrolla esta capacidad y trabaja exclusivamente con clientes gubernamentales.

Grandes empresas como Microsoft y Adobe también se están arremangando. Han lanzado lo que llaman un sistema de "marca de agua AI". El mecanismo, impulsado por Content Provenance and Authenticity Alliance (C2PA), incluye un símbolo "cr" único dentro del bocadillo para indicar contenido generado por IA. El símbolo pretende servir como un faro de transparencia, permitiendo a los usuarios discernir el origen del contenido.

Sin embargo, como cualquier tecnología, no es infalible. Existe una vulnerabilidad que puede eliminar los metadatos que llevan este símbolo. Sin embargo, como solución, Adobe también ha lanzado un servicio en la nube capaz de recuperar metadatos perdidos, garantizando así la existencia del símbolo. Tampoco es difícil de eludir.

A medida que los reguladores criminalizan cada vez más los deepfakes, estas innovaciones no son solo logros tecnológicos sino también necesidades sociales. Iniciativas recientes de OpenAI y empresas como Microsoft y Adobe subrayan el esfuerzo colectivo para garantizar la autenticidad en la era digital. Aunque estas herramientas se actualizan para proporcionar un mayor grado de autenticidad, su implementación efectiva depende de una adopción generalizada. Esto involucra no sólo a los gigantes tecnológicos, sino también a los creadores de contenido, las plataformas de redes sociales y los usuarios finales.

Con el rápido desarrollo de la inteligencia artificial generativa, los detectores todavía tienen dificultades para distinguir la autenticidad del texto, las imágenes y el audio. Actualmente, el juicio y la vigilancia humanos son nuestras mejores líneas de defensa contra el uso indebido de la IA. Sin embargo, los humanos no son infalibles. Las soluciones duraderas requerirán que los líderes tecnológicos, los legisladores y el público trabajen juntos para navegar en este nuevo y complejo territorio. #OpenAI #AI检测