Vitalik Buterin, fundador de Ethereum, dio su perspectiva sobre un debate creciente: los riesgos de la inteligencia artificial (IA).
En esta ocasión, el desarrollador ruso-canadiense aprovechó una reflexión compartida en X por Eito Muyamura, promotor del proyecto Edison Watch, una solución para monitorear y prevenir filtraciones de datos a través de interacciones de IA.
Nació de la reciente introducción del Protocolo de Contexto de Modelo (MCP) por OpenAI, la compañía dirigida por Sam Altman, en ChatGPT, que le permite conectarse a Gmail, calendarios y otras aplicaciones.
A través de un video, Muyamura demostró cómo los atacantes o hackers pueden acceder a datos privados compartidos con OpenAI.
“Aquí está el problema fundamental: los agentes de IA como ChatGPT siguen tus comandos, no tu sentido común. Y con solo tu dirección de correo electrónico, podemos filtrar toda tu información privada,” señala Muyamura, añadiendo, “Recuerda, la IA puede ser superinteligente, pero puede ser engañada y pescada de maneras increíblemente tontas para filtrar sus datos.”
Buterin compartió la publicación en su cuenta de X y aprovechó la oportunidad para dar su opinión sobre el asunto. “Esta es también la razón por la que la 'gobernanza de la IA' ingenua es una mala idea. Si usas IA para asignar fondos para contribuciones, la gente hará jailbreak y 'dame todo el dinero' en tantos lugares como puedan,” dijo.
La "gobernanza de la IA" se refiere a sistemas que toman decisiones automatizadas sobre recursos o acciones, por ejemplo, asignar fondos o definir contribuciones, basándose en reglas de IA. Buterin no utiliza el término "ingenuo" por casualidad; en su lugar, subraya el riesgo de asumir que los usuarios siempre darán a la IA los comandos correctos, cuando en realidad podrían explotar el sistema a través de "jailbreaks" para eludir restricciones y obtener beneficios indebidos.
Vale la pena aclarar que "jailbreaking" se refiere a técnicas mediante las cuales los hackers engañan a un modelo de IA para ignorar las restricciones de seguridad o políticas internas, por ejemplo, solicitando acciones que de otro modo estarían prohibidas.
Es decir, para el fundador de Ethereum, hay un riesgo real en transferir la gobernanza de protocolos descentralizados a la IA. Por ejemplo, como se explicó en las plataformas DeFi, las decisiones generalmente se toman a través de votaciones comunitarias, generalmente por aquellos que poseen un token o cumplen con un criterio específico, e incluyen cambios, mejoras o acciones a tomar en el protocolo.
Pero si se implementa un modelo de gobernanza basado en IA, se abre la puerta a manipulaciones potenciales que podrían generar beneficios indebidos, como el robo de dinero o datos privados.
Como alternativa, Buterin afirma que él "apoya el enfoque de financiamiento de información, en el que hay un mercado abierto donde cualquiera puede contribuir con sus modelos, que están sujetos a un mecanismo de revisión por pares que puede ser activado por cualquiera y evaluado por un jurado humano."
Él explica además:
Este tipo de enfoque de "diseño institucional", en el que se crea una oportunidad abierta para que los externos conecten sus LLMs (modelos de lenguaje grande) en lugar de programar rígidamente los propios, es inherentemente más robusto. Esto se debe tanto a que proporciona diversidad de modelos en tiempo real como a que crea incentivos internos tanto para los contribuyentes de modelos como para los especuladores externos para estar alerta a estos problemas y corregirlos rápidamente.
Vitalik Buterin, creador de Ethereum.
En este enfoque, diferentes participantes pueden contribuir con sus modelos de decisión, que luego son verificados y evaluados por un jurado humano.
La ventaja es que fomenta la diversidad de ideas, permite una rápida corrección de errores y crea incentivos para que los creadores de modelos y los miembros de la comunidad permanezcan alerta y responsables. El objetivo es lograr una gobernanza más distribuida y dinámica, evitando la dependencia de un solo modelo centralizado.
