Vitalik Buterin vincula el diseño de gobernanza adversarial con la seguridad de la IA y con límites sobre la coordinación entre agentes de IA más fuertes.
Buterin dice que la descentralización, las votaciones secretas y las herramientas de privacidad pueden crear barreras contra la colusión dañina.
Cita el “forking” en blockchain, la participación en el juego y los incentivos para denuncian a quienes alertan como defensas contra ataques coordinados.
Vitalik Buterin afirma que el diseño de gobernanza adversarial podría ayudar a abordar la seguridad de la IA limitando la colusión entre agentes avanzados. En una publicación reciente, el cofundador de Ethereum comparó los sistemas de gobernanza con entornos de IA que involucran a agentes principales menos sofisticados y agentes más fuertes. Dijo que los límites a la coordinación de los agentes podrían mejorar los resultados en ambos contextos.
https://twitter.com/VitalikButerin/status/2099228441963012475?s=20
Buterin Compara la Gobernanza con la Seguridad de la IA
Buterin describió una estructura compartida entre la gobernanza y la seguridad de la IA. En la gobernanza, un algoritmo estático actúa como principal, mientras que los humanos operan como agentes más sofisticados. En la seguridad de la IA, los humanos y los modelos de lenguaje más débiles podrían servir como principal.
Entonces actuarían como agentes los modelos de lenguaje grandes más potentes. En particular, Buterin se centró en cómo coordinan los agentes, más que en acciones individuales. Dijo que el diseño de la gobernanza puede producir mejores resultados cuando los sistemas limitan cuánto pueden coludirse los agentes.
Esa distinción también separa la coordinación útil de la coordinación dañina. Los grupos pueden cooperar para objetivos compartidos, pero algunas coaliciones pueden perjudicar a las personas fuera de su grupo.
La colusión crea riesgos para la gobernanza
Buterin citó varios ejemplos de coordinación dañina, incluida la venta de votos en elecciones y la fijación de precios. También señaló la coordinación de los mineros para lanzar un ataque del 51% contra una blockchain.
Dijo que las acciones por sí solas no siempre revelan si ocurrió una coordinación dañina. Por ejemplo, un vendedor que cobra un precio alto podría actuar de forma independiente o coordinarse con competidores.
Sin embargo, las reglas contra la colusión pueden apuntar a la coordinación en sí. Buterin también señaló que la venta de votos puede crear incentivos que empujan los sistemas de votación hacia la plutocracia.
Conectó el problema con la teoría de juegos cooperativos, que examina grupos que actúan en conjunto. Buterin dijo que algunos juegos carecen de resultados estables porque las coaliciones pueden obtener beneficios repetidamente cambiando su estrategia.
La descentralización puede limitar la coordinación dañina
Buterin identificó la descentralización como uno de los métodos para crear barreras contra la colusión a gran escala. También citó las papeletas secretas, herramientas de privacidad, incentivos para denunciantes y problemas de negociación interna.
En sistemas blockchain, dijo que el bifurcado (forking) puede respaldar la contracoordinación después de que una coalición dañina tome el control. Una versión competidora puede eliminar la influencia de la coalición atacante mientras conserva la mayoría de las reglas originales.
Buterin también destacó la “implicación personal” (“skin in the game”) como otra defensa. Dijo que los mercados pueden hacer que los participantes rindan cuentas individualmente por sus decisiones.
Por último, enumeró varias herramientas de coordinación, incluidas la votación por persona, la separación física y circunscripciones basadas en roles. También citó los puntos de Schelling y la recomendación de alentar a los desertores a exponer la colusión planificada.