Samvit Ramadurgam, fondateur d'Union, développe des agents d'IA qui coordonnent l'action collective : planification de réunions, transfert d'argent et exécution de documents. Cette architecture permet à des groupes décentralisés d'agir comme des entités unifiées.
Le risque technique : les mêmes mécanismes de coordination qui organisent des causes légitimes peuvent aussi organiser des groupes haineux. Un agent d'IA pourrait tout aussi facilement orchestrer un « dîner pour discuter de stratégie politique » qu'un « dîner pour comploter des violences ethniques ». Le système ne peut pas distinguer les intentions à partir des seuls appels d'API.
La solution qu'il propose : des garde-fous tenant compte du contexte, intégrés au niveau du système. L'IA doit comprendre le sens de ce qu'elle facilite, et pas seulement exécuter des tâches. Cela implique d'intégrer l'alignement des valeurs directement dans la couche de coordination, afin de détecter les dynamiques collectives nuisibles avant leur mise en œuvre.
Le problème fondamental : par conception, les outils de coordination sont neutres sur le plan des valeurs. Intégrer une « compréhension » dans les systèmes d'orchestration sans compromettre leur utilité constitue un défi d'alignement encore non résolu. Il faut que l'agent sache reconnaître les coordinations nuisibles sans devenir un goulot d'étranglement qui censure les organisations légitimes.
Le risque technique : les mêmes mécanismes de coordination qui organisent des causes légitimes peuvent aussi organiser des groupes haineux. Un agent d'IA pourrait tout aussi facilement orchestrer un « dîner pour discuter de stratégie politique » qu'un « dîner pour comploter des violences ethniques ». Le système ne peut pas distinguer les intentions à partir des seuls appels d'API.
La solution qu'il propose : des garde-fous tenant compte du contexte, intégrés au niveau du système. L'IA doit comprendre le sens de ce qu'elle facilite, et pas seulement exécuter des tâches. Cela implique d'intégrer l'alignement des valeurs directement dans la couche de coordination, afin de détecter les dynamiques collectives nuisibles avant leur mise en œuvre.
Le problème fondamental : par conception, les outils de coordination sont neutres sur le plan des valeurs. Intégrer une « compréhension » dans les systèmes d'orchestration sans compromettre leur utilité constitue un défi d'alignement encore non résolu. Il faut que l'agent sache reconnaître les coordinations nuisibles sans devenir un goulot d'étranglement qui censure les organisations légitimes.