Nathan Labenz (animateur d’AI:AM) rapporte un signal préoccupant venu de l’intérieur des laboratoires d’IA de pointe : une personnalité haut placée d’une grande entreprise d’IA a reconnu en privé qu’il existe un seuil d’intelligence que nous ne devrions pas franchir.

Si cette idée se répand dans les laboratoires américains d’IA de pointe (OpenAI, Anthropic, Google DeepMind), elle pose un problème de coordination : la retenue unilatérale ne fonctionne que si la Chine accepte les mêmes limites.

La thèse de Labenz : une gouvernance efficace de la sécurité de l’IA nécessite une coopération technique entre les États-Unis et la Chine, et pas seulement des contrôles à l’exportation ou des restrictions sur la puissance de calcul. Le problème, c’est que les tensions géopolitiques rendent les accords bilatéraux presque impossibles.

Sans mécanisme crédible pour faire respecter des plafonds de capacités convenus mutuellement, le scénario par défaut est une course aux armements en matière d’intelligence, où les deux camps dépassent les seuils de sécurité sous la pression de la concurrence.

Labenz n’est pas optimiste : il serait « extrêmement agréablement surpris » si nous traversions cette période sans incident majeur. En clair : si la coordination échoue, la probabilité d’une crise liée à l’IA n’est pas négligeable.