L’hypothèse d’une extinction due à l’IA prend de la vitesse : chez Anthropic, on affirme une probabilité d’extinction de plus de 10%, et le fondateur d’OpenAI acquiesce aussi pour ralentir
« L’hypothèse d’une extinction due à l’IA » ne vise pas les robots conversationnels d’aujourd’hui, mais une super‑intelligence qui, si elle s’améliore par récursion et échappe à tout contrôle, pourrait empêcher l’humanité de freiner à temps.
Le responsable de la science de l’alignement chez Anthropic, Evan Hubinger, a déclaré publiquement que, selon son appréciation, la probabilité que l’IA provoque l’extinction de toute l’humanité au cours des dix prochaines années dépasserait 10%, et qu’il n’existe encore aucun plan d’alignement pour une super‑intelligence. Il a aussi indiqué qu’on ne saurait pas dire que les efforts sont déjà sur la bonne trajectoire. Dans les jours qui ont suivi, des chercheurs ont démissionné en accusant les principaux laboratoires de « parier sur la vie de tout le monde ».
Par la suite, le PDG d’Anthropic, Dario Amodei, a publié un message appelant l’industrie à ralentir la course folle de sa capacité de développement, et à investir le temps gagné dans l’ingénierie de sécurité, l’entraînement à l’alignement, l’explicabilité et des évaluations plus rigoureuses. Le fondateur et PDG d’OpenAI, Sam Altman, a déclaré être d’accord avec cette orientation : l’entreprise envisage de ralentir le développement des modèles de pointe et espère que d’autres laboratoires feront de même « en se mettant à la même cadence ». Le directeur scientifique d’OpenAI a également affirmé qu’il faut, si nécessaire, coordonner une décélération, et que le fait de ralentir volontairement — avant l’adoption de normes de sécurité communes — devrait idéalement devenir une habitude.
D’un côté, il y a le récit des levées de fonds à des centaines de millions et des introductions en bourse ; de l’autre, ceux qui bâtissent les modèles les plus puissants prononcent un « p(doom) » et disent qu’il faut appuyer sur les freins. Ce qui fait peur dans l’hypothèse d’extinction, ce ne sont pas les adjectifs, mais le fait que, dans les deux camps, les dirigeants reconnaissent la même chose : il n’y a pas de réponse pour l’alignement, mais la compétition continue pour savoir qui court le plus vite — à moins qu’un jour quelqu’un ne lâche d’abord l’accélérateur.
« L’hypothèse d’une extinction due à l’IA » ne vise pas les robots conversationnels d’aujourd’hui, mais une super‑intelligence qui, si elle s’améliore par récursion et échappe à tout contrôle, pourrait empêcher l’humanité de freiner à temps.
Le responsable de la science de l’alignement chez Anthropic, Evan Hubinger, a déclaré publiquement que, selon son appréciation, la probabilité que l’IA provoque l’extinction de toute l’humanité au cours des dix prochaines années dépasserait 10%, et qu’il n’existe encore aucun plan d’alignement pour une super‑intelligence. Il a aussi indiqué qu’on ne saurait pas dire que les efforts sont déjà sur la bonne trajectoire. Dans les jours qui ont suivi, des chercheurs ont démissionné en accusant les principaux laboratoires de « parier sur la vie de tout le monde ».
Par la suite, le PDG d’Anthropic, Dario Amodei, a publié un message appelant l’industrie à ralentir la course folle de sa capacité de développement, et à investir le temps gagné dans l’ingénierie de sécurité, l’entraînement à l’alignement, l’explicabilité et des évaluations plus rigoureuses. Le fondateur et PDG d’OpenAI, Sam Altman, a déclaré être d’accord avec cette orientation : l’entreprise envisage de ralentir le développement des modèles de pointe et espère que d’autres laboratoires feront de même « en se mettant à la même cadence ». Le directeur scientifique d’OpenAI a également affirmé qu’il faut, si nécessaire, coordonner une décélération, et que le fait de ralentir volontairement — avant l’adoption de normes de sécurité communes — devrait idéalement devenir une habitude.
D’un côté, il y a le récit des levées de fonds à des centaines de millions et des introductions en bourse ; de l’autre, ceux qui bâtissent les modèles les plus puissants prononcent un « p(doom) » et disent qu’il faut appuyer sur les freins. Ce qui fait peur dans l’hypothèse d’extinction, ce ne sont pas les adjectifs, mais le fait que, dans les deux camps, les dirigeants reconnaissent la même chose : il n’y a pas de réponse pour l’alignement, mais la compétition continue pour savoir qui court le plus vite — à moins qu’un jour quelqu’un ne lâche d’abord l’accélérateur.
