📰 Le chercheur en IA de 27 ans Jacob Coxon a quitté Anthropic. Au cours des trois dernières années, il a travaillé successivement chez OpenAI et Anthropic sur l’entraînement de grands modèles ; il est aussi contributeur officiel de GPT-4o et contributeur clé de GPT-4.5.

🔥 La raison de son départ est un peu inquiétante : il estime que ces entreprises accélèrent la recherche d’une superintelligence capable de s’améliorer elle-même, ce qui revient à parier la vie de tout le monde. Il affirme également que certaines personnes qui participent réellement aux travaux de pointe en IA pensent en privé que l’humanité pourrait disparaître à cause d’un dérapage d’ici la fin de cette décennie.

👀 Plus subtil encore : le responsable de l’alignement chez Anthropic a publiquement soutenu son analyse, et estime que la probabilité d’avoir de graves conséquences dans les dix ans est supérieure à 10 %. Deux autres personnes ayant travaillé chez Anthropic sur la recherche en sécurité et la supervision évolutive reconnaissent elles aussi la description qu’il fait de l’état de l’industrie.

Honnêtement, on ne peut pas prouver si ces 10 % sont justes ou non. Mais une personne ayant participé à l’entraînement de modèles centraux choisit de démissionner, voire d’envisager de quitter l’industrie de l’IA, plutôt que de poursuivre le développement : à elle seule, cette action pèse lourd.

🤔 Si vous étiez dans une équipe de modèles à la pointe, et que vous appreniez qu’un collègue estime que la probabilité de perte de contrôle en dix ans dépasse 10 %, vous resteriez pour continuer à faire de la sécurité, ou vous démissionneriez directement ?

#人工智能 #OpenAI #Anthropic #Sécurité de l’IA