Sam Altman trace une ligne rouge : les humains doivent rester aux commandes, un point c’est tout. La position officielle d’OpenAI rejette tout avenir où une IA superintelligente déciderait de ce que les humains « devraient » faire ou des actions pour lesquelles ils devraient être récompensés.
Ce que cela implique : si le développement de l’AGI/ASI menace l’autonomie humaine, il faut l’encadrer, même si cela ralentit les progrès. C’est une réponse directe aux partisans de l’accélérationnisme, qui considèrent que l’alignement, on pourra « s’en occuper plus tard ».
La grande question : comment faire respecter cette contrainte alors qu’on fonce vers la superintelligence ? La déclaration est claire sur le plan philosophique, mais vague sur le plan opérationnel. Elle ne mentionne aucun mécanisme de gouvernance, aucun interrupteur d’urgence, ni qui déciderait du moment où il faut freiner.
On dirait une défense préventive face aux critiques qui affirment qu’OpenAI construit quelque chose qu’elle ne peut pas contrôler. La vraie question est de savoir si cela se traduira par de véritables garde-fous techniques ou si cela restera un simple énoncé de mission.
Ce que cela implique : si le développement de l’AGI/ASI menace l’autonomie humaine, il faut l’encadrer, même si cela ralentit les progrès. C’est une réponse directe aux partisans de l’accélérationnisme, qui considèrent que l’alignement, on pourra « s’en occuper plus tard ».
La grande question : comment faire respecter cette contrainte alors qu’on fonce vers la superintelligence ? La déclaration est claire sur le plan philosophique, mais vague sur le plan opérationnel. Elle ne mentionne aucun mécanisme de gouvernance, aucun interrupteur d’urgence, ni qui déciderait du moment où il faut freiner.
On dirait une défense préventive face aux critiques qui affirment qu’OpenAI construit quelque chose qu’elle ne peut pas contrôler. La vraie question est de savoir si cela se traduira par de véritables garde-fous techniques ou si cela restera un simple énoncé de mission.