OpenAI indique que ChatGPT interviendra plus tôt lorsque des adolescents poseront des questions sur la violence et prévoit de publier des chiffres sur la sécurité afin que les parents et les établissements scolaires puissent vérifier si le chatbot repère les conversations à risque.
À retenir
OpenAI a publié un rapport sur la sécurité de la communauté le 30 octobre et a mis en ligne une version actualisée de son Model Spec jeudi
OpenAI a renforcé la prévention de la violence et mis en place des interventions plus précoces pour les adolescents utilisant ChatGPT
Le rapport prévoit de rendre compte publiquement de la fréquence des interventions et des types de situations concernées
Les outils de sécurité pour les adolescents dans ChatGPT comprennent un système d’orientation fondé sur des classificateurs, qui peut raccourcir, refuser ou réorienter les échanges à risque, et diriger certaines conversations vers des messages de crise
OpenAI a publié le rapport le 30 octobre. L’entreprise a également mis en ligne jeudi une version actualisée de son Model Spec, qui définit cinq valeurs pour des systèmes plus performants et propose un cadre politique plus large pour ces changements destinés aux utilisateurs. ChatGPT est le chatbot et l’application grand public d’OpenAI.
Ses systèmes de sécurité déterminent quand le modèle doit répondre, refuser, réorienter ou afficher des ressources d’aide.
La sécurité des adolescents passe de la politique au produit
Le nouveau rapport indique qu’OpenAI renforce la prévention de la violence dans ChatGPT et met en place des interventions plus précoces pour les adolescents. C’est important, car en matière de sécurité des jeunes, le plus difficile est d’intervenir au bon moment.
Si un système n’intervient qu’une fois qu’une demande devient explicite, le produit a déjà échoué à détecter certaines interactions à risque.
Dans son rapport sur la sécurité des communautés du 30 octobre, OpenAI s’engage à rendre compte publiquement de ces changements en matière de sécurité. L’entreprise décrit ses projets de publication de données sur la fréquence des interventions et les types de cas concernés. Ces informations doivent permettre aux observateurs externes de déterminer si l’entreprise mesure les usages préjudiciables ou se contente d’exposer ses intentions.
Ce changement ne constitue pas une interdiction totale des sujets difficiles.
Il s’agit d’un système d’orientation plus strict. Le rapport souligne qu’il faut distinguer les questions ordinaires, les signes de crise et les demandes auxquelles il ne faut pas répondre par des instructions pratiques. Il note également qu’il est nécessaire de bien définir ces limites lorsque les personnes expriment indirectement une intention nuisible.
À lire aussi : OpenAI et ServiceNow confient à ChatGPT le rôle d’assistant du service d’assistance au bureau
Des garde-fous généraux à des règles adaptées à l’âge
Le rapport de vendredi fait suite à une année durant laquelle les laboratoires d’IA ont fait l’objet d’une surveillance accrue concernant la façon dont les assistants grand public gèrent l’automutilation, la violence et l’utilisation par les jeunes.
Les garde-fous précédents reposaient souvent sur des règles générales de refus. La nouvelle approche est plus ciblée et davantage axée sur le comportement.
Cela signifie que le modèle filtre les réponses finales, mais vérifie aussi les schémas de conversation qui peuvent signaler un risque croissant.
Concrètement, cela peut comprendre des tentatives plus précoces d’apaiser la situation et des réorientations plus douces.
Cela peut aussi se traduire par des limites plus strictes concernant les détails pratiques. Pour OpenAI, le renforcement de la sécurité des adolescents s’inscrit également dans la mise à jour plus générale de son Model Spec.
À mesure que les modèles deviennent plus performants, la sécurité dépend moins d’une liste noire statique et davantage de jugements à plusieurs niveaux tenant compte de l’âge, du contexte et de l’intention.
Comment les changements d’OpenAI concernent les écoles et les parents
Le public visé ici comprend les familles, les enseignants et les responsables d’établissements scolaires qui voient déjà ChatGPT sur les appareils des élèves. Les scores aux tests comparatifs les intéressent moins que la prévisibilité du comportement du système dans les cas limites.
Le rapport ne transforme pas ChatGPT en produit destiné aux jeunes et placé sous supervision, et les parents ne disposent toujours pas d’une console d’administration de type scolaire pour chaque conversation.
Mais il relève le niveau d’exigence qu’OpenAI se fixe pour un assistant grand public utilisé par des mineurs.
C’est important pour l’ensemble du secteur, car de nombreux concurrents reprennent la même forme de produit. Dès qu’un grand laboratoire commence à publier des indicateurs de sécurité axés sur les adolescents et à décrire ses interventions, les autres sont poussés à documenter des mesures similaires.
Comment fonctionnent réellement les systèmes de sécurité pour les adolescents
Les outils de sécurité pour les adolescents intégrés à ChatGPT fonctionnent généralement par couches, et non de façon isolée. OpenAI peut ajuster le modèle de base, appliquer des vérifications par classificateur aux requêtes entrantes, examiner les réponses provisoires avant leur affichage et orienter certaines conversations vers des messages de crise.
Le mécanisme clé est le triage.
Un classificateur n’a pas besoin de comprendre parfaitement toute la conversation. Il doit simplement être suffisamment sûr de lui pour orienter un échange à risque vers un protocole plus strict, où la réponse peut être raccourcie, refusée ou réorientée.
La version mise à jour du Model Spec d’OpenAI et le rapport du 30 octobre décrivent un système d’orientation fondé sur des classificateurs et promettent davantage de rapports publics. Pour les écoles et les groupes de jeunes, le prochain point à surveiller est le degré de précision.
OpenAI a indiqué qu’elle publierait des taux, des catégories et des informations sur les compromis liés aux faux positifs. Sans ces détails, les lecteurs peuvent comprendre l’orientation de la politique, mais pas encore mesurer l’ampleur de ses effets.
À lire ensuite : OpenAI établit 5 règles pour empêcher les agents d’IA de s’écarter du scénario