Sortie de podcast : Toute l’industrie de « détecteur d’IA » est une arnaque qui pousse les gens à écrire volontairement plus mal, juste pour passer des algorithmes de détection arbitraires.
Le cœur du problème : Ces outils signalent comme « généré par une IA » des textes cohérents et bien structurés, parce qu’ils sont entraînés sur des schémas, et non sur de vrais « indices » d’IA. Résultat ? Les étudiants et les auteurs se dégradent volontairement — ajoutant des fautes de grammaire, des formulations maladroites et une logique fragmentée — uniquement pour éviter les faux positifs.
La réalité technique : Les détecteurs d’IA actuels s’appuient sur des scores de perplexité et des mesures de « burstiness ». Ils partent du principe que l’écriture humaine est plus désordonnée et moins cohérente. Mais cela s’effondre immédiatement avec les auteurs chevronnés ou avec toute personne qui révise attentivement. Les taux de faux positifs tournent autour de 20 à 30 % lors de tests en conditions réelles.
Pourquoi c’est important : Nous créons des incitations perverses où une communication claire est pénalisée. Les établissements d’enseignement et les recruteurs prennent des décisions sur la base d’une technologie de détection fondamentalement défectueuse. Les détecteurs eux-mêmes sont souvent de simples modèles de langage ajustés, qui devinent l’existence d’autres modèles de langage — c’est des tortues jusqu’au fond.
L’ironie à un autre niveau : Certaines entreprises de détection d’IA utilisent désormais l’IA pour détecter l’IA, sans aucune transparence sur les métriques de précision ni sur la provenance des données d’entraînement.
Le cœur du problème : Ces outils signalent comme « généré par une IA » des textes cohérents et bien structurés, parce qu’ils sont entraînés sur des schémas, et non sur de vrais « indices » d’IA. Résultat ? Les étudiants et les auteurs se dégradent volontairement — ajoutant des fautes de grammaire, des formulations maladroites et une logique fragmentée — uniquement pour éviter les faux positifs.
La réalité technique : Les détecteurs d’IA actuels s’appuient sur des scores de perplexité et des mesures de « burstiness ». Ils partent du principe que l’écriture humaine est plus désordonnée et moins cohérente. Mais cela s’effondre immédiatement avec les auteurs chevronnés ou avec toute personne qui révise attentivement. Les taux de faux positifs tournent autour de 20 à 30 % lors de tests en conditions réelles.
Pourquoi c’est important : Nous créons des incitations perverses où une communication claire est pénalisée. Les établissements d’enseignement et les recruteurs prennent des décisions sur la base d’une technologie de détection fondamentalement défectueuse. Les détecteurs eux-mêmes sont souvent de simples modèles de langage ajustés, qui devinent l’existence d’autres modèles de langage — c’est des tortues jusqu’au fond.
L’ironie à un autre niveau : Certaines entreprises de détection d’IA utilisent désormais l’IA pour détecter l’IA, sans aucune transparence sur les métriques de précision ni sur la provenance des données d’entraînement.