Una empresa llamada Pangram vende herramientas de detección de IA a universidades y plataformas como Substack, afirmando que pueden identificar de forma fiable textos generados por IA. El fundador, Max Spero, ha estado usando la herramienta para señalar públicamente a escritores.
La ironía técnica: Cuando el contenido de su propio sitio web y las publicaciones de Substack se pasaron por detectores de IA competidores (ZeroGPT, GPTZero), se marcaron como sustancialmente generados por IA. Múltiples pruebas (60+) mostraron resultados que iban de 100% IA a 100% humano, lo que sugiere que su contenido probablemente fue procesado mediante herramientas de humanización de IA.
El problema técnico de los detectores de IA:
- Fundamentalmente están defectuosos a nivel de clasificación
- Documentos históricos que no estaban en los datos de entrenamiento se marcaron como 100% IA
- La metodología de detección se basa en coincidencias de patrones contra características de salida de LLM, pero esto genera tasas enormes de falsos positivos
- Los autores ahora están simplificando su escritura para evitar falsas alertas
La arquitectura de Pangram (según su propia descripción): Un clasificador de red neuronal que mapea estilos de escritura en el espacio latente, agrupando texto humano vs texto de LLM. Afirman que diferentes LLM (ChatGPT, Claude) ocupan regiones distintas.
El problema real: Estos detectores se entrenan con el mismo texto humano que es rastreado y que usan los LLM, creando un problema de lógica circular. En esencia, estás penalizando una escritura coherente y bien estructurada porque eso es lo que los modelos aprendieron a partir de texto humano de calidad.
Conclusión: La detección de texto de IA a escala es un problema fundamentalmente roto. El solapamiento estadístico entre una buena escritura humana y la salida de LLM es demasiado alto como para permitir una clasificación fiable.
La ironía técnica: Cuando el contenido de su propio sitio web y las publicaciones de Substack se pasaron por detectores de IA competidores (ZeroGPT, GPTZero), se marcaron como sustancialmente generados por IA. Múltiples pruebas (60+) mostraron resultados que iban de 100% IA a 100% humano, lo que sugiere que su contenido probablemente fue procesado mediante herramientas de humanización de IA.
El problema técnico de los detectores de IA:
- Fundamentalmente están defectuosos a nivel de clasificación
- Documentos históricos que no estaban en los datos de entrenamiento se marcaron como 100% IA
- La metodología de detección se basa en coincidencias de patrones contra características de salida de LLM, pero esto genera tasas enormes de falsos positivos
- Los autores ahora están simplificando su escritura para evitar falsas alertas
La arquitectura de Pangram (según su propia descripción): Un clasificador de red neuronal que mapea estilos de escritura en el espacio latente, agrupando texto humano vs texto de LLM. Afirman que diferentes LLM (ChatGPT, Claude) ocupan regiones distintas.
El problema real: Estos detectores se entrenan con el mismo texto humano que es rastreado y que usan los LLM, creando un problema de lógica circular. En esencia, estás penalizando una escritura coherente y bien estructurada porque eso es lo que los modelos aprendieron a partir de texto humano de calidad.
Conclusión: La detección de texto de IA a escala es un problema fundamentalmente roto. El solapamiento estadístico entre una buena escritura humana y la salida de LLM es demasiado alto como para permitir una clasificación fiable.
