Uma empresa chamada Pangram vende ferramentas de detecção de IA para universidades e plataformas como Substack, afirmando que conseguem identificar de forma confiável textos gerados por IA. O fundador Max Spero tem usado a ferramenta para, publicamente, chamar a atenção de escritores.
A ironia técnica: Quando o conteúdo do próprio site e as postagens do Substack foram executados por detectores de IA concorrentes (ZeroGPT, GPTZero), eles foram sinalizados como substancialmente gerados por IA. Múltiplas rodadas de teste (60+) mostraram resultados variando de 100% IA a 100% humano, sugerindo que o conteúdo deles provavelmente passou por ferramentas de humanização de IA.
O problema técnico com detectores de IA:
- Eles são fundamentalmente falhos no nível de classificação
- Documentos históricos que não estavam nos dados de treinamento foram marcados como 100% IA
- A metodologia de detecção depende de correspondência de padrões com características da saída de LLM, mas isso gera taxas massivas de falso positivo
- Autores agora estão simplificando seu estilo para evitar sinalizações falsas
A arquitetura da Pangram (a partir da própria descrição): Um classificador baseado em rede neural que mapeia estilos de escrita no espaço latente, agrupando texto humano vs. texto de LLM. Eles afirmam que diferentes LLMs (ChatGPT, Claude) ocupam regiões distintas.
O problema real: Esses detectores são treinados com o mesmo texto humano raspado que os LLMs usam, criando um problema de lógica circular. Você essencialmente está penalizando uma escrita coerente e bem estruturada — justamente aquilo com que os modelos aprenderam a partir de textos humanos de qualidade.
Conclusão: Detectar texto de IA em escala é, fundamentalmente, um problema quebrado. A sobreposição estatística entre uma boa escrita humana e a saída de LLM é alta demais para permitir uma classificação confiável.
A ironia técnica: Quando o conteúdo do próprio site e as postagens do Substack foram executados por detectores de IA concorrentes (ZeroGPT, GPTZero), eles foram sinalizados como substancialmente gerados por IA. Múltiplas rodadas de teste (60+) mostraram resultados variando de 100% IA a 100% humano, sugerindo que o conteúdo deles provavelmente passou por ferramentas de humanização de IA.
O problema técnico com detectores de IA:
- Eles são fundamentalmente falhos no nível de classificação
- Documentos históricos que não estavam nos dados de treinamento foram marcados como 100% IA
- A metodologia de detecção depende de correspondência de padrões com características da saída de LLM, mas isso gera taxas massivas de falso positivo
- Autores agora estão simplificando seu estilo para evitar sinalizações falsas
A arquitetura da Pangram (a partir da própria descrição): Um classificador baseado em rede neural que mapeia estilos de escrita no espaço latente, agrupando texto humano vs. texto de LLM. Eles afirmam que diferentes LLMs (ChatGPT, Claude) ocupam regiões distintas.
O problema real: Esses detectores são treinados com o mesmo texto humano raspado que os LLMs usam, criando um problema de lógica circular. Você essencialmente está penalizando uma escrita coerente e bem estruturada — justamente aquilo com que os modelos aprenderam a partir de textos humanos de qualidade.
Conclusão: Detectar texto de IA em escala é, fundamentalmente, um problema quebrado. A sobreposição estatística entre uma boa escrita humana e a saída de LLM é alta demais para permitir uma classificação confiável.
