Por fin, los sitios web tienen la oportunidad de comunicar a toda la industria de la IA, mediante una sola regla, que su contenido no puede utilizarse para entrenar modelos.
OpenAI, Google, Microsoft y Anthropic anunciaron que respaldan un nuevo estándar universal que permite a los sitios web declarar una sola vez, mediante robots.txt, si autorizan a las empresas de IA a rastrear su contenido para entrenar modelos, sin tener que configurarlo por separado para cada empresa.
El estándar fue presentado ante el IETF por Kevin Kelley, responsable técnico de Anthropic, y se integra directamente en el archivo robots.txt que los sitios web ya utilizan.
Hasta ahora, los sitios web tenían que lidiar con un conjunto de reglas independientes para los rastreadores de IA. Para impedir que una empresa utilizara su contenido para entrenar modelos, debían configurarlo por separado; si aparecía otra empresa, tenían que volver a declararlo. Cuantas más empresas de IA había, más difícil resultaba mantener la configuración.
El nuevo estándar busca resolver este problema: ofrecer a los editores una señal legible por máquina y unificada, que las empresas de IA también puedan utilizar para conocer las preferencias de autorización de los sitios web para entrenar modelos.
Por ahora, cada empresa avanza a un ritmo distinto:
* Anthropic ya lo ha adoptado.
* OpenAI prevé implementarlo en los próximos meses.
* Se espera que Google y Microsoft lo admitan el año que viene.
* Meta afirmó que respalda la creación de una señal universal, pero aún no ha anunciado un calendario concreto de implementación.
Este estándar no significa que, a partir de ahora, los sitios web puedan impedir por completo que todos los sistemas de IA rastreen su contenido. Su eficacia dependerá de que los rastreadores respeten las reglas.
Pero la dirección está clara: las empresas de IA necesitan contenido de internet, y los editores también deberían tener derecho a expresar si lo autorizan. Hasta ahora, cada plataforma tenía sus propias reglas; en el futuro, existe la posibilidad de que todas se rijan por un estándar común.
OpenAI, Google, Microsoft y Anthropic anunciaron que respaldan un nuevo estándar universal que permite a los sitios web declarar una sola vez, mediante robots.txt, si autorizan a las empresas de IA a rastrear su contenido para entrenar modelos, sin tener que configurarlo por separado para cada empresa.
El estándar fue presentado ante el IETF por Kevin Kelley, responsable técnico de Anthropic, y se integra directamente en el archivo robots.txt que los sitios web ya utilizan.
Hasta ahora, los sitios web tenían que lidiar con un conjunto de reglas independientes para los rastreadores de IA. Para impedir que una empresa utilizara su contenido para entrenar modelos, debían configurarlo por separado; si aparecía otra empresa, tenían que volver a declararlo. Cuantas más empresas de IA había, más difícil resultaba mantener la configuración.
El nuevo estándar busca resolver este problema: ofrecer a los editores una señal legible por máquina y unificada, que las empresas de IA también puedan utilizar para conocer las preferencias de autorización de los sitios web para entrenar modelos.
Por ahora, cada empresa avanza a un ritmo distinto:
* Anthropic ya lo ha adoptado.
* OpenAI prevé implementarlo en los próximos meses.
* Se espera que Google y Microsoft lo admitan el año que viene.
* Meta afirmó que respalda la creación de una señal universal, pero aún no ha anunciado un calendario concreto de implementación.
Este estándar no significa que, a partir de ahora, los sitios web puedan impedir por completo que todos los sistemas de IA rastreen su contenido. Su eficacia dependerá de que los rastreadores respeten las reglas.
Pero la dirección está clara: las empresas de IA necesitan contenido de internet, y los editores también deberían tener derecho a expresar si lo autorizan. Hasta ahora, cada plataforma tenía sus propias reglas; en el futuro, existe la posibilidad de que todas se rijan por un estándar común.