Les sites web ont enfin la possibilité d’utiliser une seule règle pour dire à toute l’industrie de l’IA : « Le contenu publié ici ne peut pas être utilisé pour entraîner des modèles. »
OpenAI, Google, Microsoft et Anthropic ont annoncé qu’ils soutenaient une nouvelle norme universelle. Celle-ci permet aux sites web d’indiquer une seule fois, dans leur fichier robots.txt, s’ils autorisent les entreprises d’IA à récupérer leur contenu pour entraîner des modèles, sans avoir à configurer des règles distinctes pour chaque entreprise.
Cette norme a été soumise à l’IETF par Kevin Kelley, responsable technique chez Anthropic. Elle s’intègre directement au fichier robots.txt déjà utilisé par les sites web.
Jusqu’à présent, les sites web devaient gérer toute une série de règles indépendantes pour les robots d’exploration des entreprises d’IA. Pour refuser qu’une entreprise récupère leur contenu à des fins d’entraînement, ils devaient configurer une règle spécifique ; pour une autre entreprise, il fallait en déclarer une nouvelle. Plus les entreprises d’IA sont nombreuses, plus la gestion devient fastidieuse.
C’est précisément le problème que cette nouvelle norme entend résoudre : donner aux éditeurs de contenu un signal lisible par les machines et permettre aux entreprises d’IA de reconnaître, à l’aide d’un ensemble de règles commun, les préférences des sites web en matière d’autorisation pour l’entraînement.
La mise en œuvre varie pour l’instant selon les entreprises :
* Anthropic est la première à l’avoir adoptée.
* OpenAI prévoit de la mettre en œuvre dans les prochains mois.
* Google et Microsoft devraient la prendre en charge l’année prochaine.
* Meta soutient la création d’un signal universel, mais n’a pas encore annoncé de calendrier précis pour sa mise en œuvre.
Cette norme ne signifie pas que les sites web pourront désormais empêcher complètement toute collecte de contenu par l’IA. Son efficacité dépendra toujours du respect des règles par les robots d’exploration.
Mais la direction est claire : les entreprises d’IA ont besoin du contenu disponible sur Internet, et les éditeurs de contenu devraient aussi avoir le droit d’exprimer leur volonté d’accorder ou non cette autorisation. Jusqu’à présent, chaque plateforme avait ses propres règles ; à l’avenir, elles pourraient être remplacées par une norme commune à toute l’industrie.
OpenAI, Google, Microsoft et Anthropic ont annoncé qu’ils soutenaient une nouvelle norme universelle. Celle-ci permet aux sites web d’indiquer une seule fois, dans leur fichier robots.txt, s’ils autorisent les entreprises d’IA à récupérer leur contenu pour entraîner des modèles, sans avoir à configurer des règles distinctes pour chaque entreprise.
Cette norme a été soumise à l’IETF par Kevin Kelley, responsable technique chez Anthropic. Elle s’intègre directement au fichier robots.txt déjà utilisé par les sites web.
Jusqu’à présent, les sites web devaient gérer toute une série de règles indépendantes pour les robots d’exploration des entreprises d’IA. Pour refuser qu’une entreprise récupère leur contenu à des fins d’entraînement, ils devaient configurer une règle spécifique ; pour une autre entreprise, il fallait en déclarer une nouvelle. Plus les entreprises d’IA sont nombreuses, plus la gestion devient fastidieuse.
C’est précisément le problème que cette nouvelle norme entend résoudre : donner aux éditeurs de contenu un signal lisible par les machines et permettre aux entreprises d’IA de reconnaître, à l’aide d’un ensemble de règles commun, les préférences des sites web en matière d’autorisation pour l’entraînement.
La mise en œuvre varie pour l’instant selon les entreprises :
* Anthropic est la première à l’avoir adoptée.
* OpenAI prévoit de la mettre en œuvre dans les prochains mois.
* Google et Microsoft devraient la prendre en charge l’année prochaine.
* Meta soutient la création d’un signal universel, mais n’a pas encore annoncé de calendrier précis pour sa mise en œuvre.
Cette norme ne signifie pas que les sites web pourront désormais empêcher complètement toute collecte de contenu par l’IA. Son efficacité dépendra toujours du respect des règles par les robots d’exploration.
Mais la direction est claire : les entreprises d’IA ont besoin du contenu disponible sur Internet, et les éditeurs de contenu devraient aussi avoir le droit d’exprimer leur volonté d’accorder ou non cette autorisation. Jusqu’à présent, chaque plateforme avait ses propres règles ; à l’avenir, elles pourraient être remplacées par une norme commune à toute l’industrie.