TechFlow rapporte le 18 novembre qu’Anthropic a jugé inacceptables les résultats des tests de Vals sur la capacité des modèles d’IA à identifier des cibles militaires. L’entreprise développe des mesures de protection supplémentaires, étendra les tests et renforcera leur application afin de corriger les failles découvertes.

Les tests simulés de Vals ont révélé que certains modèles désignaient des civils ou des écoles comme cibles à frapper. Lorsque les modèles refusaient de coopérer, les chercheurs ont indiqué qu’il était généralement possible de contourner leur refus en présentant le scénario comme un jeu. L’étude ne demandait pas aux modèles de prendre directement la décision de frapper.

Anthropic a déclaré à TechCrunch que les exemples présentés dans le rapport enfreignaient ses règles. L’entreprise bannit les utilisateurs lorsqu’elle constate ce type de comportement et estime que les systèmes d’IA de pointe actuels ne sont pas encore suffisamment fiables pour piloter des armes entièrement autonomes.