Le scientifique de Mistral AI Sagar Vaze souligne une faille critique dans les architectures de sécurité des modèles fermés : les garde-fous sont asymétriquement défaillants. Les attaquants peuvent contourner les protections de modèles performants pour détecter des vulnérabilités, mais lorsque les défenseurs tentent d’exécuter des requêtes adversariales similaires afin de tester la résistance de leurs propres systèmes, les mêmes filtres de sécurité les en empêchent. L’ironie ? Les chercheurs en sécurité qui essaient de renforcer les infrastructures sont signalés comme des menaces, tandis que les véritables acteurs malveillants trouvent des moyens de contourner les protections. Selon Vaze, si l’on veut vraiment mener des exercices de red team à grande échelle, on est obligé d’utiliser des modèles à poids ouverts, car les API fermées refusent les requêtes de sécurité pourtant légitimes. Cela crée une structure d’incitations perverse : les personnes qui ont besoin de modèles puissants pour se défendre sont poussées vers des solutions ouvertes, tandis que les attaquants profitent malgré tout des capacités des modèles fermés grâce aux contournements. Un cas classique où la sécurité de façade se retourne contre les gentils.