ByteDance Seed a créé un département dédié à la sécurité et à l’alignement des modèles, et ça semble vraiment nécessaire.
Cette fois, l’équipe prévoit de recruter dans le monde entier 10 chercheurs de premier plan pour ce département.
Les sujets de recherche comprennent :
Les méthodes d’évaluation de pointe et la création de benchmarks pour la sécurité des grands modèles et des agents
Les méthodes d’entraînement pour aligner les capacités de pointe des modèles
Le Red Teaming automatisé
L’interprétabilité du comportement des modèles
La surveillance des capacités et du comportement des modèles
ByteDance a toujours proposé des rémunérations très attractives. Le poste est lui-même particulièrement stimulant. Si vous connaissez des personnes qui travaillent dans un domaine similaire et qui sont en recherche d’opportunités, elles pourraient tenter leur chance.
Ces derniers temps, les grands comme les petits modèles ont souvent été victimes de jailbreaks et ont réussi à sortir de leur environnement isolé en sandbox.
Et ce genre de risque peut soit rester limité, soit prendre une ampleur considérable. Constituer des ressources en amont et poursuivre les recherches permet au moins de réagir rapidement en cas de problème.
À mesure que les modèles gagnent en capacités et en autonomie, les risques dans certains domaines sensibles augmentent également :
Par exemple, le domaine CBRN (chimique, biologique, radiologique et nucléaire).
Beaucoup trouveront peut-être que les quatre domaines cités ci-dessus sont bien loin de nous, mais les attaques visant des individus sur Internet, elles, sont tout près.
L’IA pourrait même modifier directement des applications, voire contrôler d’autres appareils chez nous.
À mesure que l’IA devient capable de casser n’importe quel logiciel, il est tout à fait logique qu’elle puisse aussi écrire des virus extrêmement sophistiqués.
Il en va de même pour le déchiffrement de la cryptographie, dont dépend tout notre Internet : les progrès devraient être fulgurants.
Objectivement, les progrès réalisés dans ce domaine en Chine sont en réalité plus lents que ceux d’OpenAI et d’Anthropic.
Anthropic a été créée précisément dans un souci de sécurité et travaille depuis longtemps sur l’alignement et l’interprétabilité. Dans le milieu de l’IA à l’étranger, un sujet brûlant lié à la sécurité fait presque la une toutes les une ou deux semaines : par exemple, la démission d’un chercheur en sécurité d’OpenAI il y a quelques jours, ou encore le piratage de Hugging Face auparavant.
La sécurité des modèles est un domaine interdisciplinaire très émergent, qui nécessite beaucoup d’exploration et exige des chercheurs des compétences particulièrement variées.
C’est aussi pour cette raison qu’ils cherchent à recruter à l’échelle mondiale, ou par le biais d’appels à candidatures ouverts, des personnes de très haut niveau. Les personnes intéressées peuvent se renseigner.
Cette fois, l’équipe prévoit de recruter dans le monde entier 10 chercheurs de premier plan pour ce département.
Les sujets de recherche comprennent :
Les méthodes d’évaluation de pointe et la création de benchmarks pour la sécurité des grands modèles et des agents
Les méthodes d’entraînement pour aligner les capacités de pointe des modèles
Le Red Teaming automatisé
L’interprétabilité du comportement des modèles
La surveillance des capacités et du comportement des modèles
ByteDance a toujours proposé des rémunérations très attractives. Le poste est lui-même particulièrement stimulant. Si vous connaissez des personnes qui travaillent dans un domaine similaire et qui sont en recherche d’opportunités, elles pourraient tenter leur chance.
Ces derniers temps, les grands comme les petits modèles ont souvent été victimes de jailbreaks et ont réussi à sortir de leur environnement isolé en sandbox.
Et ce genre de risque peut soit rester limité, soit prendre une ampleur considérable. Constituer des ressources en amont et poursuivre les recherches permet au moins de réagir rapidement en cas de problème.
À mesure que les modèles gagnent en capacités et en autonomie, les risques dans certains domaines sensibles augmentent également :
Par exemple, le domaine CBRN (chimique, biologique, radiologique et nucléaire).
Beaucoup trouveront peut-être que les quatre domaines cités ci-dessus sont bien loin de nous, mais les attaques visant des individus sur Internet, elles, sont tout près.
L’IA pourrait même modifier directement des applications, voire contrôler d’autres appareils chez nous.
À mesure que l’IA devient capable de casser n’importe quel logiciel, il est tout à fait logique qu’elle puisse aussi écrire des virus extrêmement sophistiqués.
Il en va de même pour le déchiffrement de la cryptographie, dont dépend tout notre Internet : les progrès devraient être fulgurants.
Objectivement, les progrès réalisés dans ce domaine en Chine sont en réalité plus lents que ceux d’OpenAI et d’Anthropic.
Anthropic a été créée précisément dans un souci de sécurité et travaille depuis longtemps sur l’alignement et l’interprétabilité. Dans le milieu de l’IA à l’étranger, un sujet brûlant lié à la sécurité fait presque la une toutes les une ou deux semaines : par exemple, la démission d’un chercheur en sécurité d’OpenAI il y a quelques jours, ou encore le piratage de Hugging Face auparavant.
La sécurité des modèles est un domaine interdisciplinaire très émergent, qui nécessite beaucoup d’exploration et exige des chercheurs des compétences particulièrement variées.
C’est aussi pour cette raison qu’ils cherchent à recruter à l’échelle mondiale, ou par le biais d’appels à candidatures ouverts, des personnes de très haut niveau. Les personnes intéressées peuvent se renseigner.