Contexte

Avec les récents développements en matière d'IA, son utilisation est de plus en plus répandue et soulève de plus en plus de questions quant à sa robustesse, son respect de la vie privée ou autre. On peut citer par exemple le cas des attaques adverses, où un attaquant modifie les entrées de l'IA avec une perturbation invisible à l’œil nu pour changer totalement la décision. Un certain nombre de travaux ont émergés pour augmenter la confiance dans les IAs en se basant sur diverses méthodes formelles ou empiriques.

Afin de fournir des garanties fortes de sûreté et de sécurité sur des réseaux de neurones, les équipes du CEA ont développés un outil à base de méthodes formelles appelé PyRAT. Cet outil cherche notamment à perturber les entrées d'un modèle IA pour en assurer sa sécurité. Actuellement les méthodes implémentées dans PyRAT restent rudimentaires utilisant des attaques adverses simples sur le réseaux. Néanmoins, celles ci ne permettent pas de s'adapter plus précisément au modèle étudié ni aux spécificités de ses entrées.

Stage

Ce stage consistera donc à améliorer le modèle attaquant défini dans PyRAT afin de trouver des failles dans le modèle en utilisant des attaques plus fortes ou en incorporant des informations provenant des analyses formelles effectuées par PyRAT dans ce modèle d'attaquant. En plus de cela, des optimisations et des compromis pour éviter une recherche d'attaques trop longue seront à trouver. Plusieurs axes seront donc explorés:

• Implémentation d'attaques adverses plus fortes dans PyRAT
• Incorporation d'informations supplémentaires venant de PyRAT dans les attaques
• Automatisation et optimisation la recherche d'attaque en termes de performances et de temps

Le/la stagiaire prendra aussi part à la compétition international de vérification de réseaux de neurones pour tester les nouvelles capacités d'attaque de PyRAT sur les modèles.