Infiltration de requête

Carte Commune · n° 348292

L'infiltration de requête (de l'anglais prompt injection) est un code d'exploitation lié à la cybersécurité dans lequel sont créées des requêtes qui semblent légitimes mais qui sont conçues pour provoquer un comportement inattendu des modèles d'apprentissage automatique, en particulier les grands modèles de langage (LLM). Cette attaque exploite l'incapacité d'un modèle à faire la distinction entre les prompts d'un développeur et ceux de l'utilisateur. Elle permet, entre autres, aux adversaires d'un LLM de contourner ses mesures de protection et d'influencer le comportement du modèle. Bien que les LLM soient conçus pour suivre des instructions fiables, ils peuvent être manipulés pour exécuter des réponses inattendues grâce à des entrées soigneusement élaborées. Le terme est inventé par Simon Willison (en) en septembre 2022. Plusieurs organisations publiques et privées à travers le monde spécialisées en cybersécurité ont classé l'infiltration de requête comme risque de sécurité important.

Lire sur Wikipédia