En bref
Une application fondée sur un modèle de langage (chatbot, assistant, agent IA) hérite de toutes les failles d'une application web, plus des risques propres : injection de prompt, fuite d'informations sensibles, agents dotés de droits trop larges, réponses injectées sans contrôle dans d'autres systèmes. L'OWASP Top 10 for LLM Applications recense ces risques. Ils se testent comme le reste : avec un périmètre autorisé et des tentatives d'exploitation réelles.
Pourquoi les applications IA sont une nouvelle surface d'attaque
Un modèle de langage ne distingue pas fondamentalement les instructions de son concepteur des données qu'il lit : un e-mail, une page web ou un document peuvent contenir du texte qui lui donne de nouveaux ordres. Dès que le modèle est relié à des données internes ou à des outils (envoyer un e-mail, interroger une base, créer un ticket), ce défaut de conception devient un risque concret.
Les principaux risques (OWASP Top 10 for LLM Applications)
| Risque | Ce qui peut arriver |
|---|---|
| Injection de prompt | Un texte malveillant, tapé par l'utilisateur ou caché dans un document lu par le modèle, détourne ses instructions |
| Divulgation d'informations sensibles | Le modèle révèle ses instructions système, des données de sa base de connaissances ou d'autres utilisateurs |
| Chaîne d'approvisionnement | Modèle, jeu de données ou extension tiers compromis |
| Empoisonnement des données | Des données d'entraînement ou de la base documentaire sont manipulées pour biaiser les réponses |
| Traitement incorrect des sorties | La réponse du modèle est insérée telle quelle dans une page (XSS) ou une commande (injection) |
| Agentivité excessive | Un agent dispose de droits trop larges et peut être manipulé pour agir à la place de l'attaquant |
| Fuite du prompt système | Les instructions internes, parfois avec des secrets, sont extraites |
| Faiblesses des vecteurs et embeddings | La recherche documentaire (RAG) renvoie des documents auxquels l'utilisateur ne devrait pas avoir accès |
| Désinformation | Le modèle produit des informations fausses présentées comme fiables |
| Consommation non bornée | Requêtes coûteuses en masse : déni de service ou facture qui explose |
Comment tester la sécurité d'une application IA
- Cartographier ce que le modèle peut lire (documents, bases, web) et ce qu'il peut faire (outils, API, droits).
- Tenter des injections directes et indirectes : instructions dans la conversation, dans un fichier envoyé, dans une page que l'agent consulte.
- Vérifier l'isolation : un utilisateur peut-il obtenir des documents ou des conversations d'un autre ?
- Tester les sorties : la réponse du modèle peut-elle déclencher un XSS ou une requête non prévue ?
- Vérifier les droits des agents : chaque action sensible demande-t-elle une confirmation humaine ?
- Tester l'application qui entoure le modèle : authentification, API, contrôle d'accès, comme pour toute application web.
Les bonnes pratiques
- Moindre privilège : l'agent n'a que les droits strictement nécessaires, avec les droits de l'utilisateur et non ceux d'un administrateur.
- Validation humaine pour toute action irréversible (paiement, envoi, suppression).
- Traiter toute sortie du modèle comme une donnée non fiable : échappement, validation, pas d'exécution directe.
- Filtrer les documents de la base de connaissances selon les droits de l'utilisateur avant de les donner au modèle.
- Ne jamais placer de secret dans le prompt système.
- Limiter le débit et le coût par utilisateur.
Questions fréquentes
Peut-on empêcher complètement l'injection de prompt ?
Pas à ce jour : c'est une limite de fond des modèles de langage. On réduit le risque en limitant ce que le modèle peut lire et faire, et en exigeant une validation humaine pour les actions sensibles.
Un pentest classique couvre-t-il un chatbot ?
Il couvre l'application qui l'entoure. Les risques propres au modèle (injection de prompt, fuite de documents, droits des agents) demandent des scénarios de test dédiés.
Sources
Savoir par où un attaquant entrerait chez vous.
Nos agents IA attaquent réellement votre périmètre, de façon entièrement automatisée, et vous remettent la preuve de chaque faille.
