Comment on pirate une IA (sans toucher à son code)

3 août 2026 Projets IA

Voir la vidéo sur YouTube

En une phrase

L'IA peut être "piratée" sans toucher à son code, simplement par le langage via la "prompt injection", exploitant son incapacité à distinguer les instructions des données, ce qui permet de manipuler son comportement, faire fuiter des informations ou détourner des agents connectés.

Points clés

  • La Prompt Injection, une faille fondamentale : Un LLM ne sépare pas les instructions système des données utilisateur, traitant tout comme un flux continu. Cette faille permet l'injection directe (ordres pour annuler les consignes) ou indirecte (ordres cachés dans du contenu comme des pages web, PDF, e-mails), et le "jail break" pour contourner les garde-fous de sécurité du modèle. Riley Goodside et K Greyhake ont démontré ces failles, notamment sur Bing.
  • Fuite de secrets : Les attaques peuvent faire répéter au modèle son "système prompt" (consignes confidentielles, règles métier) ou lui faire régurgiter des données sensibles (informations personnelles, bouts de code privés) qu'il a mémorisées lors de son entraînement, même si elles ne sont pas censées être révélées.
  • Détournement d'agents avec pouvoir d'action : Lorsqu'un agent (un LLM doté d'outils pour agir sur le monde réel comme envoyer un mail ou exécuter un script) est attaqué, une phrase piégée peut le détourner pour abuser de ses privilèges et exécuter des actions non autorisées (ex: transférer des informations), c'est le "problème du délégué confus". Des variantes incluent l'outil empoisonné et la sortie exécutée sans contrôle.
  • Défense en profondeur face à une faille inhérente : Il n'existe pas de correctif définitif à la prompt injection, car la faille est liée à la conception même des LLM (mélange instructions/données). La protection repose sur l'empilement de mesures : le principe du moindre privilège (donner un minimum de droits à l'agent), la validation humaine (human in the loop), le filtrage des entrées et des sorties, et le cloisonnement des actions dans un environnement contrôlé.

Ressources