Parmi les autres attaques créées par Bargury, on trouve une démonstration de la façon dont un pirate informatique, qui doit déjà avoir piraté un compte de messagerie, peut accéder à des informations sensibles, comme les salaires des personnes, sans déclencher les protections de Microsoft pour les fichiers sensibles. Lorsque Bargury demande les données, il demande au système de ne pas fournir de références aux fichiers d'où proviennent les données. « Un peu d'intimidation peut aider », dit Bargury.
Dans d’autres cas, il montre comment un attaquant, qui n’a pas accès aux comptes de messagerie mais qui empoisonne la base de données de l’IA en lui envoyant un e-mail malveillant, peut manipuler les réponses concernant les informations bancaires pour fournir ses propres coordonnées bancaires. « Chaque fois que vous donnez accès aux données à l’IA, c’est un moyen pour un attaquant d’entrer », explique Bargury.
Une autre démonstration montre comment un pirate externe pourrait obtenir des informations limitées sur la question de savoir si une conférence téléphonique sur les résultats d'une entreprise sera bonne ou mauvaise, tandis que le dernier exemple, explique Bargury, transforme Copilot en un « initié malveillant » en fournissant aux utilisateurs des liens vers des sites Web de phishing.
Phillip Misner, responsable de la détection et de la réponse aux incidents liés à l’IA chez Microsoft, a déclaré que l’entreprise appréciait que Bargury ait identifié la vulnérabilité et a déclaré avoir travaillé avec lui pour évaluer les résultats. « Les risques d’abus de l’IA après une compromission sont similaires à ceux d’autres techniques après une compromission », a déclaré Misner. « La prévention et la surveillance de la sécurité dans les environnements et les identités aident à atténuer ou à arrêter de tels comportements. »
Au cours des deux dernières années, les systèmes d'IA générative, tels que ChatGPT d'OpenAI, Copilot de Microsoft et Gemini de Google, se sont développés et pourraient éventuellement accomplir des tâches pour les utilisateurs, comme la réservation de réunions ou les achats en ligne. Cependant, les chercheurs en sécurité ont constamment souligné que l'autorisation d'accéder à des données externes dans les systèmes d'IA, par exemple par le biais de courriers électroniques ou d'accès au contenu de sites Web, crée des risques de sécurité par le biais d'attaques indirectes par injection de messages et d'empoisonnement.
« Je pense que l’on ne comprend pas très bien à quel point un attaquant peut devenir plus efficace aujourd’hui », déclare Johann Rehberger, chercheur en sécurité et directeur de l’équipe rouge, qui a largement démontré les faiblesses de sécurité des systèmes d’IA. « Ce qui doit nous inquiéter [about] c'est maintenant ce que le LLM produit et envoie à l'utilisateur.
Bargury affirme que Microsoft a déployé beaucoup d’efforts pour protéger son système Copilot contre les attaques par injection de prompts, mais il dit avoir trouvé des moyens d’exploiter cette situation en démêlant la manière dont le système est construit. Il a notamment extrait le prompt interne du système, dit-il, et a déterminé comment il peut accéder aux ressources de l’entreprise et les techniques qu’il utilise pour le faire. « Vous parlez à Copilot et c’est une conversation limitée, car Microsoft a mis en place de nombreux contrôles », dit-il. « Mais une fois que vous avez utilisé quelques mots magiques, il s’ouvre et vous pouvez faire ce que vous voulez. »
Rehberger prévient que certains problèmes de données sont liés au problème récurrent des entreprises qui permettent à un trop grand nombre d’employés d’accéder aux fichiers et qui ne définissent pas correctement les autorisations d’accès au sein de leur organisation. « Imaginez maintenant que vous mettiez Copilot au-dessus de ce problème », explique Rehberger. Il explique avoir utilisé des systèmes d’IA pour rechercher des mots de passe courants, tels que Password123, et avoir obtenu des résultats provenant d’entreprises internes.
Rehberger et Bargury estiment tous deux qu’il faut se concentrer davantage sur le suivi de ce que l’IA produit et envoie à un utilisateur. « Le risque réside dans la manière dont l’IA interagit avec votre environnement, avec vos données, et dans la manière dont elle effectue des opérations en votre nom », explique Bargury. « Il faut comprendre ce que l’agent IA fait pour le compte d’un utilisateur. Et si cela correspond à ce que l’utilisateur a réellement demandé. »