Cybersécurité et Intelligence Artificielle : des risques liés à l'utilisation

Gilles Roman Admin Date d'inscription : 04/05/2015

Les acteurs de la menace s'intéressent à l'IA générative, mais son utilisation reste limitée

Auteurs : Michelle Cantos, Sam Riddell, Alice Revelli

pour Mandiant

Depuis au moins 2019, Mandiant suit l'intérêt des acteurs de la menace pour les capacités d'#IA et l'utilisation de celles-ci pour faciliter diverses activités malveillantes. D'après nos propres observations et les comptes rendus de sources ouvertes, l'adoption de l'IA dans les opérations d'intrusion reste limitée et principalement liée à l'ingénierie sociale.

En revanche, les acteurs des opérations de désinformation, dont les motivations et les capacités sont diverses, ont de plus en plus recours à des contenus générés par l'IA, en particulier des images et des vidéos, dans le cadre de leurs campagnes, probablement en raison, du moins en partie, des applications facilement visibles de ces fabrications. En outre, la publication de plusieurs outils d'IA générative au cours de l'année écoulée a suscité un regain d'intérêt pour l'impact de ces capacités.

Nous pensons que les outils d'IA générative accéléreront l'intégration de l'IA par les acteurs de la menace dans les opérations d'information et les activités d'intrusion. Mandiant estime que ces technologies ont le potentiel d'augmenter considérablement les opérations malveillantes à l'avenir, en permettant aux acteurs de la menace de disposer de ressources et de capacités limitées, à l'instar des avantages offerts par les cadres d'exploitation tels que Metasploit ou Cobalt Strike. Les adversaires se livrent déjà à des expériences et nous nous attendons à ce que les outils d'IA soient de plus en plus utilisés dans les opérations d'information au fil du temps, mais leur utilisation opérationnelle effective reste limitée.

Augmenter l'irréalité : Exploiter l'IA générative dans les opérations d'information

Mandiant estime que les technologies d'IA générative ont le potentiel d'augmenter de manière significative les capacités des acteurs des opérations d'information dans deux domaines clés : l'augmentation efficace de l'activité au-delà des moyens inhérents des acteurs et leur capacité à produire des contenus réalistes et fabriqués à des fins trompeuses.

L'IA générative permettra aux acteurs des opérations d'information disposant de ressources et de capacités limitées de produire un contenu de meilleure qualité à grande échelle.

· Les modèles pourraient être utilisés pour créer des contenus tels que des articles ou des caricatures politiques conformes à un récit spécifique ou pour produire des contenus de remplissage bénins afin de soutenir des personas inauthentiques.

· Les sorties des chatbots d'IA conversationnelle basées sur de grands modèles linguistiques (LLM) pourraient également réduire les barrières linguistiques auxquelles étaient auparavant confrontés les opérateurs ciblant des publics dans une langue étrangère.

Le contenu hyperréaliste généré par l'IA peut avoir un effet persuasif plus fort sur les publics cibles que le contenu précédemment fabriqué sans le bénéfice de la technologie de l'IA.

· Nous avons déjà observé des acteurs de la menace poster des contenus fabriqués pour soutenir des récits souhaités ; par exemple, le groupe "hacktiviste" russe CyberBerkut a prétendu faire fuiter des enregistrements d'appels téléphoniques révélant des activités malveillantes de la part de diverses organisations. Des modèles d'IA formés à partir de voix d'individus réels pourraient permettre de créer des fabrications audio dans le même esprit, y compris des contenus incendiaires ou de faux messages d'intérêt public.

Adoption des technologies d'IA générative par les acteurs des opérations d'information

Mandiant prévoit que l'adoption de l'IA générative par les acteurs des opérations d'information variera selon la forme de média - texte, images, audio et vidéo - en raison de facteurs tels que la disponibilité et les capacités des outils accessibles au public et l'efficacité de chaque forme de média pour susciter une réaction émotionnelle (figure 1). Nous pensons que les images et les vidéos générées par l'IA sont les plus susceptibles d'être utilisées à court terme ; et bien que nous n'ayons pas encore observé d'opérations utilisant des LLM, nous prévoyons que leurs applications potentielles pourraient conduire à leur adoption rapide.

Les capacités actuelles de génération d'images peuvent être divisées en deux catégories : Les réseaux adversaires génératifs (GAN) et les modèles génératifs texte-image :

- Les GAN produisent des clichés réalistes de sujets humains.

- Les modèles génératifs texte-image créent des images personnalisées basées sur des invites textuelles.

Depuis 2019, Mandiant a identifié de nombreux cas d'opérations d'information exploitant les GAN, généralement pour une utilisation dans des photos de profil de personas inauthentiques, y compris par des acteurs alignés sur des États-nations, notamment la Russie, la République populaire de Chine (RPC), l'Iran, l'Éthiopie, l'Indonésie, Cuba, l'Argentine, le Mexique, l'Équateur et le Salvador, ainsi que des acteurs non étatiques tels que des individus sur le forum 4chan. Nous estimons que la nature publique des outils d'images générées par les GAN, tels que le site web thispersondoesnotexist.com, a probablement contribué à leur utilisation fréquente dans les opérations d'information. Les acteurs ont également pris des mesures pour obscurcir l'origine générée par l'IA de leurs photos de profil en ajoutant des filtres ou en retouchant les traits du visage.

Bien que nous n'ayons pas observé la même pléthore d'activités utilisant des modèles texte-image, nous prévoyons que leur utilisation augmentera au fil du temps en raison des récents outils accessibles au public et des améliorations apportées à la technologie.

Les modèles texte-image représentent probablement aussi une menace de tromperie plus importante que les GAN :

- Les modèles texte-image peuvent être appliqués à un plus large éventail de cas d'utilisation. Alors que nous avons observé que les GAN sont principalement utilisés pour aider à la construction de persona, les modèles texte-image peuvent être utilisés de manière plus large pour soutenir divers récits et fabrications.

- Le contenu généré par les modèles texte-image peut être plus difficile à détecter que celui généré par les GAN, à la fois par les individus utilisant des techniques manuelles et par les modèles de détection de l'IA.

Nous avons observé de la désinformation diffusée via des modèles texte-image dans divers cas, notamment par la campagne d'influence DRAGONBRIDGE en faveur de la RPC.

- En mars 2023, DRAGONBRIDGE a exploité plusieurs images générées par l'IA afin de soutenir des récits dépeignant négativement les dirigeants américains. L'une de ces images utilisées par DRAGONBRIDGE a été produite à l'origine par le journaliste Eliot Higgins, qui a déclaré dans un tweet qu'il avait utilisé Midjourney pour générer les images, suggérant qu'il l'avait fait pour démontrer les utilisations potentielles de l'outil.

- En mai 2023, les cours de la bourse américaine ont brièvement chuté après que des comptes Twitter, dont le média d'État russe, RT, et le compte vérifié, @BloombergFeed, qui s'est fait passer pour un compte associé au Bloomberg Media Group, ont partagé une image générée par l'IA décrivant une explosion présumée près du Pentagone.

La technologie vidéo générée et manipulée par l'IA accessible au public se compose actuellement principalement des formats suivants :

- Modèles vidéo mettant en scène des avatars humains personnalisables générés par l'IA et récitant un discours de type voix-texte, souvent utilisés pour soutenir des médias au format de présentation tels que les émissions d'information ;

- Les outils de manipulation vidéo activés par l'IA, tels que les outils d'échange de visages, qui superposent les visages des individus à ceux des vidéos existantes.

Mandiant a observé des opérations d'information tirant parti de ces technologies pour promouvoir les récits souhaités depuis 2021, y compris ceux détaillés ici. Au fur et à mesure que d'autres formes de technologies vidéo générées par l'IA s'améliorent, comme celles qui impliquent l'usurpation d'identité, nous nous attendons à ce qu'elles soient de plus en plus utilisées.

- En mai 2023, Mandiant a signalé à ses clients l'utilisation par DRAGONBRIDGE d'un « présentateur de nouvelles » généré par l'IA dans une courte vidéo de type segment d'actualité. Nous avons évalué que cette vidéo avait probablement été créée à l'aide d'une plateforme en libre-service proposée par la société d'IA, D-ID

En 2022, la société d'analyse des médias sociaux, Graphika, a signalé séparément que DRAGONBRIDGE avait utilisé des présentateurs générés par l'IA pour produire un service de génération de vidéos différent, Synthesia, ce qui suggère que la campagne a utilisé au moins deux services de génération de vidéos par l'IA.

- En mars 2022, à la suite de l'invasion russe de l'Ukraine, une opération d'information a promu un message fabriqué alléguant la capitulation de l'Ukraine face à la Russie par divers moyens, notamment via une deepfake vidéo du président ukrainien Volodymyr Zelensky (figure 5).

- En juin 2021, des actifs Telegram liés à la campagne Ghostwriter, liée à la Biélorussie, ont publié des vidéos manipulées par l'IA montrant des images d'hommes politiques superposées à des clips vidéo de films ou manipulées pour donner l'impression qu'ils chantaient des chansons. Au moins l'un de ces posts comportait un filigrane indiquant qu'il avait été « réalisé avec Reface App. »

- En avril 2021, Mandiant a identifié une opération d'information dans laquelle des comptes de médias sociaux faisaient la promotion d'une vidéo semblant exploiter une technologie d'IA pour insérer le visage d'un candidat au poste de gouverneur mexicain dans une scène de film afin de le présenter comme consommant de la drogue.

Bien que Mandiant n'ait observé jusqu'à présent qu'un seul cas d'acteurs des opérations d'information faisant référence à du texte généré par l'IA ou à des LLM, nous prévoyons que l'émergence récente d'outils accessibles au public et leur facilité d'utilisation pourraient conduire à leur adoption rapide.

- En février 2023, des comptes DRAGONBRIDGE ont accusé ChatGPT, un chatbot conversationnel développé par OpenAI, d'appliquer deux poids deux mesures à la Chine et aux États-Unis, en citant un prétendu échange dans lequel le chatbot a déclaré qu'il serait interdit à la Chine d'abattre des avions civils, y compris des ballons américains à usage civil, au-dessus de son territoire.

Mandiant n'a observé que peu ou pas d'utilisation d'audio généré par l'IA dans des opérations d'information concertées à ce jour, bien que nous ayons observé des utilisateurs de ces technologies, comme ceux de 4chan, créer des pistes audios de personnalités publiques semblant tenir des propos violents, racistes et transphobes. Les outils audios générés par l'IA existent depuis des années et possèdent des capacités telles que les modèles texte-voix, le clonage de voix et l'usurpation d'identité. La génération de texte à partir de la voix est également une caractéristique clé des logiciels vidéo générés par l'IA.

Améliorer l'ingénierie sociale

Reconnaissance

Mandiant a déjà souligné les différentes façons dont les acteurs de la menace peuvent exploiter les outils basés sur l'IA pour soutenir leurs opérations, ou utiliser ces applications pour aider à traiter les informations de source ouverte, ainsi que les données qui ont déjà été volées pour la reconnaissance et la sélection des cibles.

- Les services de renseignement parrainés par un État peuvent appliquer des outils d'apprentissage automatique et de science des données à des quantités massives de données volées et de sources ouvertes afin d'améliorer le traitement et l'analyse des données, ce qui permet aux acteurs de l'espionnage d'opérationnaliser les informations collectées avec plus de rapidité et d'efficacité. Ces outils peuvent également identifier des schémas pour améliorer les techniques artisanales identifiant des individus étrangers pour le recrutement de renseignements dans le cadre d'opérations d'espionnage traditionnelles et élaborant des campagnes d'ingénierie sociale efficaces.

- À Black Hat USA 2016, des chercheurs ont présenté un outil d'IA appelé Social Network Automated Phishing with Reconnaissance system, ou SNAP_R, qui suggère des cibles de grande valeur et analyse l'activité passée des utilisateurs sur Twitter pour générer des documents de phishing personnalisés à partir des anciens tweets d'un utilisateur (voir figure 6).

- Nous avons identifié des indications de l'intérêt de l'acteur de cyberespionnage nord-coréen APT43 pour les LLM, plus précisément Mandiant a observé des preuves suggérant que le groupe s'est connecté à des outils LLM largement disponibles. Le groupe peut potentiellement exploiter les LLM pour permettre ses opérations, mais l'objectif visé n'est pas clair.

Matériel de leurre

Les acteurs de la menace peuvent également utiliser les LLM pour générer des contenus plus convaincants adaptés à un public cible, indépendamment de la capacité de l'auteur à comprendre la langue de la cible. Les LLM peuvent aider les opérateurs malveillants à créer des sorties de texte qui reflètent les schémas naturels de la parole humaine, ce qui rend le matériel plus efficace pour les campagnes d'hameçonnage et les compromissions initiales réussies.

- Des rapports de source ouverte suggèrent que les acteurs de la menace pourraient utiliser l'IA générative pour créer un matériel de leurre efficace afin d'augmenter la probabilité de compromissions réussies, et qu'ils pourraient utiliser des LLM pour améliorer la complexité du langage utilisé pour leurs opérations préexistantes.

- Mandiant a relevé des preuves d'acteurs à motivation financière utilisant des contenus vidéo et vocaux manipulés dans le cadre d'escroqueries par compromission de courriers électroniques professionnels (BEC), d'acteurs du cyber espionnage nord-coréen utilisant des images manipulées pour déjouer les exigences de connaissance du client (KYC), et de la technologie de modification de la voix utilisée dans l'ingénierie sociale ciblant les soldats israéliens.

o Les médias indiquent que des acteurs financièrement motivés ont développé un outil d'IA générative, WormGPT, qui permet aux opérateurs malveillants de créer des messages BEC plus persuasifs. En outre, cet outil peut permettre aux menaces d'écrire des codes de logiciels malveillants personnalisables.

- En mars 2023, plusieurs médias ont rapporté comment un couple canadien qui aurait été escroqué de 21 000 USD lorsqu'une personne utilisant une voix générée par l'intelligence artificielle (IA) s'est fait passer pour leur fils ainsi que pour l'avocat représentant leur fils pour avoir prétendument tué un diplomate dans un accident de voiture.

- En outre, nous avons observé des acteurs financièrement motivés faisant de la publicité pour des capacités d'IA, y compris des services de technologie deepfake, dans des forums clandestins afin d'accroître potentiellement l'efficacité des opérations cybercriminelles, telles que l'ingénierie sociale, la fraude et l'extorsion, en faisant en sorte que ces opérations malveillantes semblent plus personnelles par nature grâce à l'utilisation de capacités deepfake.

Développement de logiciels malveillants

Mandiant prévoit que les acteurs de la menace utiliseront de plus en plus les LLM pour développer des logiciels malveillants. Les LLM peuvent aider les acteurs de la menace à créer de nouveaux logiciels malveillants et à améliorer les logiciels malveillants existants, quelles que soient les compétences techniques ou la maîtrise de la langue de l'attaquant. Bien que les médias suggèrent que les LLM présentent des lacunes dans leur génération de logiciels malveillants qui pourraient nécessiter une intervention humaine pour être corrigées, la capacité de ces outils à aider de manière significative à la création de logiciels malveillants peut encore renforcer les développeurs de logiciels malveillants compétents et permettre à ceux qui pourraient manquer de sophistication technique de le faire.

- Des rapports de sources ouvertes suggèrent que des acteurs financièrement motivés proposent des services dans des forums clandestins liés au contournement des restrictions sur les LLM qui sont conçues pour empêcher que les LLM soient utilisés pour le développement et la propagation de logiciels malveillants, ainsi que pour la génération de matériel de leurre.

- Mandiant a observé des acteurs de la menace dans des forums clandestins faisant la publicité de services, de ventes et d'accès à des API de LLM, ainsi que de codes générés par des LLM entre janvier et mars 2023.

- Un utilisateur a mis en ligne une vidéo prétendant contourner les fonctions de sécurité d'un LLM pour lui faire écrire des logiciels malveillants capables de contourner les défenses d'une solution particulière de détection et de réponse des points finaux (EDR). L'utilisateur a ensuite été payé après avoir soumis cette vidéo à un programme de primes aux bugs à la fin du mois de février 2023.

Perspectives et implications

Les acteurs de la menace font régulièrement évoluer leurs tactiques, en tirant parti des nouvelles technologies et en y réagissant, dans le cadre d'un paysage des cybermenaces en constante évolution. Mandiant prévoit que les acteurs de la menace, d'origines et de motivations diverses, exploiteront de plus en plus l'IA générative au fur et à mesure que la prise de conscience et les capacités entourant ces technologies se développeront. Par exemple, nous pensons que les acteurs malveillants continueront à capitaliser sur l'incapacité du grand public à faire la différence entre ce qui est authentique et ce qui est contrefait, et que les utilisateurs comme les entreprises devraient être prudents quant aux informations qu'ils ingèrent, car l'IA générative a conduit à une réalité plus malléable. Toutefois, si cette technologie suscite certainement l'intérêt des acteurs de la menace, son adoption a été limitée jusqu'à présent et pourrait le rester à court terme

Ressources

Alors que l'utilisation de l'IA générative par les acteurs de la menace reste balbutiante, la communauté de la sécurité a la possibilité de devancer les acteurs de la menace grâce à des avancées défensives, y compris l'adoption de l'IA générative, au profit des praticiens et des utilisateurs. Pour en savoir plus sur la manière dont les défenseurs de Mandiant utilisent l'IA générative dans leur travail quotidien afin d'identifier les menaces plus rapidement, d'éliminer les tâches fastidieuses et de mieux résoudre les tâches liées aux talents qui augmentent la vitesse et les compétences dans l'ensemble de ces flux de travail, cliquez ici.

Google a adopté, pour l'ensemble de ses produits et services, des règles relatives à la désinformation dans le contexte de l'IA. Pour en savoir plus sur la sécurisation des systèmes d'IA, consultez Google SAIF, un cadre conceptuel visant à sécuriser de manière collaborative la technologie de l'IA au fur et à mesure de son développement. Inspiré des meilleures pratiques de sécurité que Google a appliquées au développement de logiciels, SAIF offre aux praticiens des conseils sur la détection et la réponse, l'adaptation des contrôles, l'automatisation des défenses et bien d'autres choses encore, spécifiques aux systèmes d'IA.

À propos de Mandiant, Inc.

Depuis 2004, Mandiant:registered: est un partenaire de confiance pour les organisations soucieuses de sécurité. Une sécurité efficace repose sur la bonne combinaison d'expertise, d'intelligence et de technologie adaptative, et la plateforme SaaS Mandiant Advantage met à l'échelle des décennies d'expérience de première ligne et de renseignements sur les menaces à la pointe de l'industrie pour offrir une gamme de solutions de cyberdéfense dynamiques. L'approche de Mandiant aide les organisations à développer des programmes de cybersécurité plus efficaces et efficients et leur donne confiance dans leur capacité à se défendre contre les cybermenaces et à y répondre.