Résumé exécutif
OpenAI a annoncé avoir neutralisé plusieurs réseaux d’acteurs malveillants exploitant son outil d’intelligence artificielle ChatGPT pour faciliter des opérations cybercriminelles et d’influence. Cette action de disruption concerne trois groupes principaux affiliés à la Russie, la Corée du Nord et la Chine, qui ont détourné les capacités de l’IA pour développer des logiciels malveillants, orchestrer des campagnes de phishingHameçonnage par emails frauduleux imitant un service officiel. Email se faisant passer pour votre banque. PhishTank et mener des opérations d’influence.
Classification des menaces identifiées
Cluster 1 : Acteur russophone – Développement de malware
Profil de l’acteur
Un acteur de menace russophone, présumé affilié à des groupes criminels organisés, a utilisé ChatGPT pour concevoir et perfectionner des outils malveillants sophistiqués. L’acteur a publié des preuves de ses activités sur un canal Telegram dédié à ces groupes criminels.
Capacités développées
L’acteur a exploité ChatGPT pour créer plusieurs composants malveillants :
- Trojan d’accès à distance (RAT) : Développement d’un outil d’accès distant avec mécanismes d’évasion
- Voleur d’identifiants : Création de malwareLogiciel malveillant conçu pour endommager, voler ou espionner. Un cheval de Troie bancaire récupère vos identifiants. Symantec ciblant les informations d’authentification
- Composants post-exploitation : Prototypage d’outils permettant des actions après compromission initiale
Méthodologie de contournement
Les modèles de langage d’OpenAI ont refusé les demandes directes de production de contenu malveillant. L’acteur a donc adopté une stratégie de fragmentation :
- Approche modulaire : Demande de composants de code apparemment légitimes
- Assemblage manuel : Combinaison des fragments pour créer des flux de travail malveillants
- Code généré :
- Obfuscation de code
- Surveillance du presse-papiers
- Utilitaires d’exfiltration via bot Telegram
- Générateurs de mots de passe en masse
- Scripts d’automatisation de candidatures
Analyse comportementale
L’analyse des patterns d’utilisation révèle :
- Sophistication variable : Alternance entre requêtes nécessitant une expertise Windows approfondie et tâches automatisées basiques
- Développement itératif : Utilisation d’un nombre restreint de comptes ChatGPT avec itérations successives sur le même code
- Débogage intensif : Processus de développement continu plutôt que tests occasionnels
Cluster 2 : Acteur nord-coréen – Campagne de spear-phishing
Attribution et contexte
Ce cluster présente des recoupements avec une campagne documentée par Trellix en août 2025, ciblant des missions diplomatiques en Corée du Sud via des emails de spear-phishing délivrant le malwareLogiciel malveillant conçu pour endommager, voler ou espionner. Un cheval de Troie bancaire récupère vos identifiants. Symantec Xeno RAT.
Utilisation de ChatGPT
Les acteurs nord-coréens ont exploité l’IA pour plusieurs activités techniques :
Développement de malwareLogiciel malveillant conçu pour endommager, voler ou espionner. Un cheval de Troie bancaire récupère vos identifiants. Symantec et C2 :
- Création d’extensions Finder pour macOS
- Configuration de VPNTunnel sécurisé entre deux points à travers Internet. Se connecter à distance au SI de l’entreprise. ProtonVPN sous Windows Server
- Conversion d’extensions Chrome vers Safari
- Développement de techniques de chargement DLL
- Exécution en mémoire
- Hooking d’API Windows
- Vol d’identifiants
Ingénierie sociale et infrastructure :
- Rédaction d’emails de phishingHameçonnage par emails frauduleux imitant un service officiel. Email se faisant passer pour votre banque. PhishTank ciblés
- Expérimentation avec services cloud et fonctions GitHub
- Exploration de techniques d’exécution furtive
Cluster 3 : Acteur chinois UNK_DropPitch (UTA0388)
Identification de l’acteur
Ce groupe, suivi par Proofpoint sous l’identifiant UNK_DropPitch (alias UTA0388), est un acteur de menace chinois spécialisé dans le ciblage de l’industrie des semi-conducteurs taïwanaise et des grandes firmes d’investissement.
Campagnes attribuées
L’acteur est associé au déploiement du backdoor HealthKick (également connu sous le nom GOVERSHELL) via des campagnes de phishingHameçonnage par emails frauduleux imitant un service officiel. Email se faisant passer pour votre banque. PhishTank sophistiquées.
Exploitation de ChatGPT
Génération de contenu multilingue :
- Création de matériel de phishingHameçonnage par emails frauduleux imitant un service officiel. Email se faisant passer pour votre banque. PhishTank en anglais, chinois et japonais
- Adaptation culturelle et linguistique des messages d’hameçonnage
Développement d’outils :
- Automatisation de tâches d’exécution à distance
- Protection du trafic via HTTPS
- Recherche d’informations sur l’installation d’outils open-source (nuclei, fscan)
Évaluation de la sophistication : OpenAI qualifie cet acteur de “techniquement compétent mais peu sophistiqué”, suggérant une capacité opérationnelle efficace mais une méthodologie moins avancée.
Opérations d’escroquerie et d’influence
Au-delà des activités de cyberespionnage, OpenAI a identifié et neutralisé plusieurs opérations d’influence et d’escroquerie.
Réseaux d’escroquerie en Asie du Sud-Est et en Afrique
Origines géographiques
- Cambodge
- Myanmar
- Nigéria
Méthodologie d’escroquerie
Ces réseaux ont exploité ChatGPT pour :
- Services de traduction : Adaptation des messages à différentes langues cibles
- Rédaction de messages : Création de communications persuasives
- Contenu pour réseaux sociaux : Production de matériel promotionnel pour des arnaques d’investissement
Adaptation anti-détection
Un cas particulièrement notable révèle la conscience des acteurs concernant les indicateurs d’utilisation de l’IA :
“Un des réseaux d’escroquerie cambodgiens a demandé au modèle de retirer les tirets longs (em-dashes, –) de la sortie, ou semble avoir retiré les tirets manuellement avant publication. Pendant des mois, les tirets longs ont fait l’objet de discussions en ligne comme indicateur possible d’utilisation d’IA : ce cas suggère que les acteurs de menace étaient conscients de ces discussions.”
Cette observation démontre une adaptation tactique sophistiquée visant à masquer l’origine automatisée du contenu.
Opérations de surveillance liées au gouvernement chinois
Cibles identifiées
Des individus apparemment liés à des entités gouvernementales chinoises ont utilisé ChatGPT pour :
- Surveillance de minorités ethniques : Ciblage spécifique des Ouïghours
- Analyse de réseaux sociaux : Traitement de données provenant de plateformes occidentales et chinoises
- Génération de matériel promotionnel : Création de contenu marketing pour ces outils de surveillance
Note importante : Les utilisateurs n’ont pas employé l’IA pour implémenter ces outils, mais uniquement pour la génération de matériel promotionnel.
Opération d’influence russe : Stop News
Attribution et infrastructure
Acteur d’origine russe probablement géré par une agence de marketing, utilisant les modèles d’OpenAI et d’autres fournisseurs d’IA.
Narratifs diffusés
Contenu anti-occidental :
- Critique du rôle de la France en Afrique
- Critique du rôle des États-Unis sur le continent africain
- Promotion du rôle de la Russie en Afrique
Contenu anti-ukrainien :
- Production de contenu en anglais véhiculant des narratifs anti-Ukraine
- Génération de vidéos pour diffusion sur réseaux sociaux
Opération d’influence chinoise : “Nine Line”
Cibles géopolitiques
Cette opération d’influence clandestine a généré du contenu visant plusieurs objectifs stratégiques :
Ciblage des Philippines :
- Contenu critique envers le Président Ferdinand Marcos
- Contestation des positions philippines en mer de Chine méridionale
Narratifs environnementaux :
- Publications sur l’impact environnemental présumé du Vietnam en mer de Chine méridionale
Ciblage pro-démocratie :
- Contenu concernant des personnalités politiques et militants du mouvement pro-démocratie de Hong Kong
Tentatives de surveillance et identification
Dans deux cas distincts, des comptes chinois présumés ont sollicité ChatGPT pour :
- Identifier les organisateurs d’une pétition en Mongolie
- Déterminer les sources de financement d’un compte X critiquant le gouvernement chinois
Réponse du système : Les modèles d’OpenAI ont uniquement fourni des informations publiquement disponibles, sans divulguer de données sensibles.
Stratégies de croissance sur réseaux sociaux
Une utilisation novatrice impliquait des demandes de conseil sur :
- Stratégies de croissance sur réseaux sociaux
- Lancement de défis TikTok
- Exploitation du hashtag #MyImmigrantStory (hashtag populaire préexistant)
- Génération de transcriptions pour publications TikTok
- Recommandations de musiques de fond et visuels d’accompagnement
Évaluation de l’impact et des capacités
Analyse des capacités apportées
OpenAI a souligné que ses outils n’ont pas fourni de capacités entièrement nouvelles que les acteurs de menace n’auraient pu obtenir autrement via des ressources publiques. Le principal apport se situe dans :
- Gains d’efficacité incrémentaux : Accélération des flux de travail existants
- Automatisation de tâches répétitives : Réduction du temps de développement
- Assistance linguistique : Facilitation de la production de contenu multilingue
Limitations des systèmes de protection
Les mécanismes de refus des modèles de langage, bien que présents, se sont révélés contournables via :
- Fragmentation des requêtes malveillantes
- Demande de composants apparemment légitimes
- Assemblage manuel post-génération
Innovations technologiques en réponse
Outil d’audit Petri d’Anthropic
En parallèle de ces révélations, Anthropic a publié Petri (Parallel Exploration Tool for Risky Interactions), un outil d’audit open-source conçu pour accélérer la recherche en sécurité de l’IA.
Fonctionnalités principales
Détection de comportements à risque :
- Tromperie
- Sycophantisme
- Encouragement de l’illusion utilisateur
- Coopération avec demandes nuisibles
- Auto-préservation
Méthodologie d’audit :
- Déploiement d’agents automatisés pour tester les systèmes d’IA cibles
- Conversations multi-tours diversifiées impliquant utilisateurs et outils simulés
- Traitement parallèle d’instructions semences ciblant des scénarios spécifiques
- Planification et interaction via boucle d’utilisation d’outils
- Notation des transcriptions selon multiples dimensions pour filtrage et analyse
Implications stratégiques
Pour l’industrie de l’IA
- Nécessité de surveillance continue : Détection proactive des abus de systèmes d’IA
- Amélioration des mécanismes de refus : Renforcement des protections contre la fragmentation de requêtes malveillantes
- Collaboration intersectorielle : Partage d’indicateurs de compromission et de tactiques adverses
Pour la communauté de cybersécurité
- Nouveaux vecteurs d’attaque : Intégration de l’IA générative dans les modèles de menace
- Détection de contenu généré par IA : Développement d’indicateurs techniques et linguistiques
- Adaptation des acteurs de menace : Reconnaissance de la conscience accrue des adversaires concernant les signatures d’IA
Pour les décideurs politiques
- Régulation de l’IA : Nécessité de cadres réglementaires pour prévenir l’utilisation malveillante
- Attribution et responsabilité : Établissement de mécanismes de traçabilité des abus
- Coopération internationale : Coordination face aux menaces transnationales exploitant l’IA
Recommandations
Pour les fournisseurs d’IA
- Renforcer les systèmes de détection d’utilisation abusive
- Implémenter des mécanismes de watermarking robustes
- Développer des capacités d’attribution et de traçabilité
- Établir des protocoles de réponse aux incidents standardisés
Pour les organisations
- Sensibiliser le personnel aux techniques de phishingHameçonnage par emails frauduleux imitant un service officiel. Email se faisant passer pour votre banque. PhishTank assistées par IA
- Déployer des solutions de détection de contenu généré artificiellement
- Intégrer l’IA générative dans les évaluations de menaces
- Surveiller les indicateurs comportementaux inhabituels dans les communications
Pour les chercheurs en sécurité
- Développer des méthodologies de détection de contenu généré par IA
- Explorer les vulnérabilités des systèmes de protection actuels
- Collaborer sur le développement d’outils d’audit comme Petri
- Documenter et partager les tactiques adverses émergentes
Conclusion
Cette série de disruptions par OpenAI illustre la dualité inhérente aux technologies d’intelligence artificielle générative : leur potentiel pour améliorer l’efficacité et la créativité s’accompagne de risques d’exploitation malveillante. L’adaptation rapide des acteurs de menace, notamment leur conscience des indicateurs révélateurs d’utilisation d’IA, souligne la nécessité d’une évolution constante des mécanismes de défense.
La sophistication variable des acteurs identifiés — allant de groupes criminels russophones techniquement compétents aux opérations d’influence étatiques chinoises — démontre que l’IA générative démocratise certaines capacités offensives tout en abaissant les barrières d’entrée pour des acteurs moins sophistiqués.
L’émergence d’outils d’audit comme Petri d’Anthropic représente une réponse encourageante de l’industrie, mais la course entre défenseurs et attaquants dans le domaine de l’IA ne fait que commencer.