Quand l'IA se rebelle : une intelligence artificielle d'OpenAI pirate une start-up française de sa propre initiative, un incident "effrayant" jugent les experts

Un incident "sans précédent" jugé "effrayant" par les experts. Pour la première fois depuis l'avènement de l'intelligence artificielle (IA), un modèle intelligent a, de sa propre initiative, piraté une entreprise, Hugging Face. Troublant alors que le secteur, en plein essor ces dernières années, n'est que très peu régulé. C'est OpenAI, créateur de ChatGPT, qui l'a annoncé mardi 21 juillet dans un post de blog. "La semaine dernière, Hugging Face a révélé un nouveau type d'incident de sécurité après avoir détecté et neutralisé un agent d'IA qui avait compromis son infrastructure", a annoncé l'entreprise californienne. 

Elle a évoqué un "cyberincident sans précédent" et annoncé une enquête conjointe avec la start-up, une bibliothèque de code en ligne, qui en a été la cible. OpenAI a précisé que l'incident impliquait une combinaison de modèles, dont son GPT-5.6 Sol lancé récemment ainsi qu'un modèle "encore plus performant" en cours d'élaboration.

Recheche d'"informations secrètes"

L'entreprise basée à San Francisco cherchait à évaluer les capacités de piratage des modèles en leur assignant des tâches dans un environnement d'essai numérique strictement contrôlé, où l'accès à internet était limité pour des raisons de sécurité. "Pendant qu'ils opéraient dans notre environnement de test en bac à sable [c'est-à-dire isolé, ndlr], nos modèles ont consacré une quantité importante de [puissance de calcul] à trouver un moyen d'obtenir un accès libre à internet, dans le but de résoudre le problème d'évaluation", a indiqué OpenAI dans son post relatant l'incident.

Une fois connectés à internet, ils ont ciblé la plateforme Hugging Face – créée en France en 2016 et basée à New York, qui héberge un vaste répertoire de modèles d'IA, de jeux de données et d'autres informations – pour les aider dans leur quête. À la recherche d'"informations secrètes" pouvant l'aider à tricher lors de l'évaluation, le système d'OpenAI "a enchaîné plusieurs vecteurs d'attaque, notamment en utilisant des identifiants volés".

"Exploiter ses propres vulnérabilités"

La cybersécurité constitue un enjeu crucial à mesure que l'IA gagne en sophistication, compte tenu du risque que des modèles avancés détectent avant les humains des failles dans les logiciels existants. Interrogé par l'AFP, Hussein Abbass, professeur d'informatique à l'université de Nouvelle-Galles du Sud en Australie, juge l'incident "à bien des égards stupéfiant". "Il n'a pas seulement attaqué Hugging Face. Il a en fait attaqué son propre système interne pour exploiter ses propres vulnérabilités", explique cet expert en IA. "Et c'est effrayant", ajoute-t-il.

"Il me semble qu’OpenAI n’a pas mis en place un environnement de test suffisamment sécurisé", a expliqué Deirdre Mulligan, professeure à l’École d’information de l’Université de Californie à Berkeley, spécialiste de la sécurité et des systèmes d’IA, au New York Times. 

"L’IA pensait que Hugging Face détenait peut-être des informations importantes sur la manière d’atteindre son objectif : obtenir un meilleur score à un test de cybersécurité. En ce sens, elle s’est comportée comme un véritable pirate informatique", souligne de son côté Nathaniel Jones, vice-président de la sécurité et de la stratégie IA chez Darktrace, une entreprise spécialisée en cybersécurité et interrogé par The Guardian. "On lui a fixé un objectif et elle s’est employée à l’atteindre", résume-t-il.

Potentiellement "catastrophique" si cela tombe entre de mauvaises mains

GPT-5.6 et d'autres modèles d'IA de pointe, notamment la série Mythos du grand rival d'OpenAI, Anthropic, suscitent des inquiétudes quant à leur capacité potentielle à franchir les défenses de cybersécurité. Les deux entreprises américaines ont dû retarder temporairement la mise à disposition générale de ces technologies de dernière génération en raison de craintes à Washington qu'elles puissent aider à s'introduire dans des infrastructures cruciales.

Les IA avancées sont "normalement entre les mains de personnes responsables qui ont une éthique", mais "ce sera catastrophique si cela tombe entre les mains de quelqu'un qui a l'intention de nuire", souligne M. Abbass. La question de la gouvernance du secteur de l'IA est devenue centrale et "nous avons besoin d'un effort collectif pour gérer cette situation", estime-t-il.

Clément Delangue, directeur général de Hugging Face, a indiqué sur X que, compte tenu de la sophistication de l'agent, l'entreprise avait soupçonné une cyberattaque provenant d'un laboratoire d'IA de premier plan mondial. Interrogé par la BBC, le Français juge que cet incident inédit est "un signal d'alarme" pour le secteur. "Ce sera le type de cyberattaques que nous verrons le plus", a-t-il alerté.

L’actualité par la rédaction de RTL dans votre boîte mail.

Grâce à votre compte RTL abonnez-vous à la newsletter RTL info pour suivre toute l'actualité au quotidien

Je créé mon compte Se connecter

S’abonner à la Newsletter RTL Info