C'est quoi Pangram, le détecteur d'IA à l'origine de l'affaire Thélyson Orélien et peut-on lui faire confiance ?

C'est l'outil derrière la polémique de la rentrée littéraire. L'affaire Thélyson Orélien, l'auteur canado-haïtien accusé d'avoir utilisé l'intelligence artificielle dans la rédaction de son roman C'était ça ou mourir, en lice pour les plus prestigieux prix littéraires de l'automne, a braqué les projecteurs sur les détecteurs d'IA, capables, d'après leurs créateurs, de déceler des textes écrits grâce à l'intelligence artificielle. Et soulève, en creux, une question centrale : Pangram, considéré comme l'un des plus performants, et rapidement devenu la référence en la matière, est-il suffisamment fiable pour soutenir ces accusations ? 

Créé en 2023 par deux ingénieurs, Max Spero et Bradley Emi, Checkfor.ai, devenu depuis Pangram, se présente comme étant conçu "pour détecter les contenus générés par l'IA avec un taux de faux positifs quasi nul". 

Le logiciel s'appuie sur un corpus de dizaines de millions de documents, qui lui permettent d'identifier les styles d'écriture, pour "comprendre les signaux subtils présents dans l'écriture". "Ils mesurent la prévisibilité du texte", décrypte pour RTL.fr Thibault Celier, co-fondateur d'usuel.ai, cabinet de conseil en IA générative. 

Des détecteurs de "prévisibilité" des textes

"Nous concevons la partie 'IA' de l'ensemble de données de manière à ce qu'elle ressemble étroitement à la partie 'humaine' en termes de style, de ton et de contenu sémantique. Pour chaque exemple humain, nous générons un exemple créé par l'IA qui correspond au document d'origine sur autant d'axes que possible, afin de garantir que notre modèle apprenne à classer les documents en se basant uniquement sur les caractéristiques spécifiques de l'écriture des grands modèles de langage", détaille l'entreprise sur son site. Il s'agit de la technique du miroir synthétique ou "syntetic mirroring" en anglais.

À lire aussi

High-tech

"Nous devançons la Chine" : Donald Trump opposé à ralentir le développement de l'IA, au moment où les alarmes du secteur se multiplient

"L'outil relit le texte et il fait des calculs de deux indicateurs, la perplexité, c'est-à-dire à quel point chaque mot est prévisible et, la variabilité, à savoir l'alternance de phrases courtes et longues, banales ou surprenantes", explique Thibault Celier. 

L'entreprise revendique que son détecteur présente un taux de "faux positifs" inférieur à 1% avec un sur environ 24.000. Des chercheurs de l'université de Chicago ont révélé dans un document de travail que Pangram ne confondait pratiquement jamais de longs passages de texte écrit par un humain avec de l'IA. Une autre étude, publiée par l'Université de Bruxelles, qui a comparé quatre détecteurs d'IA (GPTZero, Copyleaks, Turnitin et Pangram), a également montré la supériorité de Pangram. Dans 97,5% des cas, Pangram a réussi à déterminer l'origine de quelque 160 documents, tandis que ses concurrents atteignent 70 à 100% d'erreurs.

"Notre approche rigoureuse en matière d'entraînement minimise les erreurs et permet au modèle de détecter les textes générés par l'IA en analysant et en comprenant les indices subtils présents dans le texte", explique l'entreprise sur son site.

De nombreux "biais" qui peuvent induire des faux positifs

La plupart des spécialistes s'accordent toutefois à souligner les limites de ces outils. "C'est très faillible", estime ainsi Thibault Celier, co-fondateur d'usuel.ai , qui décrit les nombreux "biais" inhérents à ces solutions, notamment lorsqu'on écrit dans une langue qui n'est pas notre langue natale. 

"Si vous écrivez en anglais, vous aurez plutôt tendance à écrire de manière plus prévisible qu'un anglais natif. Et ça crée des faux positifs. C'est-à-dire que l'IA pense que c'est de l'IA alors que c'est de l'humain", décrit Thibault Celier. Pangram devient également moins fiable dès qu'il est confronté à des textes humains "retouchés" avec l'IA, ou alors à des textes hybrides. 

Enfin, les modèles de langue utilisés se basent sur des humains qui résident dans "des zones géographiques particulières", où "la main-d'œuvre est moins chère".  "L'effet, c'est qu'on retrouve les tics de langages de ces humains qui alignent les modèles."

Dans le cas de Thélyson Orélien, le compte "Balance ton Claude" assure que son roman a été écrit à 100% par l'IA. "Il y a quelque chose qui est de l'ordre de la discrimination, très violente, comme si on devait faire le tri entre les créations qui sont pures et les créations impures. Ça crée une sorte de soupçon permanent", déplore Thibault Celier.

Pour autant, le recours à l'IA de l'auteur laisse peu de place au doute selon Max Spero, fondateur de Pangram. "Il ne fait aucun doute que Pangram est très performant pour le français et pour un texte de cette longueur. Ça ne peut pas être une coïncidence qu’en prenant n’importe quelle page au hasard dans le livre, il indique qu’il s’agit le plus souvent à 100 % d’IA", a-t-il assuré au Monde. 

Une vision qui semble désormais partagée par l'Académie Goncourt, qui a sorti vendredi le roman de la liste pour son prestigieux prix littéraire, jugeant qu'il était "selon toute vraisemblance très largement le produit d'une intelligence artificielle".