L’outil de génération automatique de texte ChatGPT pose d'immenses défis. A commencer par le besoin de disposer d’outils efficaces pouvant identifier des contenus produits par cette IA. La rédaction en a testé plusieurs. Verdict.
ChatGPT continue de faire le buzz. Lancé en novembre dernier, le modèle de génération de texte d’OpenAI impressionne et inquiète. Malgré des réponses somme toute stéréotypées et potentiellement parsemées d’erreurs ou d’imprécisions, ce chatbot à la pointe de l’IA est capable de produire des textes convaincants car façonnés pour plaire au plus grand nombre.
Les usages possibles sont multiples et posent de nombreuses questions en matière d’éthique et de transparence. Notamment dans le domaine de l’enseignement: il n’a d’ailleurs pas fallu attendre cette déclinaison de la technologie d’OpenAI pour que des étudiants l’emploie pour produire des dissertations et autres tâches rédactionnelles. ChatGPT peut en outre contribuer à créer une cyberattaque.
Ces outils peuvent aussi servir à créer des billets blog optimisés pour le SEO et des contenus journalistiques. Le site CNET, spécialisée en nouvelles technologies, a mené discrètement une expérience en publiant plus de 70 contenus «assistés par l’IA», selon les termes employés par le site, qui explique sa démarche dans un article. La transparence n’était toutefois pas tout de suite de mise et il a fallu qu’un spécialiste du webmarketing s’en aperçoive pour que CNET communique sur cette expérience:
Looks like @CNET (DR 92 tech site) just did their coming out about using AI content for SEO articles. pic.twitter.com/CR0IkgUUnq
Les modèles de génération de texte toujours plus perfectionnés font donc débat et posent d’immenses défis. A commencer par la nécessité de détecter les textes que ces outils produisent. Il en existe déjà un certain nombre. Un article détaillé de DigitalTrends mentionne GPT-2 Output Detector (mis au point par OpenAI), Writer AI Content Detector, Content at Scale ou encore le récent GPTZero, développé par un étudiant de l’université de Princeton.
J’ai moi-même testé trois de ces outils pour comparer les résultats entre l’une de mes récentes news et le texte rédigé par ChatGPT sur le même sujet, en demandant à l’IA de résumer avec un style journalistique le communiqué de presse sur lequel je me suis aussi basé.
Le texte produit par ChatGPT:
La start-up Ostloong Innovations, fondée en 2022 par Amber Gao, vient de lancer sur le marché un masque de ski révolutionnaire, le Sirius. Ce masque, qui allie réalité augmentée et intelligence artificielle, est le premier produit de cette entreprise spécialisée dans les technologies innovantes de réalité augmentée et d’intelligence artificielle. Il est destiné à tous les amateurs de glisse, quel que soit leur niveau, et offre une expérience multidimensionnelle et immersive en plein air.
Le Sirius est proposé en deux modèles, “Standard” et “Pro”, qui offrent des fonctionnalités innovantes telles que les données mobiles intégrées (appel et SMS), une caméra HD pour prendre des photos et vidéos en direct et un bouton SOS pour alerter en cas de problème. Le modèle Pro dispose en plus de l’écran OUTDOOR AR™, qui affiche des informations comme l’altitude, la force du vent, la localisation de ses proches, les horaires des remontées mécaniques et la vitesse. Grâce à des boutons latéraux, l’utilisateur peut naviguer facilement d’une fonctionnalité à l’autre, même avec des gants.
Avec le Sirius, Ostloong Innovations veut réinventer le quotidien de chacun à travers l’utilisation de sa technologie OUTDOOR AR™, en modernisant le marché de l’outdoor et des sports d’hiver de glisse. Ce masque de ski ultra-performant, peu importe la météo, est le premier produit d’une série de nouvelles innovations.
J’ai effectué le test avec GPT-2 Output Detector, Content at Scale et GPTZero. Les deux premiers outils fournissent la probabilité (en %) que le texte provienne d’un humain ou non. GPTZero produit un score dit de perplexité (plus celui-ci est élevé, plus il est probable que le texte soit issu d’un humain). Mes résultats correspondent à ceux rapportés dans l’article de DigitalTrends. Aucun des outils n’a identifié le contenu de ChatGPT comme étant généré par une IA. GPT-2 Output Detector estime qu’il s’agit d’une IA avec une probabilité de 0,02%, soit le même score que mon propre article. GPTZero estime toutefois que le texte de ChatGPT est «moins humain» que le mien.
L