Hallucinations IA - Quand ChatGPT et Cie nous mentent

En général, quand on interagit avec un outil d’intelligence artificielle générative, on s’attend à ce qu’il fournisse une réponse cohérente et adaptée à la demande formulée. Pourtant, il arrive parfois que le système génère des informations erronées, qui ne reposent ni sur les données sur lesquelles il a été entraîné, ni sur une logique clairement identifiable. Ce phénomène, où l’IA invente ou déforme des éléments, est couramment désigné sous le terme d’hallucination.

‍

Même les géants comme GPT-4o et Claude 3.5 Sonnet ne sont pas épargnés. Tous ces modèles présentent des taux d'erreur qui peuvent surprendre les utilisateurs les plus confiants. Découvrez les hallucinations des intelligences artificielles. 

‍

Que sont les hallucinations IA ? 

‍

Les hallucinations IA sont des moments où les modèles de langage génèrent des informations inexactes ou totalement imaginaires. Contrairement aux idées reçues, ChatGPT et ses semblables ne consultent pas une gigantesque base de données pour trouver la réponse parfaite. Ces systèmes fonctionnent plutôt comme des "rêveurs mathématiques" qui prédisent les mots suivants grâce aux liens statistiques créés durant leur entraînement sur des millions de textes. 

‍

Résultats ? Les IA perçoivent des motifs invisibles et créent des connexions parfois fantaisistes entre les concepts. Elles produisent ainsi des réponses qui semblent plausibles, mais sont en réalité... complètement inventées. 

‍

Et ce n’est pas un fait anodin. Les hallucinations des IA sont monnaie courante la majorité du temps. Même les modèles les plus avancés ne dépassent pas la barre des 50% de réponses correctes. Lors du test SimpleAQ comportant 4000 questions factuelles, OpenAI o1-preview présente un taux de bonne réponse de 47%, 44,5% pour Claude 3.5 Sonnet et 38 % pour GPT-4o. 

‍

‍

Quelles sont les principales erreurs commises par les IA ?

‍

Les modèles d'intelligence artificielle, aussi sophistiqués soient-ils, sont loin d'être infaillibles. Et certaines erreurs se répètent, inlassablement. Voici les sources d'hallucinations IA les plus courantes. 

‍

Les fausses citations et références scientifiques

‍

Vous avez besoin d'appuyer votre argumentation sur des sources crédibles ? Attention ! Les IA excellent à inventer des citations qui n'existent pas et des références bibliographiques totalement imaginaires. Une étude révèle que GPT-4 présente un taux d'erreur atteignant plus de 28% sur les citations scientifiques. 

‍

De son côté, Perplexity présente un taux alarmant de "sur-confiance". L’IA affirme avec certitude des informations non vérifiées. Une étude de l'Université de Pennsylvanie révèle que 30% des affirmations fournies ne sont pas soutenues par les sources citées. 

‍

‍

Les erreurs factuelles sur les biographies

‍

Les chatbots créent régulièrement des détails fictifs concernant les personnalités, surtout les moins médiatisées. Dates de naissance erronées, accomplissements inventés ou relations familiales imaginaires. Ces informations semblent plausibles, mais sont souvent purement fabriquées par le modèle qui tente de compléter les zones floues de sa connaissance.

‍

Ces hallucinations IA sont particulièrement dangereuses, car elles apparaissent souvent dans un format très convaincant.

‍

Les calculs et statistiques approximatifs

‍

Les modèles de langage performent remarquablement mal sur les opérations mathématiques complexes et l'analyse de données statistiques. Dans 51% des cas, les réponses aux questions de programmation impliquant des calculs contiennent des erreurs. Cette faiblesse s'explique par leur architecture qui privilégie les associations textuelles plutôt que la rigueur mathématique.

‍

L'interprétation trompeuse des documents PDF

‍

Tandis que vos yeux perçoivent parfaitement tableaux et infographies dans un PDF, votre chatbot n'en voit souvent que la retranscription textuelle. Il ignore complètement les éléments visuels et peut inventer des interprétations totalement farfelues pour combler ces lacunes. 

‍

Par exemple, Gemini peut créer des analyses détaillées d'un tableau qu'il est incapable de lire réellement ! Actuellement, seul Claude avec sa fonction "Visual PDF” peut véritablement analyser ces contenus visuels correctement.

‍

Les défaillances des recherches augmentées

‍

La technologie RAG (Retrieval Augmented Generation) promet de réduire les hallucinations des IA en recherchant des informations précises dans vos documents. Mais attention aux illusions. Le découpage des documents en fragments peut faire oublier à l'IA des informations cruciales. 

‍

Plus inquiétant encore : nous vérifions six fois moins les sources proposées par ces IA que celles de Google, nous exposant davantage à ces erreurs !

‍

Comment faire face aux hallucinations des IA ?

‍

Face aux illusions créées par l'intelligence artificielle, des solutions existent pour garantir la fiabilité des informations. Découvrez les stratégies pratiques pour maîtriser ces outils sans tomber dans leurs pièges.

‍

Encadrez l'IA avec vos données vérifiées

‍

La méthode la plus efficace ? Transformer l'IA en analyste plutôt qu'en créateur ! 

‍

Placez vos propres informations entre triples guillemets (""") avant de formuler votre demande d'analyse. 

‍

Par exemple : """[VOS DONNÉES]""" suivi de "Résume les 3 points essentiels de ce texte". Cette technique réduit considérablement le risque d'invention puisque l'IA travaille exclusivement sur des contenus que vous avez validés.

‍

Imposez un format de réponse vérifiable

‍

Structurez vos requêtes pour forcer l'IA à justifier ses affirmations. Ajoutez cette instruction : "Pour chaque information fournie, cite l'extrait précis du document avec son numéro de page". Cette contrainte vous permet d'identifier les fabrications et incite l'IA à s'appuyer uniquement sur des éléments concrets plutôt que sur des suppositions.

‍

Adaptez votre vigilance selon le contenu

‍

Certains types d'informations exigent une prudence accrue : statistiques récentes, détails biographiques, références scientifiques et analyses visuelles. 

‍

Pour les PDF contenant des graphiques, privilégiez les outils spécialisés, comme Claude avec sa fonction "Visual PDF". 

‍

La règle d'or ? Plus l'information est critique ou spécifique, plus votre vérification doit être rigoureuse.

‍

Testez régulièrement la fiabilité de votre outil

‍

Évaluez périodiquement votre IA avec des questions dont vous connaissez déjà la réponse. Cette méthode vous permettra d'identifier ses points faibles et d'adapter vos attentes. 

‍

Les modèles évoluent constamment. Ce qui fonctionnait hier peut générer des hallucinations IA aujourd'hui. Un test mensuel sur divers types de requêtes vous aidera à maintenir une utilisation optimale.

‍

Exploitez les recherches multilingues

‍

Un secret méconnu : demandez à votre IA de rechercher en anglais même si vous interagissez en français. Cette simple astuce multiplie les sources consultées et vous donne accès à des données plus fraîches et souvent plus précises. Formulez votre demande ainsi : "Fais tes recherches en anglais, mais synthétise les résultats en français". Vous bénéficiez alors d'une couverture informationnelle nettement supérieure.

‍

Établissez un équilibre coût-bénéfice

‍

Pour chaque recherche, posez-vous cette question essentielle : "Le temps de vérification nécessaire et l'empreinte carbone générée justifient-ils l'utilisation de l'IA ?" 

‍

Cette réflexion vous guidera vers un usage rationnel et efficace, réservant ces outils aux situations où ils apportent une réelle valeur ajoutée sans compromettre la fiabilité de votre travail.

‍

Et pour éviter de tomber dans le piège des hallucinations IA, formez-vous à ces outils ! Avec l’École Cube, vous apprendrez à formuler des prompts efficaces, à vérifier intelligemment les informations générées et à exploiter pleinement le potentiel de l'intelligence artificielle sans vous faire avoir par ses illusions.