Une étude soutient que les hallucinations dans les modèles de langage ne sont pas seulement des erreurs occasionnelles mais une caractéristique inévitable de ces systèmes. Les chercheurs démontrent dans l'étude que les hallucinations découlent de la structure mathématique et logique fondamentale des LLM. Il est donc impossible de les éliminer par des améliorations architecturales, des améliorations des ensembles de données ou des mécanismes de vérification des faits.

Leurs analyses s'appuient sur la théorie informatique et le premier théorème d'incomplétude de Gödel, qui fait référence à l'indécidabilité de problèmes tels que les problèmes de halte, de vide et d'acceptation. Les chercheurs affirment que chaque étape du processus LLM (de la compilation des données d'entraînement à la récupération des faits, à la classification des intentions et à la génération de textes) aura une probabilité non nulle de produire des hallucinations.

Dans l'étude, ils introduisent le concept d'"hallucinations structurelles" en tant que nature intrinsèque de ces systèmes. En d'autre terme, elles font partie intégrante de la structure mathématique et logique de tout modèle de langage à long terme. Toutes les hallucinations sont des hallucinations structurelles et ne peuvent jamais être éliminées des grands modèles de langage (LLM).

En examinant le processus de génération de sortie des LLM, quelle que soit la sophistication des modèles ou l'étendue des données d'apprentissage, chaque étape comporte une probabilité non nulle d'hallucination structurelle.