Les scientifiques du MIT ont découvert pourquoi les grands modèles linguistiques favorisent les débuts et les fins dans les textes, proposant de nouveaux cadres pour éliminer ce biais, améliorant considérablement les performances de l'IA dans de nombreux domaines.
Des chercheurs du MIT ont découvert une faille critique dans les grands modèles linguistiques (LLM) : ils privilégient les informations situées au début et à la fin des documents, négligeant ainsi le milieu. Cette tendance, appelée « biais de position », a été identifiée grâce à un cadre théorique innovant visant à améliorer la fiabilité et la précision de ces modèles.
Concrètement, ce biais pourrait signifier qu'un assistant virtuel parcourant un long document juridique pourrait passer à côté d'informations cruciales si celles-ci se trouvent enfouies au milieu. Ce biais résulte de la manière dont ces modèles traitent les données d'entrée, ce qui pourrait entraîner des incohérences dans diverses applications.
« Ces modèles sont des boîtes noires. En tant qu'utilisateur d'un LLM, vous ignorez probablement qu'un biais de positionnement peut rendre votre modèle incohérent. Il vous suffit d'insérer vos documents dans l'ordre souhaité et de vous attendre à ce qu'il fonctionne. Mais en comprenant mieux le mécanisme sous-jacent de ces modèles de boîtes noires, nous pouvons les améliorer en remédiant à ces limitations », a déclaré Xinyi Wu, auteur principal et doctorant à l'Institute for Data, Systems and Society (IDSS) et au Laboratory for Information and Decision Systems (LIDS) du MIT, dans un communiqué de presse.
Décoder les préjugés
Les LLM, comme GPT-4 et Claude, s'appuient sur une architecture de réseau neuronal appelée transformateur. Ces transformateurs utilisent un mécanisme appelé attention, qui aide le modèle à comprendre le contexte en se concentrant sur les mots apparentés au sein d'une séquence.
Cependant, les chercheurs ont découvert que les choix de conception dans la manière dont ces modèles traitent les données, tels que l’utilisation de masques d’attention et d’encodages positionnels, contribuent au biais de position.
La étude L'équipe a utilisé un cadre graphique pour analyser ces éléments de conception. Grâce à ses recherches, elle a découvert que le masquage causal, une méthode utilisée pour limiter l'attention aux mots précédents, biaise intrinsèquement le modèle en faveur des mots initiaux, même si ces derniers sont moins importants.
« Les graphiques sont un langage flexible permettant de décrire la relation de dépendance entre les mots au sein du mécanisme d'attention et de les tracer sur plusieurs couches », a ajouté Wu.
Ces biais peuvent être préjudiciables, en particulier dans les applications extérieures à la génération de langage naturel, comme la recherche d’informations ou le classement.
« Bien qu’il soit souvent vrai que les premiers et les derniers mots d’une phrase sont plus importants, si un LLM est utilisé sur une tâche qui n’est pas la génération de langage naturel, comme le classement ou la recherche d’informations, ces biais peuvent être extrêmement nuisibles », a ajouté Wu.
Perspectives expérimentales et orientations futures
Pour explorer davantage ce phénomène, les chercheurs ont mené des expériences en faisant varier la position de la bonne réponse dans des séquences de texte.
Ils ont observé une tendance à la « perte au milieu », où le modèle fonctionnait mieux lorsque les informations cibles se trouvaient au début ou à la fin d’une séquence, vacillant au milieu.
Leurs résultats suggèrent que l’ajustement de la conception, comme l’utilisation de techniques de masquage alternatives ou la minimisation des couches supplémentaires dans le mécanisme d’attention, peut atténuer ce biais et améliorer la précision du modèle.
« En combinant théorie et expérimentation, nous avons pu examiner les conséquences de choix de conception de modèles qui n'étaient pas encore clairs. Pour utiliser un modèle dans des applications à enjeux élevés, il est essentiel de savoir quand il fonctionnera, quand il ne fonctionnera pas et pourquoi », a ajouté Ali Jadbabaie, co-auteur principal, professeur et directeur du département de génie civil et environnemental, membre du corps professoral de l'IDSS et chercheur principal du LIDS.
Ensuite, l’équipe vise à approfondir les effets des codages positionnels et à explorer comment le biais de position pourrait être avantageux dans certaines applications.
Impact et importance
Cette avancée a de vastes implications. L'amélioration des LLM pourrait déboucher sur des chatbots plus fiables, des systèmes d'IA médicale plus justes et des assistants de codage plus attentifs.
En s’attaquant au biais de position, cette recherche contribue à rendre les LLM plus robustes et fiables dans divers domaines.
La recherche sera présentée à la Conférence internationale sur l’apprentissage automatique.