Des ingénieurs de l'UC San Diego ont dévoilé une nouvelle technique qui permet aux grands modèles linguistiques d'apprendre de nouvelles tâches avec beaucoup moins de données et de puissance de calcul, démocratisant potentiellement l'utilisation de l'IA.
Des chercheurs de l'Université de Californie à San Diego ont dévoilé une approche innovante pour personnaliser les grands modèles de langage (LLM), moteurs des chatbots et des outils de séquençage des protéines. Cette méthode révolutionnaire réduit considérablement les données et la puissance de calcul nécessaires à ces adaptations, rendant potentiellement l'IA avancée plus accessible.
Les LLM se composent de milliards de paramètres qui façonnent la manière dont ils interprètent et traitent les informations.
Traditionnellement, l'affinement de ces modèles implique l'ajustement de tous ces paramètres, un processus à la fois coûteux et sujet au surapprentissage. Le surapprentissage se produit lorsqu'un modèle mémorise des schémas spécifiques au lieu de les comprendre, ce qui entraîne de mauvaises performances sur les nouveaux exemples.
La méthode innovante des ingénieurs de l'UC San Diego rationalise ce processus en mettant à jour uniquement les parties les plus essentielles d'un LLM, évitant ainsi la nécessité de recycler l'ensemble du modèle à partir de zéro.
Cette approche permet non seulement de réduire les coûts, mais aussi d’améliorer la flexibilité du modèle et sa capacité à généraliser l’apprentissage à différentes tâches.
« Grâce à notre méthode, même les petits laboratoires et les startups ne disposant pas de budgets colossaux, de ressources dignes d'un supercalculateur ou de vastes bases de données peuvent adapter de grands modèles d'IA à leurs propres besoins », a déclaré Pengtao Xie, professeur au Département de génie électrique et informatique de la Jacobs School of Engineering de l'UC San Diego, dans un communiqué de presse. « Ce travail représente un pas en avant vers la démocratisation de l'IA. »
L’équipe a démontré sa méthode sur des modèles de langage protéique, des outils essentiels pour étudier et prédire les propriétés des protéines.
Par exemple, la nouvelle technique a permis de prédire avec une plus grande précision si les peptides peuvent traverser la barrière hémato-encéphalique, tout en utilisant 326 fois moins de paramètres que les méthodes conventionnelles. De même, elle a atteint des performances comparables à celles d'un réglage fin complet pour prédire la thermostabilité des protéines, tout en utilisant 408 fois moins de paramètres.
La méthode, publié dans Transactions on Machine Learning Research, est prometteur pour une variété d'applications au-delà de la modélisation des protéines, englobant tout domaine qui s'appuie sur les LLM.