Une étude menée par la WSU a révélé que si l’IA comme ChatGPT obtient de bons résultats aux examens de licence financière à choix multiples, elle rencontre des difficultés avec les tâches complexes et spécifiques. Les résultats suggèrent que l’IA est mieux adaptée comme outil d’assistance plutôt que comme substitut aux professionnels de la finance.
Alors que les systèmes d'intelligence artificielle comme ChatGPT imprègnent de plus en plus divers secteurs, une étude récente menée par l'Université de l'État de Washington met en évidence les limites importantes de la capacité de l'IA à remplacer les professionnels de la finance.
L'étude, publié Dans le Financial Analysts Journal, plus de 10,000 XNUMX réponses des modèles de langage d'IA BARD, Llama et ChatGPT aux questions d'examen financier ont été analysées.
Les chercheurs — Donald (DJ) Fairhurst, professeur associé de finance au Carson College of Business de la WSU, et Daniel Greene, professeur associé de finance Bill Short au Wilbur O. et Ann Powers College of Business de Clemson — ont cherché non seulement les bonnes réponses, mais aussi des explications détaillées pour évaluer la compréhension et le raisonnement de l'IA par rapport aux experts humains.
« Passer des examens de certification ne suffit pas. Nous devons vraiment creuser plus profondément pour comprendre ce que ces modèles peuvent réellement faire », a déclaré Fairhurst dans un communiqué. communiqué de presse.
Bien que ChatGPT, en particulier sa version payante 4.0, ait démontré des performances supérieures en fournissant des réponses précises et humaines, il n'a toujours pas été à la hauteur dans des scénarios plus spécialisés.
« Pour les concepts généraux pour lesquels il existe depuis longtemps de bonnes explications sur Internet, ChatGPT peut faire un très bon travail de synthèse de ces concepts. S'il s'agit d'un problème spécifique et idiosyncratique, il va vraiment avoir du mal », a ajouté Fairhurst.
L'étude a utilisé des questions issues de divers examens de licence, notamment les séries 6, 7, 65 et 66, qui reflètent les tâches réelles effectuées par les professionnels de la finance. Les modèles d'IA ont montré une grande précision dans des domaines tels que les transactions sur titres et le suivi des tendances du marché. Cependant, ils ont eu du mal à résoudre des problèmes plus complexes, tels que la détermination de la couverture d'assurance et du statut fiscal des clients.
Fairhurst et Greene ont également expérimenté le réglage fin de ChatGPT 3.5 en lui fournissant des exemples de réponses et d'explications correctes, ce qui a considérablement amélioré sa précision, rivalisant avec celle de ChatGPT 4.0.
Les recherches se poursuivent alors que l'équipe, dont fait partie Adam Bozman, doctorant à la WSU, explore d'autres tâches financières telles que l'évaluation d'éventuelles fusions. Étant donné que les données de formation de ChatGPT ne remontent qu'à septembre 2021, ils les testent par rapport aux résultats connus des transactions conclues après cette date. Les premiers résultats suggèrent que le modèle d'IA est moins performant dans ce domaine, réaffirmant l'idée que l'IA n'est pas encore prête pour une prise de décision financière complexe.
Les implications de ces résultats suggèrent que l’IA, bien qu’elle soit un outil puissant, est mieux utilisée pour aider les professionnels de la finance expérimentés plutôt que pour les remplacer.
« Il est bien trop tôt pour s'inquiéter du fait que ChatGPT prenne entièrement le relais dans le secteur financier », a ajouté Fairhurst.
Toutefois, l’essor de l’IA pourrait transformer la structure des postes de débutant dans les banques d’investissement.
« La pratique consistant à embaucher un groupe de personnes en tant qu'analystes juniors, à les laisser concourir et à garder les gagnants, devient beaucoup plus coûteuse. Cela peut donc signifier une baisse de ce type d'emplois, mais ce n'est pas parce que ChatGPT est meilleur que les analystes, c'est parce que nous avons demandé aux analystes juniors d'effectuer des tâches plus subalternes », a ajouté Fairhurst.
L’IA continue d’évoluer et le débat autour de son rôle dans le secteur financier va sans doute perdurer. Cette étude marque une étape cruciale dans la compréhension du potentiel et des limites des technologies d’IA comme ChatGPT dans les professions spécialisées.