Une étude pionnière menée par l'Université d'État du Michigan révèle que les personnalités virtuelles créées par l'IA ne sont pas encore fiables pour détecter la tromperie humaine, ce qui démontre à la fois le potentiel et les limites importantes des capacités actuelles de la technologie de l'IA.
L'intelligence artificielle peut-elle détecter efficacement les mensonges ? Des chercheurs de l'Université d'État du Michigan ont entrepris une étude ambitieuse pour explorer cette question complexe, en examinant les capacités et les limites de l'IA pour déceler la tromperie humaine.
Publié Publiée dans le Journal of Communication, l'étude a porté sur 12 expériences impliquant plus de 19 000 participants IA, examinant dans quelle mesure les personnalités IA pouvaient différencier la vérité des mensonges proférés par des sujets humains.
« Cette recherche vise à comprendre dans quelle mesure l'IA peut aider à détecter les mensonges et à simuler des données humaines dans la recherche en sciences sociales, ainsi qu'à mettre en garde les professionnels lorsqu'ils utilisent de grands modèles de langage pour la détection des mensonges », a déclaré David Markowitz, auteur principal et professeur agrégé de communication au Collège des arts et des sciences de la communication de l'Université d'État du Michigan, dans un communiqué de presse.
Pour mener à bien leur analyse, les chercheurs ont utilisé la théorie de la vérité par défaut (TDT), qui suggère que les êtres humains ont généralement tendance à croire que les autres sont honnêtes, un trait considéré comme avantageux sur le plan de l'évolution.
La compréhension de ce « biais de vérité » naturel a fourni un point de référence pour comparer les réponses de détection de l'IA à celles des humains.
« Les humains ont un biais naturel de vérité : nous supposons généralement que les autres sont honnêtes, qu’ils le soient ou non », a ajouté Markowitz. « Cette tendance est considérée comme utile d’un point de vue évolutif, car douter constamment de tout le monde demanderait beaucoup d’efforts, compliquerait le quotidien et mettrait à rude épreuve les relations. »
L'étude a utilisé la plateforme de recherche Viewpoints AI, en présentant à des juges IA des supports audiovisuels et audio uniquement de sujets humains.
La tâche de l'IA consistait à déterminer la véracité des déclarations et à justifier ses décisions. Des variables telles que le type de média, le contexte, les taux de vrais et de faux positifs et les profils d'IA ont été manipulées afin d'évaluer leur influence sur la précision de la détection.
L'une des conclusions marquantes de cette recherche est que l'IA présente un biais en faveur du mensonge, obtenant des résultats nettement supérieurs pour identifier les mensonges (85.8 % de précision) que la vérité (19.5 % de précision). Bien que l'IA ait égalé les performances humaines en matière de détection du mensonge lors d'interrogatoires courts, elle s'en est écartée dans des contextes autres que l'interrogatoire, affichant un biais en faveur de la vérité similaire à celui des humains.
« Notre objectif principal était d'étudier l'intelligence artificielle en l'intégrant à des expériences de détection de mensonges. Dans cette étude, et avec le modèle utilisé, l'IA s'est révélée sensible au contexte, mais cela ne l'a pas rendue plus performante pour repérer les mensonges », a ajouté Markowitz.
Ces résultats soulignent que les capacités actuelles de l'IA sont loin d'égaler la précision humaine en matière de détection du mensonge. Cela soulève des questions cruciales quant aux limites actuelles de l'IA et à la nécessité de progrès considérables avant qu'elle puisse être utilisée efficacement pour de telles applications.
« Il est facile de comprendre pourquoi certains souhaiteraient utiliser l'IA pour détecter les mensonges : cela apparaît comme une solution de pointe, potentiellement équitable et sans doute impartiale. Mais nos recherches montrent que nous n'en sommes pas encore là », a conclu Markowitz. « Chercheurs et professionnels doivent encore réaliser d'importants progrès avant que l'IA puisse véritablement détecter les mensonges. »
Timothy Levine, de l'Université de l'Oklahoma, est co-auteur de l'étude.
Source: Michigan State University