Ayers J. W., Poliak A., Dredze M., Leas EC., Zhu Z., Kelley JB., ... & Smith, D. M. (2023). Comparing physician and artificial intelligence Chatbot responses to patient questions posted to a public social media forum. JAMA Internal Medicine. 2023;183(6):589-596.
Une intéressante étude de collègues californiens s’intéresse à de nouveaux systèmes de contact intelligents avec les patients pour suppléer, particulièrement en zones rurales, à un accès médical et à des demandes de conseils.
Ces systèmes peuvent proposer des réponses sur le fond et avec l’empathie nécessaire aux demandes des patients, réponses qui peuvent être validées par relecture de professionnels.
L’étude porte sur un dérivé du produit ChatGPT appelé AI chatbot, mis à disposition des patients en 2022 avec cet objectif sélectif de répondre à des demandes de patients.
Cet outil intelligent a appris l’empathie et la forme d’une base de réponses de médecins, puis a appris le fond sur une base de données médicales, de sorte à devenir de plus en plus autonome sur des questions qu’il n’avait jamais entendues auparavant.
Finalement, un corpus randomisé de 195 réponses aux patients proposées à la fois par des médecins et par cette machine a été par la suite soumis à des professionnels, qui devaient évaluer la qualité comparative de chaque réponse en double aveugle sur une échelle de 1 à 5 (pertinence, empathie).
Les évaluateurs ont préféré la réponse de la machine dans 78,6 % des cas. Les réponses des médecins sont en moyenne plus courtes que celles de la machine (52 [17-62] mots vs 211 [168-245]; t = 25.4; P < .001). La qualité sur le fond des réponses de la machine est notée en moyenne plus haute que celle des médecins, avec au total une considération que le système répond 3,6 fois mieux que le médecin sur le fond. Les mêmes résultats sont observés sur le versant empathie et forme de la réponse, au point que l’empathie est jugée près de 10 fois meilleure avec la machine qu’avec le médecin.
Ces résultats sont impressionnants, dans la lignée de la qualité des réponses du système Chat GPT quand il est appliqué à un univers bien défini. Le futur devra sans doute incorporer ce savoir, particulièrement à un moment de tension majeure des effectifs médicaux.
Nous ne sommes plus très loin d’un service médical de téléconsultation IA, et le pire est qu’il risque de procurer plus de satisfaction qu’un service humain aux abonnés absents…