Selon les experts, une nouvelle étude montrant que les modèles d’apprentissage automatique sont spécifiques à une étude et difficiles à généraliser constitue une « mise en garde » concernant l’utilisation de l’IA en médecine.
Il y a de l’espoir que l’intelligence artificielle (IA) ait le potentiel d’améliorer le traitement médical en prédisant les résultats pour les patients, mais une nouvelle étude prévient que les modèles basés sur l’IA pourraient être limités.
Des chercheurs de l’Université de Cologne en Allemagne et de l’Université de Yale aux États-Unis ont analysé un modèle d’apprentissage automatique pour voir dans quelle mesure il prédisait les réponses des patients schizophrènes aux médicaments antipsychotiques.
Ce type de prédiction pourrait être très utile en médecine, et notamment en psychiatrie, car les patients réagissent différemment au traitement.
« Certaines personnes réagissent très bien aux médicaments et d’autres non, ce qui rend parfois difficile de soulager les symptômes le plus rapidement possible », Joseph Kambeitz, professeur de psychiatrie biologique à l’Université de Cologne et co-auteur de l’étude. étude, a déclaré à L’Observatoire de l’Europe Next.
« Souvent, les médecins et les professionnels de la santé ne disposent pas d’un bon moyen de prédire quel patient réagira bien à quel médicament », a-t-il déclaré.
Le résultat de ce problème est qu’il peut falloir beaucoup de temps pour trouver le meilleur traitement, ce que certains espèrent que les modèles d’IA changeront.
Mais les nouveaux résultats publiés dans la revue Science ont révélé que même si les modèles statistiques d’IA étaient très précis lorsqu’ils étaient entraînés et utilisés sur l’ensemble de données d’un essai spécifique, ils ne pouvaient pas être généralisés à d’autres études.
Cela suggère que l’apprentissage automatique « les modèles prédictifs sont fragiles et qu’une excellente performance dans un contexte clinique n’est pas un indicateur solide de performance sur les futurs patients », écrivent les auteurs.
Dessislava Pachamanova, professeur au Babson College aux États-Unis qui étudie l’analyse prédictive et l’apprentissage automatique, a déclaré que l’étude souligne plusieurs « limites importantes » à l’utilisation de ces modèles pour le traitement des patients et « fournit une mise en garde sur l’application de l’IA en médecine. en général ».
« L’un des principaux problèmes réside dans la nature des données médicales. Pour fonctionner correctement, les modèles d’IA ont besoin d’énormes quantités de données de haute qualité – et pourtant, la collecte de données sur le traitement des patients est coûteuse », a ajouté Pachamanova, qui n’a pas participé à l’étude.
« Les patients entrent et sortent souvent du système, reçoivent des traitements dans différents établissements et fournissent parfois des données erronées sur la manière dont ils suivent les recommandations du médecin. Leurs parcours complets sont difficiles à suivre et à relier à des résultats spécifiques », a-t-elle déclaré.
Comment les chercheurs ont-ils testé les modèles ?
Dans un test, les chercheurs ont entraîné et testé les modèles d’IA sur les mêmes données, tandis que dans un autre test, ils ont utilisé la « validation croisée » où ils ont divisé les données en sous-ensembles – entraînant un modèle d’IA sur un sous-ensemble et le testant plusieurs fois sur un autre.
Déjà, lorsqu’ils ont divisé les données en différents ensembles, ils ont constaté que le modèle fonctionnait « plutôt bien, mais déjà » moins bien que sans diviser les données.
Ils ont également testé les modèles de manière plus rigoureuse, en les formant sur les données d’une étude et en les testant sur les données d’une autre étude.
Ils ont constaté que « les modèles d’IA fonctionnent bien lorsque vous les utilisez dans le cadre d’une étude donnée, mais lorsque vous les retirez du contexte de cette étude, ils fonctionnent très mal », a déclaré Kambeitz.
Qu’est-ce que cela signifie pour l’utilisation future de l’IA pour prédire les résultats en matière de santé ?
Pachamanova a déclaré qu’il était nécessaire de mener davantage de recherches sur la manière d’améliorer la collecte de données et la fiabilité des modèles prédictifs pour le traitement médical.
« À long terme, l’IA sera essentielle pour générer le prochain niveau de progrès médical. Cependant, pour réaliser ce potentiel, il faudra un changement à l’échelle de l’industrie dans la manière dont les données médicales sont acquises, traitées, stockées et analysées par des modèles avancés », a-t-elle ajouté.
Kambeitz prédit quant à lui que ces modèles prédictifs, notamment en psychiatrie, ne seront pas utilisés en clinique avant longtemps.
Dans les domaines de la médecine où les données sont plus structurées et s’appuient moins sur les questionnaires des patients, l’application clinique de l’IA n’est peut-être pas si lointaine, a déclaré Kambeitz, mais en psychiatrie, « c’est plus loin, c’est-à-dire probablement plus de dix ans ».
Mais il ne doute pas que « cela finira par avoir un impact ».
