Des chatbots dangereux : Le professeur Stephen Gilbert demande que les chatbots d'IA soient approuvés en tant que dispositifs médicaux
Comment réglementer les grands modèles de langage en général et plus particulièrement dans le domaine de la santé ?
Les outils de chat génératifs basés sur le LLM, tels que ChatGPT ou MedPaLM de Google, ont un grand potentiel médical, mais leur utilisation non réglementée dans le domaine des soins de santé comporte des risques inhérents. Le nouvel article publié dans Nature Medicine par le professeur Stephen Gilbert et ses collègues aborde l'une des questions internationales les plus pressantes de notre époque : Comment réglementer les grands modèles de langage (LLM) en général et plus particulièrement dans le domaine de la santé.
"Les grands modèles de langage sont des modèles de langage de réseaux neuronaux dotés de remarquables compétences en matière de conversation. Ils génèrent des réponses semblables à celles des humains et s'engagent dans des conversations interactives. Cependant, ils génèrent souvent des déclarations très convaincantes qui sont vérifiablement fausses ou fournissent des réponses inappropriées. Aujourd'hui, il n'existe aucun moyen d'être certain de la qualité, du niveau de preuve ou de la cohérence des informations cliniques ou des preuves à l'appui d'une réponse. Ces chatbots sont des outils dangereux lorsqu'il s'agit de conseils médicaux et il est nécessaire de développer de nouveaux cadres qui garantissent la sécurité des patients", a déclaré le professeur Stephen Gilbert, professeur de science réglementaire des dispositifs médicaux au Centre Else Kröner Fresenius pour la santé numérique à l'Université technique de Dresde.
Les défis de l'approbation réglementaire des grands modèles de langage
La plupart des gens recherchent leurs symptômes en ligne avant de consulter un médecin. Les moteurs de recherche jouent un rôle dans le processus de prise de décision. L'intégration prochaine des chatbots LLM dans les moteurs de recherche pourrait accroître la confiance des utilisateurs dans les réponses données par un chatbot qui imite la conversation. Il a été démontré que les LLM peuvent fournir des informations profondément dangereuses lorsqu'on leur pose des questions d'ordre médical. L'approche sous-jacente du LLM n'a pas de modèle de "vérité de base" médicale, ce qui est dangereux. Les LLM interfacés par chat ont déjà fourni des réponses médicales dangereuses et ont déjà été utilisés de manière contraire à l'éthique dans le cadre d'"expériences" sur des patients sans leur consentement. Presque tous les cas d'utilisation des LLM médicaux nécessitent un contrôle réglementaire dans l'UE et aux États-Unis. Aux États-Unis, leur manque d'explicabilité les empêche d'être considérés comme des "non-dispositifs". Il n'existe pas actuellement de LLM explicables, peu biaisés, prévisibles, corrects et aux résultats vérifiables, et ils ne sont pas exemptés des approches actuelles (ou futures) en matière de gouvernance. Dans cet article, les auteurs décrivent les scénarios limités dans lesquels les LLM pourraient trouver une application dans les cadres actuels, ils décrivent comment les développeurs peuvent chercher à créer des outils basés sur les LLM qui pourraient être approuvés en tant que dispositifs médicaux, et ils explorent le développement de nouveaux cadres qui préservent la sécurité des patients. "Les chatbots LLM actuels ne répondent pas aux principes clés de l'IA dans les soins de santé, tels que le contrôle des préjugés, l'explicabilité, les systèmes de surveillance, la validation et la transparence. Pour gagner leur place dans l'arsenal médical, les chatbots doivent être conçus pour une meilleure précision, avec une sécurité et une efficacité clinique démontrées et approuvées par les régulateurs", conclut le professeur Gilbert.
Note: Cet article a été traduit à l'aide d'un système informatique sans intervention humaine. LUMITOS propose ces traductions automatiques pour présenter un plus large éventail d'actualités. Comme cet article a été traduit avec traduction automatique, il est possible qu'il contienne des erreurs de vocabulaire, de syntaxe ou de grammaire. L'article original dans Anglais peut être trouvé ici.
Publication originale
Autres actualités du département science
Recevez les dernières actualités du secteur des sciences de la vie
Ne manquez plus aucune actualité : notre newsletter consacrée aux biotechnologies, au secteur pharmaceutique et aux sciences de la vie vous informe tous les mardis et jeudis. Les dernières nouvelles du secteur, les produits phares et les innovations - de manière compacte et compréhensible dans votre boîte de réception. Recherché par nos soins, pour que vous n'ayez pas à le faire.
