Chatbots peligrosos: El profesor Stephen Gilbert pide que los chatbots de IA se aprueben como dispositivos médicos

¿Cómo regular los Grandes Modelos Lingüísticos (LLM) en general y específicamente en sanidad?

04.07.2023 - Alemania

Imagen simbólica

Computer-generated image

Las herramientas de chat generativo basadas en LLM, como ChatGPT o MedPaLM de Google, tienen un gran potencial médico, pero su uso no regulado en la atención sanitaria conlleva riesgos inherentes. El nuevo artículo publicado en Nature Medicine por el profesor Stephen Gilbert, et. al. aborda uno de los problemas internacionales más acuciantes de nuestro tiempo: Cómo regular los grandes modelos lingüísticos (LLM) en general y específicamente en la sanidad.

"Los LLM son modelos lingüísticos de redes neuronales con notables habilidades conversacionales. Generan respuestas similares a las humanas y participan en conversaciones interactivas. Sin embargo, a menudo generan afirmaciones muy convincentes que son verificablemente erróneas o proporcionan respuestas inapropiadas. Hoy en día no hay forma de estar seguros de la calidad, el nivel de evidencia o la coherencia de la información clínica o las pruebas que respaldan cualquier respuesta. Estos chatbots son herramientas inseguras cuando se trata de asesoramiento médico y es necesario desarrollar nuevos marcos que garanticen la seguridad del paciente", dijo el profesor Stephen Gilbert, catedrático de Ciencia Reguladora de Dispositivos Médicos en el Centro Else Kröner Fresenius de Salud Digital de la Universidad Técnica de Dresde.

Desafíos en la aprobación reglamentaria de grandes modelos lingüísticos

La mayoría de las personas investigan sus síntomas en Internet antes de buscar consejo médico. Los motores de búsqueda desempeñan un papel en el proceso de toma de decisiones. La próxima integración de chatbots LLM en los motores de búsqueda puede aumentar la confianza de los usuarios en las respuestas dadas por un chatbot que imita una conversación. Se ha demostrado que los LLM pueden proporcionar información profundamente peligrosa cuando se les plantean preguntas médicas. El enfoque subyacente de los LLM no tiene un modelo de "verdad básica" médica, lo cual es peligroso. Los LLM con interfaz de chat ya han proporcionado respuestas médicas dañinas y ya se han utilizado de forma poco ética en "experimentos" con pacientes sin consentimiento. Casi todos los casos de uso de LLM médicos requieren un control normativo en la UE y EE.UU.. En EE.UU., su falta de explicabilidad los descalifica como "no dispositivos". Los LLM con capacidad de explicación, bajo sesgo, previsibilidad, corrección y resultados verificables no existen en la actualidad y no están exentos de los enfoques de gobernanza actuales (o futuros). En este artículo los autores describen los limitados escenarios en los que los LLMs podrían encontrar aplicación bajo los marcos actuales, describen cómo los desarrolladores pueden intentar crear herramientas basadas en LLMs que podrían ser aprobadas como dispositivos médicos, y exploran el desarrollo de nuevos marcos que preserven la seguridad del paciente. "Los actuales chatbots LLM no cumplen principios clave para la IA en la atención sanitaria, como el control de sesgos, la explicabilidad, los sistemas de supervisión, la validación y la transparencia. Para ganarse su lugar en el arsenal médico, los chatbots deben diseñarse para una mayor precisión, con seguridad y eficacia clínica demostradas y aprobadas por los reguladores", concluye el profesor Gilbert.

Nota: Este artículo ha sido traducido utilizando un sistema informático sin intervención humana. LUMITOS ofrece estas traducciones automáticas para presentar una gama más amplia de noticias de actualidad. Como este artículo ha sido traducido con traducción automática, es posible que contenga errores de vocabulario, sintaxis o gramática. El artículo original en Inglés se puede encontrar aquí.