Dois programas de IA, incluindo o ChatGPT, foram aprovados no US Medical Licensing Examination (USMLE), de acordo com pesquisas recentes. Os documentos discutiram diferentes métodos de uso de modelos de linguagem grandes para fazer o USMLE, que inclui três exames: Step 1, Step 2 CK e Step 3. ChatGPT, desenvolvido pela OpenAI, é um modelo de IA de linguagem que gera texto semelhante ao humano com base em solicitações dos usuários. Ele ganhou popularidade por seu uso potencial na prática clínica, mas os resultados foram mistos.
Como a IA se saiu no USMLE?
Em um artigo medRxiv de dezembro, pesquisadores da Ansible Health, na Califórnia, avaliaram o desempenho do ChatGPT no USMLE sem nenhum treinamento ou preparação adicional. Os resultados mostraram que o ChatGPT foi capaz de ter uma precisão superior a 50% em todos os exames e alcançou 60% de precisão na maioria das análises. Os autores observaram que, embora o limite de aprovação do USMLE varie de ano para ano, normalmente fica em torno de 60%.
“O ChatGPT teve um desempenho igual ou próximo ao limite de aprovação em todos os três exames sem nenhum treinamento ou reforço especializado”, disse o relatório, acrescentando que o modelo de IA demonstrou “um alto nível de concordância e percepção em suas explicações”.
“Esses resultados sugerem que grandes modelos de linguagem podem ter o potencial de auxiliar na educação médica e, potencialmente, na tomada de decisões clínicas”, disse o relatório.
Flan-PaLM também marcou bem no USMLE
Curiosamente, em um artigo arXiv de dezembro, outro grande modelo de linguagem chamado Flan-PaLM foi avaliado no USMLE. A principal diferença entre o Flan-PaLM e o modelo do primeiro artigo é que o Flan-PaLM foi fortemente modificado usando um banco de dados de respostas a perguntas médicas chamado MultiMedQA antes de fazer os exames, disseram pesquisadores, incluindo Vivek Natarajan, pesquisador de IA. O modelo alcançou 67,6% de precisão nas respostas às perguntas do USMLE, cerca de 17 pontos percentuais a mais do que o melhor desempenho anterior usando o PubMed GPT.
As ferramentas de IA devem ser usadas na área médica?
De acordo com Natarajan e sua equipe, grandes modelos de linguagem “apresentam uma oportunidade significativa para repensar o desenvolvimento da IA médica e torná-la mais fácil, segura e equitativa de usar”.
Recentemente, o ChatGPT e outros modelos de IA foram identificados como autores de artigos publicados no PubMed, discutindo as várias aplicações dessa tecnologia na medicina. No entanto, nem todos estão convencidos de que esta é uma boa ideia.
Uma preocupação sobre o uso de programas de IA em pesquisa é se eles podem realmente fazer contribuições significativas para um artigo, enquanto outra questão é que as ferramentas de IA não podem fornecer consentimento para ser um coautor. O editor de um dos jornais que listou o ChatGPT como autor afirmou que foi um erro e que seria corrigido, segundo artigo da Nature. Apesar disso, os pesquisadores publicaram vários artigos mostrando o uso potencial desses programas de IA na educação médica, pesquisa e tomada de decisões clínicas.
Natrajan e sua equipe discordam. Eles acreditam que as ferramentas de IA podem contribuir significativamente para o campo médico e esperam que suas descobertas ajudem a “iniciar mais conversas e colaborações entre pacientes, consumidores, pesquisadores de IA, médicos, cientistas sociais, especialistas em ética, formuladores de políticas e outras pessoas interessadas, a fim de traduzir essas descobertas iniciais de pesquisas para melhorar a saúde.”
Para mais notícias sobre tecnologia, análises de produtos, recursos e atualizações de tecnologia científica, continue lendo Digit.in ou acesse nossa página do Google Notícias.
Com informações de Digit Magazine.