Estudo testa ChatGPT para diagnósticos de pediatria e IA erra 83%

Sabryna Esmeraldo
Sabryna Esmeraldo

O ChatGPT passou por uma prova de fogo e não obteve bons resultados. Um novo estudo, publicado pela JAMA Network, dos Estados Unidos, propôs que o chatbot de Inteligência Artificial (IA) avaliasse casos médicos pediátricos e desse um diagnóstico. E a IA errou em 83% dos casos.

Como o estudo foi realizado

ChatGPT
Imagem: Shutterstock / Juicy FOTO

Para a realização do estudo, os pesquisadores reuniram 100 casos médicos pediátricos publicados entre 2013 e 2023. As avaliações foram feitas usando o GPT-4, um dos modelos mais avançados atualmente, que pode ser encontrado na versão paga do ChatGPT e nas versões gratuitas e pagas do Copilot.

Cada avaliação feita pela IA foi revisada por um grupo de pesquisadores, que classificou as respostas como corretas, erradas ou incompletas. Dos 100 casos avaliados, o ChatGPT deu respostas corretas a apenas 17 deles. A IA obteve 11 respostas incompletas e errou o diagnósticos nos demais 83 casos.

Mas por que o ChatGPT errou tanto?

IA saúde
Imagem: Shutterstock / PopTika

Quando questionados sobre a baixa taxa de 17% de acerto da OpenAI no estudo, os pesquisadores defenderam dois possíveis motivos. Um deles foi o baixo acesso que a IA tem a dados de saúde. Segundo os investigadores, as taxas de acertos mudariam caso a IA fosse treinada com mais relatórios médicos, por exemplo.

A outra razão seria a faixa etária dos pacientes, uma vez que casos pediátricos podem apresentar sintomas não explicados com clareza. Em outro estudo, publicado pelo New England Journal of Medicine, por exemplo, o ChatGPT obteve 39% de sucesso no diagnósticos de pacientes adultos.

Os resultados da nova pesquisa, contudo, destacam mais uma vez o caráter de ferramenta complementar que os chatbots com grandes modelos de linguagem (LLMs) devem ter em vários contextos. Na área da saúde, a IA promete ainda desempenhar um grande papel no futuro.

Para isso, inclusive, há IAs sendo desenvolvidas especificamente para o contexto de saúde, sendo treinadas com dados específicos de determinada área. E mesmo esses casos não dispensa o trabalho e a avaliação humana.

FIQUE POR DENTRO!

Sabryna Esmeraldo
Sabryna Esmeraldo
Jornalista há mais de 10 anos, a Sabryna se especializou produzindo matérias e tutoriais sobre aplicativos e tecnologia. Consumidora ávida de streamings e redes sociais, adora descobrir as novidades deste mundo.
recomenda: