O ChatGPT passou por uma prova de fogo e não obteve bons resultados. Um novo estudo, publicado pela JAMA Network, dos Estados Unidos, propôs que o chatbot de Inteligência Artificial (IA) avaliasse casos médicos pediátricos e desse um diagnóstico. E a IA errou em 83% dos casos.
Como o estudo foi realizado
Para a realização do estudo, os pesquisadores reuniram 100 casos médicos pediátricos publicados entre 2013 e 2023. As avaliações foram feitas usando o GPT-4, um dos modelos mais avançados atualmente, que pode ser encontrado na versão paga do ChatGPT e nas versões gratuitas e pagas do Copilot.
Cada avaliação feita pela IA foi revisada por um grupo de pesquisadores, que classificou as respostas como corretas, erradas ou incompletas. Dos 100 casos avaliados, o ChatGPT deu respostas corretas a apenas 17 deles. A IA obteve 11 respostas incompletas e errou o diagnósticos nos demais 83 casos.
Mas por que o ChatGPT errou tanto?
Quando questionados sobre a baixa taxa de 17% de acerto da OpenAI no estudo, os pesquisadores defenderam dois possíveis motivos. Um deles foi o baixo acesso que a IA tem a dados de saúde. Segundo os investigadores, as taxas de acertos mudariam caso a IA fosse treinada com mais relatórios médicos, por exemplo.
A outra razão seria a faixa etária dos pacientes, uma vez que casos pediátricos podem apresentar sintomas não explicados com clareza. Em outro estudo, publicado pelo New England Journal of Medicine, por exemplo, o ChatGPT obteve 39% de sucesso no diagnósticos de pacientes adultos.
Os resultados da nova pesquisa, contudo, destacam mais uma vez o caráter de ferramenta complementar que os chatbots com grandes modelos de linguagem (LLMs) devem ter em vários contextos. Na área da saúde, a IA promete ainda desempenhar um grande papel no futuro.
Para isso, inclusive, há IAs sendo desenvolvidas especificamente para o contexto de saúde, sendo treinadas com dados específicos de determinada área. E mesmo esses casos não dispensa o trabalho e a avaliação humana.
FIQUE POR DENTRO!
