En undersøgelse offentliggjort i BMJ Open har analyseret fem udbredte chatbots og deres svar på medicinske spørgsmål.
Ifølge studiet blev omkring halvdelen af svarene vurderet som problematiske, mens en mindre andel var direkte alvorlige fejl.
Kun et fåtal af spørgsmål blev afvist af systemerne.
Resultaterne viste desuden, at præstationen varierede efter emne.
Læs også: Analyse af 18 studier finder øget risiko for slagtilfælde hos personer med langvarige smerter
Områder med solid forskningsbase, som kræft og vacciner, gav færre fejl, mens ernæring og træning oftere førte til upræcise svar, ifølge The Conversation.
Problemer med kilder
En central udfordring ligger i brugen af referencer. Studiet dokumenterer, at henvisninger ofte var mangelfulde eller misvisende.
Den gennemsnitlige fuldstændighed af referencer lå på omkring 40 procent, og ingen chatbot leverede konsekvent korrekte kildelister.
Ifølge forskerne kan dette være særligt problematisk, da strukturerede referencer kan give et indtryk af troværdighed, selv når indholdet ikke er verificeret.
Læs også: Sådan kan appelsinjuice påvirke din krop, hvis du drikker det ofte
Samtidig blev åbne spørgsmål identificeret som en væsentlig risikofaktor, da de oftere førte til misvisende svar.
Menneskets rolle
Andre studier underbygger billedet. Forskning fra Nature Medicine viser, at chatbots ofte kan generere korrekte svar, men at brugere kun opnår rigtige konklusioner i under en tredjedel af tilfældene.
Tilsvarende viser analyser fra Jama Network Open og Communication Medicine, at modellerne enten overser diagnoser eller viderefører fejlagtige begreber.
Samlet set peger resultaterne på, at udfordringen ikke kun ligger i teknologien, men i samspillet mellem system og bruger.
Læs også: Er du træt af kartofler? Så prøv denne glemte rodfrugt
Chatbots kan fungere som et supplement til informationssøgning, men bør ikke anvendes som selvstændige medicinske autoriteter.
Kilder: The Conversation, BMJ Open, Nature Medicine, Jama Network Open og Communications Medicine.