En undersøgelse offentliggjort i BMJ Open har analyseret fem udbredte chatbots og deres svar på medicinske spørgsmål.
Ifølge studiet blev omkring halvdelen af svarene vurderet som problematiske, mens en mindre andel var direkte alvorlige fejl.
Kun et fåtal af spørgsmål blev afvist af systemerne.
Resultaterne viste desuden, at præstationen varierede efter emne.
Læs også: Sådan beskytter du dig mod røg fra naturbrande
Områder med solid forskningsbase, som kræft og vacciner, gav færre fejl, mens ernæring og træning oftere førte til upræcise svar, ifølge The Conversation.
Problemer med kilder
En central udfordring ligger i brugen af referencer. Studiet dokumenterer, at henvisninger ofte var mangelfulde eller misvisende.
Den gennemsnitlige fuldstændighed af referencer lå på omkring 40 procent, og ingen chatbot leverede konsekvent korrekte kildelister.
Ifølge forskerne kan dette være særligt problematisk, da strukturerede referencer kan give et indtryk af troværdighed, selv når indholdet ikke er verificeret.
Læs også: En tur i svømmehallen kan gøre en stor forskel for din ryg, viser nyt studie
Samtidig blev åbne spørgsmål identificeret som en væsentlig risikofaktor, da de oftere førte til misvisende svar.
Menneskets rolle
Andre studier underbygger billedet. Forskning fra Nature Medicine viser, at chatbots ofte kan generere korrekte svar, men at brugere kun opnår rigtige konklusioner i under en tredjedel af tilfældene.
Tilsvarende viser analyser fra Jama Network Open og Communication Medicine, at modellerne enten overser diagnoser eller viderefører fejlagtige begreber.
Samlet set peger resultaterne på, at udfordringen ikke kun ligger i teknologien, men i samspillet mellem system og bruger.
Læs også: 12 advarselstegn om morgenen, der kan være tegn på sygdom
Chatbots kan fungere som et supplement til informationssøgning, men bør ikke anvendes som selvstændige medicinske autoriteter.
Kilder: The Conversation, BMJ Open, Nature Medicine, Jama Network Open og Communications Medicine.
Læs også: Mangel på sunde fedtceller kan øge risikoen for diabetes