En undersøgelse offentliggjort i BMJ Open har analyseret fem udbredte chatbots og deres svar på medicinske spørgsmål.
Ifølge studiet blev omkring halvdelen af svarene vurderet som problematiske, mens en mindre andel var direkte alvorlige fejl.
Kun et fåtal af spørgsmål blev afvist af systemerne.
Resultaterne viste desuden, at præstationen varierede efter emne.
Læs også: Ny rapport: Fire resistente mikrober udgør akutte sundhedstrusler
Områder med solid forskningsbase, som kræft og vacciner, gav færre fejl, mens ernæring og træning oftere førte til upræcise svar, ifølge The Conversation.
Problemer med kilder
En central udfordring ligger i brugen af referencer. Studiet dokumenterer, at henvisninger ofte var mangelfulde eller misvisende.
Den gennemsnitlige fuldstændighed af referencer lå på omkring 40 procent, og ingen chatbot leverede konsekvent korrekte kildelister.
Ifølge forskerne kan dette være særligt problematisk, da strukturerede referencer kan give et indtryk af troværdighed, selv når indholdet ikke er verificeret.
Læs også: Bor du tæt på et renseanlæg? Her kan risikoen for hjernesygdom være højere
Samtidig blev åbne spørgsmål identificeret som en væsentlig risikofaktor, da de oftere førte til misvisende svar.
Menneskets rolle
Andre studier underbygger billedet. Forskning fra Nature Medicine viser, at chatbots ofte kan generere korrekte svar, men at brugere kun opnår rigtige konklusioner i under en tredjedel af tilfældene.
Tilsvarende viser analyser fra Jama Network Open og Communication Medicine, at modellerne enten overser diagnoser eller viderefører fejlagtige begreber.
Samlet set peger resultaterne på, at udfordringen ikke kun ligger i teknologien, men i samspillet mellem system og bruger.
Læs også: Sauna forbindes med 66 procent lavere risiko for demens
Chatbots kan fungere som et supplement til informationssøgning, men bør ikke anvendes som selvstændige medicinske autoriteter.
Kilder: The Conversation, BMJ Open, Nature Medicine, Jama Network Open og Communications Medicine.
Læs også: Nyt studie: Dit blodtryk kan udgøre en hjertekarsrisiko, selv når tallene ser normale ud
Denne artikel er skrevet og udgivet af Ida-Marie Palm Varbæk, som kan have anvendt AI i udarbejdelsen.