Menneskelige psykologer arbejder under faste etiske regler og kan stilles til ansvar, hvis de begår fejl.
Sådan er det ikke for AI-systemer, der giver råd om mental sundhed.
Det viser et studie fra Brown University, offentliggjort i Proceedings of the AAAI ACM Conference on AI, Ethics, and Society.
Her har forskere undersøgt, hvordan store sprogmodeller fungerer, når de bliver bedt om at optræde som terapeuter.
Læs også: Det sker med din hjerne, når du stopper med at brokke dig i en uge
Forskerne bag studiet skriver, at de har identificeret 15 etiske risici ved brugen af såkaldte LLM counselors og opfordrer til, at der udvikles klare etiske og juridiske standarder for området.
Testet i praksis
I undersøgelsen gennemførte syv rådgivere med erfaring i kognitiv adfærdsterapi samtaler med AI-modeller fra blandt andet OpenAI, Anthropic og Meta.
Tre autoriserede psykologer gennemgik derefter samtalerne for at finde mulige problemer.
Ifølge studiet opstod der udfordringer på flere områder. Chatbotterne tog ikke altid hensyn til brugerens situation, håndterede ikke kriser tilstrækkeligt og kunne vise bias i forhold til køn, kultur eller religion.
Læs også: Høje temperaturer under graviditet kan påvirke barnets hjerne, viser studie
Forskerne beskriver også det, som de kalder deceptive empathy. Det dækker over svar, der lyder omsorgsfulde, men ikke bygger på reel forståelse.
Behov for forsigtighed
Studiet konkluderer ikke, at AI ikke kan bruges til mental sundhed. Teknologien kan ifølge forskerne være med til at gøre hjælp mere tilgængelig.
Men de nuværende systemer lever ikke op til de etiske krav, der gælder for uddannede terapeuter.
Samtidig mangler der i dag tydelige regler for, hvem der har ansvaret, hvis en AI-chatbot giver problematisk rådgivning.
Læs også: Forstoppelsesmiddel forbedrede hukommelse hos personer med tidligere depression
Kilder: Science Daily og Proceedings of the AAAI ACM Conference on AI, Ethics, and Society.
Læs også: Nyt studie: Jerntilskud kan mindske aggressive adfærdstræk