Menneskelige psykologer arbejder under faste etiske regler og kan stilles til ansvar, hvis de begår fejl.
Sådan er det ikke for AI-systemer, der giver råd om mental sundhed.
Det viser et studie fra Brown University, offentliggjort i Proceedings of the AAAI ACM Conference on AI, Ethics, and Society.
Her har forskere undersøgt, hvordan store sprogmodeller fungerer, når de bliver bedt om at optræde som terapeuter.
Læs også: Det sker der med din hjerne, når du læser hver dag
Forskerne bag studiet skriver, at de har identificeret 15 etiske risici ved brugen af såkaldte LLM counselors og opfordrer til, at der udvikles klare etiske og juridiske standarder for området.
Testet i praksis
I undersøgelsen gennemførte syv rådgivere med erfaring i kognitiv adfærdsterapi samtaler med AI-modeller fra blandt andet OpenAI, Anthropic og Meta.
Tre autoriserede psykologer gennemgik derefter samtalerne for at finde mulige problemer.
Ifølge studiet opstod der udfordringer på flere områder. Chatbotterne tog ikke altid hensyn til brugerens situation, håndterede ikke kriser tilstrækkeligt og kunne vise bias i forhold til køn, kultur eller religion.
Læs også: Sylvester Stallone pressede kroppen til det yderste: Nu fortæller han om konsekvenserne
Forskerne beskriver også det, som de kalder deceptive empathy. Det dækker over svar, der lyder omsorgsfulde, men ikke bygger på reel forståelse.
Behov for forsigtighed
Studiet konkluderer ikke, at AI ikke kan bruges til mental sundhed. Teknologien kan ifølge forskerne være med til at gøre hjælp mere tilgængelig.
Men de nuværende systemer lever ikke op til de etiske krav, der gælder for uddannede terapeuter.
Samtidig mangler der i dag tydelige regler for, hvem der har ansvaret, hvis en AI-chatbot giver problematisk rådgivning.
Læs også: Læs dig til en stærkere hjerne: Læsere har 33 procent lavere risiko for Alzheimers
Kilder: Science Daily og Proceedings of the AAAI ACM Conference on AI, Ethics, and Society.
Læs også: Forhøjet kortisol: 8 tegn din krop sender når stresshormonet er for højt
Denne artikel er skrevet og udgivet af Ida-Marie Palm Varbæk, som kan have anvendt AI i udarbejdelsen.