Menneskelige psykologer arbejder under faste etiske regler og kan stilles til ansvar, hvis de begår fejl.
Sådan er det ikke for AI-systemer, der giver råd om mental sundhed.
Det viser et studie fra Brown University, offentliggjort i Proceedings of the AAAI ACM Conference on AI, Ethics, and Society.
Her har forskere undersøgt, hvordan store sprogmodeller fungerer, når de bliver bedt om at optræde som terapeuter.
Læs også: Derfor gør vintertid dig mere træt og lækkersulten
Forskerne bag studiet skriver, at de har identificeret 15 etiske risici ved brugen af såkaldte LLM counselors og opfordrer til, at der udvikles klare etiske og juridiske standarder for området.
Testet i praksis
I undersøgelsen gennemførte syv rådgivere med erfaring i kognitiv adfærdsterapi samtaler med AI-modeller fra blandt andet OpenAI, Anthropic og Meta.
Tre autoriserede psykologer gennemgik derefter samtalerne for at finde mulige problemer.
Ifølge studiet opstod der udfordringer på flere områder. Chatbotterne tog ikke altid hensyn til brugerens situation, håndterede ikke kriser tilstrækkeligt og kunne vise bias i forhold til køn, kultur eller religion.
Læs også: Nære venner er medicin for din hjerne: Et simpelt håndtryk kan sænke stresshormonet
Forskerne beskriver også det, som de kalder deceptive empathy. Det dækker over svar, der lyder omsorgsfulde, men ikke bygger på reel forståelse.
Behov for forsigtighed
Studiet konkluderer ikke, at AI ikke kan bruges til mental sundhed. Teknologien kan ifølge forskerne være med til at gøre hjælp mere tilgængelig.
Men de nuværende systemer lever ikke op til de etiske krav, der gælder for uddannede terapeuter.
Samtidig mangler der i dag tydelige regler for, hvem der har ansvaret, hvis en AI-chatbot giver problematisk rådgivning.
Kilder: Science Daily og Proceedings of the AAAI ACM Conference on AI, Ethics, and Society.
Læs også: Ny forskning afslører: Ensomhed kan koste dig næsten seks raske leveår
Denne artikel er skrevet og udgivet af Ida-Marie Palm Varbæk, som kan have anvendt AI i udarbejdelsen.