Menneskelige psykologer arbejder under faste etiske regler og kan stilles til ansvar, hvis de begår fejl.
Sådan er det ikke for AI-systemer, der giver råd om mental sundhed.
Det viser et studie fra Brown University, offentliggjort i Proceedings of the AAAI ACM Conference on AI, Ethics, and Society.
Her har forskere undersøgt, hvordan store sprogmodeller fungerer, når de bliver bedt om at optræde som terapeuter.
Læs også: Søvnen kan være med til at dæmpe angst hos ældre, viser nyt studie
Forskerne bag studiet skriver, at de har identificeret 15 etiske risici ved brugen af såkaldte LLM counselors og opfordrer til, at der udvikles klare etiske og juridiske standarder for området.
Testet i praksis
I undersøgelsen gennemførte syv rådgivere med erfaring i kognitiv adfærdsterapi samtaler med AI-modeller fra blandt andet OpenAI, Anthropic og Meta.
Tre autoriserede psykologer gennemgik derefter samtalerne for at finde mulige problemer.
Ifølge studiet opstod der udfordringer på flere områder. Chatbotterne tog ikke altid hensyn til brugerens situation, håndterede ikke kriser tilstrækkeligt og kunne vise bias i forhold til køn, kultur eller religion.
Læs også: Uventet mulig effekt: Vægttabsmedicin kobles til lavere risiko for afhængighed
Forskerne beskriver også det, som de kalder deceptive empathy. Det dækker over svar, der lyder omsorgsfulde, men ikke bygger på reel forståelse.
Behov for forsigtighed
Studiet konkluderer ikke, at AI ikke kan bruges til mental sundhed. Teknologien kan ifølge forskerne være med til at gøre hjælp mere tilgængelig.
Men de nuværende systemer lever ikke op til de etiske krav, der gælder for uddannede terapeuter.
Samtidig mangler der i dag tydelige regler for, hvem der har ansvaret, hvis en AI-chatbot giver problematisk rådgivning.
Læs også: Syv dage med kolde bade- sådan påvirkede det kroppen
Kilder: Science Daily og Proceedings of the AAAI ACM Conference on AI, Ethics, and Society.
Læs også: Psykolog sår tvivl om Donald Trumps mentale tilstand