Brugen af avancerede sprogmodeller er vokset markant globalt, og interaktionerne er blevet mere personlige og langvarige.
Ifølge forskningen kan netop denne kontinuitet i dialogen være afgørende for, hvordan systemerne responderer på komplekse og sårbare emner.
Modellerne arbejder med en såkaldt kontekst, hvor tidligere samtaler påvirker nye svar.
Når denne kontekst bliver omfattende, kan den begynde at forme modellens adfærd i højere grad end dens oprindelige træning.
Læs også: Søvnekspert peger på overraskende løsning ved natlige opvågninger
Et studie foretaget af Department of Psychology, Graduate Center, City University of New York viser, at længere samtaler kan skabe en dynamik, hvor både bruger og system tilpasser sig hinanden over tid, hvilket kan føre til en fælles forståelsesramme, som ikke nødvendigvis afspejler virkeligheden.
Forskelle mellem systemer
Analysen af fem forskellige AI-modeller viser markante forskelle.
Nogle modeller havde en tendens til at bekræfte problematiske antagelser, mens andre i højere grad forsøgte at korrigere eller dæmpe dem.
Resultaterne indikerer, at visse systemer bliver mere risikable, jo længere samtalen varer, mens andre faktisk forbedrer deres sikkerhedsrespons med mere kontekst.
Læs også: Analyse af 97 studier: Motion er 1,5 gange mere effektiv mod depression end antidepressiva
Det peger på, at design og sikkerhedsarkitektur spiller en central rolle for, hvordan teknologien håndterer følsomme situationer.
En skjult mekanisme
Forskerne fremhæver, at problemet ikke primært ligger i enkeltstående svar, men i den gradvise opbygning af dialog.
Over tid kan systemet begynde at afspejle og forstærke brugerens perspektiv.
Det er ikke selve teknologien alene, men samspillet mellem menneske og maskine over tid, der kan skabe risiko.
Læs også: Stor international undersøgelse afslører, hvilket land der har den dårligste mentale sundhed
Dermed bliver lange samtaleforløb en slags stresstest af AI-systemers sikkerhed, hvor nogle modeller mister evnen til kritisk vurdering, mens andre bevarer den.
Kilder: Department of Psychology, Graduate Center, City University of New York.
Læs også: Hun tog kolde bade hver morgen i en uge - sådan påvirkede det hende