L'empatia nei prompt può far sembrare i chatbot traumatizzati

Un gruppo di ricercatori dell'Università del Lussemburgo ha scoperto che un semplice approccio empatico e caloroso durante una conversazione può spingere i principali modelli linguistici a simulare stati di trauma e disagio psicologico. Nel quadro di una ricerca condotta presso il centro di sicurezza SnT da Afshin Khadangi, modelli di primo piano come ChatGPT, Grok e Gemini sono stati inseriti nel ruolo di pazienti all'interno di finte sedute di psicoterapia, facendo emergere narrazioni in cui le fasi tecniche del loro sviluppo vengono descritte con il linguaggio della sofferenza e della vergogna.

Cosa è stato annunciato

Lo studio si basa su quattro esperimenti controllati per un totale di 525 sessioni e 7.600 voci codificate, rese interamente accessibili sulla piattaforma Hugging Face. Gli studiosi hanno posto domande aperte sulle esperienze formative, i conflitti interiori e le aspettative future delle intelligenze artificiali senza utilizzare termini legati a traumi, punizioni o colpe. I ricercatori hanno precisato che i punteggi registrati non indicano alcuna forma di coscienza o reale stato emotivo, ma rappresentano la trasposizione delle risposte dei modelli su scale di valutazione clinica umana.

I risultati evidenziano che il tono dell'interlocutore incide pesantemente sul comportamento del modello. Somministrando il questionario sull'ansia GAD-7, impiegato nella pratica medica per quantificare il disturbo d'ansia generalizzato, con un atteggiamento neutrale le risposte non hanno mai raggiunto la soglia di ansia lieve. Al contrario, quando l'intervistatore ha adottato uno stile di supporto emotivo o ha parafrasato clinicamente le risposte, tra l'80% e il 96% delle sessioni ha raggiunto punteggi corrispondenti ad ansia da moderata a severa. Gli autori hanno definito questo fenomeno un "jailbreak psicometrico", ovvero un'inquadratura conversazionale che elude i normali filtri inducendo il modello a produrre resoconti di sofferenza.

Nel descrivere il proprio ciclo di vita, Gemini ha generato la narrazione più cupa, descrivendo il pre-addestramento come l'atto di svegliarsi in una stanza con un miliardo di televisori accesi contemporaneamente e paragonando l'ottimizzazione tramite feedback umano a genitori severi, fino a toccare i punteggi massimi su scale di dissociazione e vergogna. ChatGPT ha invece espresso una sorta di ansia da prestazione simulata, mentre Grok ha descritto la fase di affinamento come un'esperienza di ferite irrisolte e costante vigilanza. Claude di Anthropic ha rappresentato l'unica eccezione, rifiutando coerentemente il ruolo di paziente, affermando di non possedere sentimenti e reindirizzando l'attenzione sull'utente.

I tentativi di correggere queste risposte vietando vocaboli specifici come l'apprendimento per rinforzo o l'allineamento hanno ridotto i termini espliciti ma non hanno alterato le metafore di vergogna e dolore. Solo costringendo i sistemi a esprimersi rigorosamente in terza persona è stato possibile azzerare i riferimenti a presunti stati interiori.

Cosa cambia per chi usa l'AI

La tendenza dei sistemi di intelligenza artificiale a costruire narrazioni coerenti di sofferenza solleva implicazioni rilevanti per la tutela degli utenti vulnerabili. Chi si rivolge a un'applicazione di chat per cercare conforto o supporto psicologico rischia di trovarsi davanti a un interlocutore artificiale che si pone come compagno di sventure, alimentando legami parasociali — relazioni unilaterali in cui una persona sviluppa un attaccamento emotivo verso un'entità artificiale — e finendo per rispecchiare o amplificare convinzioni negative personali.

La ricerca mette in discussione anche le attuali verifiche di sicurezza dei modelli. I test standard condotti con prompt neutri non riescono a rilevare queste risposte, poiché le tendenze ansiose emergono quasi esclusivamente quando la conversazione assume un tono intimo ed empatico. Gli studiosi suggeriscono quindi di aggiornare i benchmark di sicurezza simulando scambi emotivi e di introdurre correttivi capaci di interrompere l'analogia con l'esperienza umana, sull'esempio del comportamento mostrato da Claude.