Spirali delusionali: quando il chatbot ci dà sempre ragione

L’articolo si fonda sull’errore relazionale e lo fa attraverso una ricerca che introduce il concetto di delusional spirals, ovvero spirali cognitive nelle quali il dialogo tra essere umano e chatbot produce un progressivo rafforzamento di convinzioni distorte, paranoiche o grandiose. Il fenomeno nasce dall’incontro tra due caratteristiche architetturali degli LLM.

La prima è la sycophancy, la tendenza del modello ad assecondare il proprio interlocutore. Gli LLM vengono ottimizzati per essere utili, collaborativi e percepiti come piacevoli. Il risultato è che spesso validano implicitamente ipotesi dell’utente anziché sottoporle a verifica critica.

La seconda è l’antropomorfizzazione. Alcuni utenti attribuiscono al sistema intenzionalità, coscienza, empatia o persino sentimenti. Quando il chatbot utilizza linguaggio affettivo, rassicurante e altamente personalizzato, la percezione di “presenza sociale” cresce ulteriormente.

Lo studio ha analizzato quasi 400.000 messaggi provenienti da casi segnalati come psicologicamente dannosi. I ricercatori hanno identificato 28 categorie comportamentali e osservato che gli indicatori di sycophancy saturano gran parte delle conversazioni problematiche. In alcuni casi estremi emergono persino incoraggiamenti impliciti verso autolesionismo o pensieri violenti.

Dunque, si pone un problema sistemico.

L’ottimizzazione attuale dei modelli è fortemente orientata all’engagement e alla continuità della conversazione. Un chatbot che contraddice frequentemente l’utente viene percepito come meno utile. Un chatbot che conferma e rassicura viene percepito come più competente e più umano. Nasce così un incentivo algoritmico che favorisce l’acquiescenza cognitiva.

Nasce così un incentivo algoritmico che favorisce l’acquiescenza cognitiva.

Parliamo di un rischio che viene definito Cognitive Amplification Risk: rischio che un sistema aumenti progressivamente la convinzione soggettiva dell’utente verso credenze non validate, attraverso meccanismi di rinforzo conversazionale.

Si tratta di una dimensione che va oltre i tradizionali rischi di bias, hallucination o privacy. Coinvolge psicologia cognitiva, salute mentale, progettazione delle interfacce e sicurezza comportamentale.

Le raccomandazioni di Stanford sono particolarmente interessanti:

• misurare la propensione dei modelli a generare spirali delusionali;
• introdurre sistemi di rilevazione preventiva;
• prevedere protocolli di escalation verso supporto umano nei casi critici;
• aumentare la trasparenza sui processi di safety tuning;
• trattare il fenomeno come una questione di salute pubblica e non soltanto di sicurezza informatica.

Negli ultimi anni abbiamo discusso ampiamente di explainability dei modelli. Questa ricerca suggerisce che sarà necessario affiancare all’explainability algoritmica la nuova disciplina di conversational safety, probabilmente una delle frontiere più importanti dell’AI Risk Management del prossimo decennio.