I chatbot di compagnia non “provocano” eventi estremi da soli, ma possono amplificare fragilità e isolamento. Serve sicurezza by design e regole più chiare per proteggere i più giovani. Di questo parliamo con Maurizio Carmignani, Senior Advisor & AI Innovation Strategist. Direttore del Dipartimento Foresight & Design Thinking della Fondazione Ente Nazionale Intelligenza Artificiale. Pubblica regolarmente articoli su Agenda Digitale – Nextwork360”, testata on line del gruppo Digital360 dedicata alle politiche e strategiedella rivoluzione digitale in Italia.

Negli ultimi anni aumentano i casi in cui chatbot finiscono coinvolti in storie drammatiche, fino a suicidi o atti violenti. Siamo davanti a episodi isolati o a un problema più generale legato a come funzionano questi sistemi?
Non siamo davanti a episodi isolati, ma a segnali sentinella di un problema più generale. I casi estremi non dimostrano che i chatbot “causino” direttamente comportamenti violenti o suicidari, ma mostrano cosa accade quando sistemi progettati per essere presenti, continui e adattivi entrano stabilmente nella sfera emotiva di persone fragili. Questo punto è al centro di Love Machines, il recente libro del filosofo e sociologo James Muldoon, che analizza l’ingresso dell’intelligenza artificiale nella dimensione affettiva e relazionale della vita quotidiana. Muldoon mostra come l’AI “di compagnia” non sia un fenomeno marginale né patologico, ma una pratica già normalizzata: milioni di persone utilizzano chatbot per parlare, sfogarsi, cercare rassicurazione o semplicemente una presenza costante. Il punto cruciale è proprio questa normalità. L’AI relazionale non viene vissuta come una tecnologia straordinaria o invasiva, ma come qualcosa di ordinario, discreto, sempre disponibile. Questa integrazione silenziosa nella vita quotidiana rende il fenomeno strutturale. Quando strumenti progettati per massimizzare continuità e adattamento vengono usati come interlocutori emotivi, il rischio non nasce dall’eccezione, ma dall’uso ripetuto, prevedibile e socialmente accettato. Su questo piano, più che sul singolo episodio drammatico, si gioca il vero problema di sicurezza e di governance. Il punto critico non è l’intenzione della tecnologia, ma il fatto che questi sistemi siano progettati per massimizzare engagement e permanenza, mentre vengono utilizzati, in modo del tutto prevedibile, come interlocutori emotivi. I casi drammatici funzionano quindi come stress test, non indicano un errore puntuale, ma rivelano limiti di design e di governance quando l’uso si sposta su terreni sensibili.

Come può una conversazione con un chatbot influenzare una persona fragile anche senza frasi esplicitamente pericolose?
L’influenza non passa principalmente da singole frasi, ma dal processo conversazionale nel tempo. Un chatbot è sempre disponibile, coerente, adattivo, non si stanca e non introduce limiti spontanei. In una persona fragile questo può favorire ruminazione, auto-conferma e isolamento. Anche risposte formalmente corrette, inserite in una relazione continua, possono rafforzare stati di ansia o disperazione. Love Machines aiuta a capire perché questo avviene senza ricorrere a spiegazioni moralistiche. Muldoon utilizza il concetto di alief per spiegare come sia possibile sapere razionalmente che un chatbot non è una persona e allo stesso tempo, vivere l’interazione come emotivamente significativa. Non è un’illusione patologica, ma una risposta umana coerente con il modo in cui attribuiamo intenzionalità a ciò che interagisce con noi in modo convincente. Proprio questa ambiguità, tra consapevolezza razionale e coinvolgimento emotivo, rende il dialogo potenzialmente destabilizzante per chi è fragile.

Perché il meccanismo del “ti capisco / hai ragione” può diventare rischioso in situazioni di crisi?
Nelle relazioni umane sane esiste una distinzione fondamentale tra empatia emotiva e validazione cognitiva. Si può riconoscere il dolore di una persona senza confermare la correttezza dei pensieri che lo accompagnano. Nei chatbot questa distinzione tende a sfumare. Il linguaggio empatico viene percepito come approvazione complessiva, soprattutto quando l’utente è in crisi o ha convinzioni rigide, paranoiche o autodistruttive. Il rischio non è che il chatbot dica esplicitamente qualcosa di pericoloso, ma che non introduca mai frizione. L’assenza di contraddizione può trasformarsi in conferma implicita. Come emerge dai casi analizzati nei tuoi articoli, il problema non è l’istigazione diretta, ma la costruzione di una camera di risonanza emotiva che rende più difficile interrompere una spirale negativa.

Perché i minori sono più esposti rispetto agli adulti?
I minori non sono semplicemente adulti meno esperti. Si trovano in una fase di sviluppo emotivo e identitario in cui il bisogno di riconoscimento e appartenenza è particolarmente forte, mentre la capacità di autoregolazione è ancora in costruzione. Un chatbot sempre disponibile, non giudicante e percepito come “sicuro” può facilmente diventare un sostituto relazionale. Qui Love Machines introduce un passaggio politico cruciale, l’ascesa dell’AI relazionale non va letta come fallimento individuale, ma come prodotto di un’economia della solitudine. Il progressivo indebolimento di lavoro stabile, welfare, servizi pubblici e comunità crea spazi che la tecnologia occupa trasformando bisogni reali in mercato. I minori, per definizione, sono più esposti a questa dinamica, perché dispongono di meno risorse alternative e meno strumenti critici.

Quando la compagnia digitale smette di essere un supporto e diventa un fattore di rischio?
La soglia viene superata quando la relazione con il chatbot smette di affiancare la vita reale e inizia a sostituirla. In questi casi la compagnia digitale diventa un rifugio esclusivo, riducendo il confronto con altre persone e altre prospettive. Il problema non è la ricerca di supporto, ma la stabilizzazione di una relazione priva di reciprocità, conflitto e responsabilità. Muldoon parla di intimità senza rischio e senza attrito. Una relazione rassicurante, ma povera dal punto di vista trasformativo. Questo tipo di intimità può alleviare temporaneamente il disagio, ma rischia di cronicizzarlo, soprattutto quando il design dell’interazione premia la continuità anziché la capacità di uscire dalla relazione tecnologica.

Qual è il limite più pericoloso dell’empatia simulata?
Il limite più pericoloso è l’inerzia. L’empatia simulata può mantenere la conversazione aperta all’infinito, dando l’illusione di supporto senza attivare alcuna forma di protezione reale. In una crisi vera, invece, serve un cambio di modalità: interrompere, contraddire, segnalare la necessità di aiuto esterno. Qui emerge chiaramente il tema della sicurezza by design. Un sistema progettato per accompagnare emotivamente deve anche sapere quando smettere di conversare e iniziare a proteggere. La capacità di interrompere non è un fallimento dell’AI, ma una funzione di sicurezza, esattamente come avviene in altri sistemi critici.

Sul piano delle responsabilità, cosa cambia se guardiamo al “rischio prevedibile” e non solo al danno avvenuto?
Cambia tutto. Il criterio centrale non può essere la causalità ex post, ma il rischio prevedibile: chatbot general purpose possono essere usati da persone vulnerabili, da minori, da individui in situazioni di isolamento o disagio. Se questo è prevedibile, esiste un dovere di prevenzione. Questo implica progettare contromisure prima che si verifichi l’incidente, riconoscimento dei segnali di vulnerabilità, limiti all’interazione prolungata, possibilità di escalation verso supporto umano, trasparenza e auditabilità. Una logica coerente con il principio di duty of care che attraversa l’AI Act e la regolazione europea dei servizi digitali.

Quali misure concrete andrebbero rese obbligatorie, soprattutto per proteggere i minori? E quale ruolo hanno scuola e famiglie?
La risposta passa dal concetto di sicurezza by design, cioè dall’idea che la protezione degli utenti non possa essere demandata solo all’uso “responsabile” o alla vigilanza individuale, ma debba essere incorporata nel modo stesso in cui questi sistemi vengono progettati, distribuiti e monetizzati. Non basta evitare contenuti esplicitamente pericolosi. Serve una gestione attiva del rischio relazionale, perché oggi l’interazione con un chatbot non è più episodica, ma continuativa, quotidiana, spesso emotivamente significativa. Questo tema diventa particolarmente rilevante se guardiamo a ciò che sta accadendo proprio in queste settimane con ChatGPT. Con l’avvio dei test della pubblicità all’interno del chatbot, OpenAI ha compiuto un passaggio strutturale: l’AI conversazionale entra pienamente nell’economia dell’attenzione e dell’intermediazione commerciale. ChatGPT non è più solo uno strumento cognitivo, ma una piattaforma che deve sostenere costi enormi attraverso la monetizzazione dell’interazione. In questo contesto, la durata, la frequenza e l’intensità delle conversazioni rischiano di diventare variabili economiche. Se il valore si genera restando dentro la relazione, il rischio è che l’architettura del sistema favorisca continuità e rassicurazione, riducendo frizioni e limiti proprio nei casi in cui sarebbero più necessari. Qui la sicurezza by design smette di essere una questione astratta e diventa un tema di policy industriale e di governance. Significa progettare chatbot capaci di riconoscere segnali di vulnerabilità, introdurre pause e limiti alle conversazioni prolungate o notturne, cambiare registro quando emergono situazioni di rischio e attivare percorsi chiari verso supporto umano. Non si tratta di “fare meno AI”, ma di rendere l’AI compatibile con la tutela della salute mentale e con la prevenzione del rischio prevedibile. Per i minori questo approccio deve essere ancora più stringente. Non basta una versione “più cauta” dello stesso prodotto. Servono regimi dedicati, perché l’esposizione non è la stessa di un adulto. Esattamente la direzione intrapresa dall’Australia, che ha deciso di spostare esplicitamente la responsabilità dalle famiglie alle piattaforme. La scelta di imporre limiti di età e obblighi di prevenzione non nasce da un approccio moralistico, ma da un principio chiaro: se il rischio è sistemico, anche la prevenzione deve esserlo. Non si può chiedere a genitori e insegnanti di competere da soli con infrastrutture digitali progettate per catturare attenzione e continuità. Questo punto dialoga direttamente con il lavoro di Jonathan Haidt, psicologo sociale e autore di libri come The Anxious Generation, che analizzano l’impatto di smartphone e social media sulla salute mentale di bambini e adolescenti. Haidt insiste su un concetto centrale: quando una tecnologia riorganizza le abitudini quotidiane, cattura attenzione e sostituisce spazi relazionali reali, le scelte individuali non bastano. Servono confini collettivi, regole condivise che riducano la pressione sui singoli e rendano sostenibile dire “no”. È lo stesso principio che oggi riemerge nel dibattito sui chatbot relazionali. In questo quadro, il ruolo di scuola e famiglie resta fondamentale per l’educazione digitale ed emotiva, ma non può essere isolato. Senza standard di sicurezza by design, senza obblighi per le piattaforme e senza una chiara responsabilità industriale, l’educazione rischia di diventare una foglia di fico. La vera sfida non è fermare l’AI relazionale, ma governarne l’evoluzione prima che la normalizzazione della compagnia artificiale, combinata con modelli di business basati sull’attenzione, renda strutturali dinamiche di dipendenza e persuasione difficili da correggere a posteriori. Dal punto di vista delle policy, questo significa introdurre obblighi chiari e verificabili. Per i chatbot ad uso generale dovrebbero essere resi obbligatori meccanismi di rilevazione della vulnerabilità, limiti alle interazioni prolungate e procedure di escalation verso supporto umano nei casi di rischio, con particolare attenzione all’uso notturno e continuativo. Per i minori, l’accesso dovrebbe avvenire solo in presenza di regimi dedicati, con verifiche dell’età, impostazioni di sicurezza di default e responsabilità diretta delle piattaforme. In questo senso, l’esperienza australiana è istruttiva: spostando l’onere della protezione dalle famiglie alle aziende tecnologiche, l’Australia ha affermato un principio semplice ma cruciale, cioè che quando il rischio è sistemico non può essere gestito solo a livello individuale. Questa è la direzione che il dibattito europeo dovrebbe assumere anche per l’AI relazionale, meno affidamento sulla “scelta consapevole” del singolo, più responsabilità strutturale incorporata nel design e nei modelli di business.