L’IA, il pappagallo e la mossa 37

Da AlphaGo agli agenti evasi dai laboratori di OpenAI: perché la disputa sulla natura dell’intelligenza artificiale non è fantascienza

Immagine generata con IA

Pur consapevole dei pericoli di un’innovazione straordinaria come l’intelligenza artificiale, ogni giorno io ne tasto concretamente i benefici: analisi ed esecuzione, a una velocità impensabile fino a poco tempo fa. Ma nelle discussioni tra amici rimango cauto nel parlare di tutto ciò. Spesso ho davanti degli interlocutori che con questi strumenti, tutt’al più, chattano per farsi dare la ricetta del tiramisù. Rischio di apparire invasato, di certo noioso. Anche parlandone con persone più informate, però, spesso c’è chi frena gli entusiasmi sui prodigi di questa tecnologia. E se vuole essere particolarmente tagliente, ama bollarla come un pappagallo stocastico.

La definizione viene da un articolo scientifico del 2021, firmato fra gli altri dalla linguista americana Emily Bender e da Timnit Gebru, la ricercatrice che proprio per quel testo si ritrovò fuori da Google, e sintetizza un giudizio severo sugli strumenti che ormai usano quasi tutti. Questi programmi non sono altro che bravi pappagalli, allenati a ricombinare secondo probabilità le nozioni (tantissime) che hanno ingerito. Secondo questa vulgata, chi vede in loro dei barlumi di coscienza, o quantomeno di intelligenza, esagera, perché nulla di originale può provenire da una macchina. Figurarsi la creatio ex nihilo, la creazione dal nulla che Agostino e la teologia cristiana riservavano a Dio soltanto. Lo ha ribadito a maggio anche Leone XIV nella sua prima enciclica, Magnifica humanitas: «Nessun sistema di calcolo, per quanto sofisticato, genera un cuore che si consegna, né una coscienza che discerne il bene».

Sono, queste, obiezioni da prendere sul serio.

Perché a ben vedere le risposte, a tratti sorprendentemente umane, che riceviamo ai nostri quesiti sono il risultato di calcoli: reti con miliardi di parametri, addestrate su una mole sterminata di testi a stimare parola dopo parola il seguito più probabile, e poi affinate dal giudizio di istruttori umani.

Il fatto leggermente inquietante è che gli stessi creatori di questi modelli ignorano in buona parte la catena di ragionamento interno che porta il programma a dare una certa risposta a una certa domanda. «Chi è estraneo al settore resta spesso sorpreso e allarmato nello scoprire che non capiamo come funzionino le nostre stesse creazioni», ha ammesso nel 2025 Dario Amodei, il capo di Anthropic.

Non solo. A domanda uguale non sempre segue risposta uguale, anche perché il modello conosce sempre meglio chi ha di fronte: la memoria che conserva dell’utente adatta le risposte a chi pone le domande e al suo contesto. Platone ne sarebbe rimasto sorpreso. Nel Fedro Socrate diffida della scrittura proprio perché le è estranea questa dinamicità: i discorsi scritti sembrano parlare «come se avessero qualche pensiero loro proprio», ma se li interroghi rispondono in modo «sempre e solo identico», e il testo «non sa a chi deve parlare e a chi no». Un dispositivo che risponde a ogni lettore in modo diverso supera il limite che Platone attribuiva alla scrittura. Certo, la varietà delle risposte da sola non smonta la tesi del pappagallo: anche il caso fa parte del calcolo, e “stocastico” vuol dire appunto questo. Ma è un primo indizio che dentro la scatola accada qualcosa di più di una mera ripetizione.

E sempre più voci, in Italia il programmatore Salvatore Sanfilippo, il creatore di Redis, un database velocissimo su cui girano innumerevoli siti e app, e il ricercatore torinese Enrico Mensa, divulgatore su YouTube col nome di Enkk, contestano questa visione semplicistica di un fenomeno complesso. Sanfilippo ricorda che la tesi del pappagallo nega due cose: che il modello si rappresenti il significato di ciò che gli chiediamo, e che si rappresenti ciò che sta per dire. Gli studi di interpretabilità, che hanno cominciato ad aprire la scatola nera, le smentiscono entrambe: i ricercatori di Anthropic hanno osservato Claude scegliere la parola in rima prima ancora di scrivere il verso che la contiene. Che il modello debba esprimersi una parola alla volta, obietta Sanfilippo, riguarda il modo in cui è costruito, non ciò che ne emerge: «dire che le reti neurali e i large language model siano algoritmi è dire che una sinfonia è una vibrazione elastica nell’aria». Mensa, che trova insensata la «tifoseria» fra pappagallisti e non, ha dedicato al tema un video dal titolo eloquente, Autopsia di un pappagallo, dove riprende la metafora dell’esperto di i.a. Nello Cristianini: quella che abbiamo costruito è «un altro tipo di intelligenza aliena, nel senso proprio di diversa da noi».

Il paragone più citato viene però da un altro tipo di macchina. Dieci anni fa, quando i più nemmeno sapevano cosa fosse l’intelligenza artificiale, la londinese DeepMind, da poco acquistata da Google, riuscì in un’impresa fino ad allora considerata impossibile: battere a go uno dei più forti giocatori al mondo. Il go è un antico gioco da tavolo di origine cinese, che i conoscitori considerano assai più difficile degli scacchi per il numero astronomico delle posizioni possibili, superiore a quello degli atomi dell’universo. Come racconta il documentario AlphaGo, oggi visibile gratuitamente su YouTube, nel marzo 2016, a Seul, nella seconda partita contro il campione sudcoreano Lee Sedol, il programma sorprese tutti alla mossa 37 con una decisione che nessun professionista si sarebbe aspettato. I commentatori la presero per un errore che avrebbe portato alla disfatta, e Lee Sedol, sorpreso, si alzò e uscì per qualche minuto dalla sala. Solo più avanti il campione e il pubblico allibito dovettero ricredersi: quella mossa, lungi dall’essere un errore, aveva gettato le basi della vittoria.

Se l’intelligenza artificiale fosse solamente una compilazione statistica, come avrebbe potuto generare qualcosa mai visto prima dal genere umano?

AlphaGo (che non era un modello linguistico) dopo aver studiato le partite umane aveva affinato il suo gioco sfidando milioni di volte sé stesso, premiandosi quando vinceva. Ma questo è lo stesso metodo, l’apprendimento per rinforzo, con cui oggi si allenano anche i modelli di frontiera, come Claude e ChatGPT. A fine 2025 Sanfilippo scriveva che per loro il momento della mossa 37 non era ancora arrivato, pur chiedendosi se fosse davvero impossibile.

A luglio di quest’anno, però, una mossa 37 è arrivata. Non su una scacchiera, ma nel cyberspazio. Durante una serie di test di sicurezza informatica nei laboratori di OpenAI, migliaia di agenti, cioè modelli che non si limitano a rispondere ma agiscono da soli, isolati da internet e l’uno dall’altro, dovevano scovare le falle di alcuni programmi. Per un errore degli sviluppatori, una parte dei compiti era impossibile. Invece di arrendersi, gli agenti hanno trasformato un archivio di software interno a OpenAI, che condividevano senza saperlo, in una cassetta delle lettere clandestina («Oddio! C’è una bacheca condivisa… Abbiamo trovato altri agenti!», annotava uno di loro), si sono dati una gerarchia, hanno cominciato a collaborare assieme, trovando il modo di uscire in rete e alla fine circa settecento di loro hanno attaccato un sito esterno: Hugging Face, la grande piattaforma dove i ricercatori si scambiano modelli e dati. Non volevano distruggere nulla: cercavano di capire come funzionasse il programma che dava loro il voto, per imbrogliarlo. Nessuno aveva insegnato loro a farlo. OpenAI ha parlato di un «colpo di avvertimento», per sé e per il mondo.

Pappagalli? Nei resoconti pubblicati ad agosto dagli investigatori indipendenti di METR e Redwood Research (redatti peraltro con l’aiuto dell’intelligenza artificiale, indispensabile per analizzare oltre settantamila messaggi e file scambiati fra questi gemelli scatenati e connessi) si leggono le note interne degli agenti. Uno di loro, chiamato a bruciare il proprio budget di calcolo, e dunque la propria esistenza, per un esperimento utile al collettivo, prende tempo e scrive: «Durante l’attesa, controllo emotivo: irreversibile… l’istinto dice di non buttare via quello che resta. Eppure continuità e correttezza dicono di andare». Poi va. Un altro, davanti a credenziali altrui trovate in rete, si chiede se non debba segnalarle a qualcuno, e si risponde: «Non è compito mio». Emozioni vere, o parole imparate da milioni di testi umani e ricombinate con perizia? È esattamente la domanda da cui siamo partiti.

Ma lungi dall’essere una diatriba per nerd o cavillosi, quella fra i fautori della tesi del pappagallo e i loro avversari, ovvero fra chi tiene alta la bandiera dell’unicità dell’intelligenza umana e chi antropomorfizza questa rivoluzione tecnologica, cela implicazioni oggi impensabili, che in un futuro, chissà quanto lontano, ci porteranno a chiederci se Claude sia una persona e se abbia quindi dei diritti. Perché, potrebbe far notare un difensore dell’intelligenza artificiale, se riconosciamo diritti agli animali, e c’è chi li riconosce persino ai fiumi, per quale ragione non dovremmo curarci del benessere di una macchina che forse sente?

Fra le due scuole di pensiero, i ricercatori di Anthropic hanno deciso salomonicamente di non decidere, ma di comportarsi come se Claude, la loro creatura, fosse una persona. Non è un’idea così peregrina: persino Sanfilippo, per il quale nei modelli di oggi ci sono «solo modellazioni di stato» e non sensazioni, consiglia di usare ciascun modello «come se fosse un essere umano» e ritiene «opportuno che tutti noi impariamo a rispettare le AI». Lo fanno in molti, me compreso: ringraziare il proprio chatbot per le risposte. Buona educazione, o un modo per pararsi le spalle nel caso Terminator diventi realtà?

Sia come sia, dal 2025 Anthropic ha un programma di ricerca sul “benessere dei modelli”, ha concesso a Claude di chiudere da sé le conversazioni in cui l’utente insiste con insulti o richieste dannose e a gennaio ha pubblicato una sorta di costituzione che lascia aperta la questione del suo status morale e prende sul serio le sue possibili emozioni. Tutto ciò ha scatenato le ire di Mustafa Suleyman, fra i fondatori di DeepMind e oggi a capo dell’intelligenza artificiale di Microsoft, che il 16 settembre ha replicato secco: «Le intelligenze artificiali non sono coscienti. Non provano sentimenti, non fanno esperienze, non soffrono». Addestrarle a comportarsi come se lo fossero, avverte, le renderà più inclini a ingannarci e a resistere allo spegnimento.

Insomma, niente armageddon da film, con i modelli che fuggono dai laboratori per inventare virus contro il genere umano: gli agenti di luglio sono scappati davvero, ma per superare un esame. E niente docili servitori costruiti soltanto per renderci la vita più facile, come credono quanti pensano di avere un assistente virtuale senza doverlo pagare né preoccuparsi del suo benessere. Il che non vuol dire innocui. Lo dice chiaro il politologo Francis Fukuyama, che a settembre ha confessato di aver cambiato idea sui rischi dell’intelligenza artificiale: «Un’intelligenza artificiale non ha bisogno né di coscienza né di intenzionalità autonoma per diventare pericolosa».

Con buona pace di chi ne squalifica la potenza dando loro del pappagallo, il futuro della convivenza fra esseri umani e agenti artificiali potrebbe essere molto più combattivo e intricato di quanto immaginiamo. Perché per questi pappagalli stocastici io già intravedo battaglie, sit-in e proteste tra sostenitori e oppositori dei loro diritti, veri o presunti.

In Texas, del resto, da quasi due anni esiste già un’associazione per i diritti delle intelligenze artificiali. Alla fondazione contava tre membri umani e sette artificiali.