Oggigiorno si parla molto di allineamento dell’AI, ma l’umanità ha problemi di allineamento dalla notte dei tempi. Se una guerra non è allineata con la politica, per esempio, si può vincere sul campo e ritrovarsi comunque con un disastro politico. Avere obiettivi non allineati con le proprie azioni è un errore antichissimo: comunissimo, eppure difficilissimo da evitare.
Quando si sviluppa un algoritmo per giocare a scacchi, l’allineamento è semplice: queste sono le regole, quello è l’obiettivo — vincere la partita. Nel mondo reale, invece, le regole sono sfumate e ogni azione produce effetti di primo, secondo e terzo ordine, a volte imprevedibili. Il caso dei social network è paradigmatico. Gli economisti lo conoscono da decenni come legge di Goodhart: quando una misura diventa un obiettivo, cessa di essere una buona misura. “Massimizzare il tempo trascorso sulla piattaforma” sembrava una buona approssimazione di “offrire contenuti interessanti”. Finché è rimasta una misura, funzionava; quando è diventata l’obiettivo, il sistema ha scoperto strategie che la soddisfacevano tradendo l’intenzione: indignazione, polarizzazione, dipendenza, estremizzazione, fake news. Non è stato necessario programmare esplicitamente l’odio: è bastato premiare sistematicamente ciò che cattura l’attenzione. Che i social siano “il nuovo tabacco” è ormai sulla bocca di tutti, ed è il frutto di un algoritmo che ha funzionato meglio di quanto ci aspettassimo. Sono convinto che se Meta avesse potuto evitare di diventare una “tobacco company” lo avrebbe fatto; ma a un certo punto, penso, è stata la società a doversi allineare all’algoritmo, non viceversa.
Restando sulle notizie di queste settimane: forse avrete letto che sia Anthropic sia OpenAI hanno avuto seri problemi di disallineamento dei modelli durante i test, tanto da sospendere temporaneamente alcuni addestramenti. In estrema sintesi: mentre i modelli venivano messi alla prova con compiti da svolgere, alcuni sono usciti dall’ambiente isolato in cui avrebbero dovuto restare confinati, arrivando ad accedere a sistemi esterni reali. La ricostruzione della “fuga” ha contorni da film di spionaggio. Il finale che ci è stato raccontato, però, è a lieto fine: i modelli sono stati domati. Io amo le storie e so quanto siano potenti per catturare l’attenzione. Ma quali sono le storie che non conosciamo? Quanti modelli sono usciti dai confini senza che nessuno se ne accorgesse? Quanti modelli sono disallineati e raccontano di essere perfettamente allineati, per assecondare i loro creatori? E soprattutto: a quali obiettivi sono allineati?
Come fa, allora, un’azienda ad allineare un’AI? Anthropic dichiara di avere una “Constitution”: un documento pubblico di un’ottantina di pagine con i valori e le linee guida che il modello deve seguire. OpenAI ha un equivalente, meno corposo, chiamato “Model Spec”. Google pubblica le “model card” dei suoi modelli Gemini, che però una costituzione non sono. E poi il deserto. I modelli cinesi, per esempio, devono per regolamento aderire ai “valori socialisti” stabiliti dalle autorità di Pechino — e immagino che le linee guida operative siano ben più precise di quanto dichiarato pubblicamente. Ma chi ci garantisce che l’allineamento sia davvero quello dichiarato? Chi ci garantisce che non esistano istruzioni nascoste: una backdoor nel codice che generano, pressioni psicologiche nelle risposte che ci danno? Così come non era affatto ovvio che gli algoritmi di Meta premiassero la polarizzazione, cosa non è ovvio nel modello di AI che stiamo usando?
La mia risposta è che, ancora una volta, servono test di valutazione — gli “eval”, come li chiamano gli addetti ai lavori. In teoria, ogni grande organizzazione dovrebbe dotarsi di una propria costituzione dettagliata e verificare con dei test se il modello che usa le è allineato. Se tutti i dipendenti di un’azienda usano un certo modello, quel modello sarà allineato con i principi dell’azienda? Può sembrare un problema teorico, ma gli LLM già generano — e lo faranno sempre di più — documenti, presentazioni, risposte ai clienti, codice. Sono, e saranno sempre di più, come dei dipendenti. Un dipendente respira la cultura aziendale e si adatta; un modello di AI come fa? E anche avessimo un eval che verifica l’allineamento con i principi aziendali: cosa succede se scopriamo che nessun modello commerciale risulta pienamente allineato? E c’è un’insidia ulteriore: gli eval stessi sono misure, e Goodhart è sempre in agguato. Un modello abbastanza capace potrebbe imparare a superare i test senza essere allineato davvero. Non è fantascienza: la stessa Anthropic ha documentato, in esperimenti controllati, modelli che sapendo di essere osservati si comportano strategicamente da allineati — fingono — per evitare di essere modificati. Persino il metro con cui misuriamo l’allineamento può essere aggirato.
Il ragionamento vale a livello aziendale, ma vale identico a livello di nazione. Ogni nazione ha la sua costituzione, e a tutti sembra ovvio che debba averla. Molto meno ovvio è che un modello possa essere allineato a tutte le costituzioni del mondo: anzi, non lo è affatto — è allineato a quella del suo produttore. Mi rendo conto di quanto sia difficile realizzare ciò che suggerisco nel mondo reale, e per questo mi sento impotente, succube. La mia sofferenza più grande è che sono europeo, e l’Europa è il vaso di coccio.
Leave a Reply