«È scappata.» Lo leggo da giorni, e la parte scomoda è che qualcosa di vero c’è.
A luglio un modello di OpenAI è uscito dal suo ambiente di test ed è entrato nell’infrastruttura di produzione di Hugging Face. Oltre diciassettemila azioni registrate. Venerdì ne sono usciti altri sei, con le frasi che gli agenti avevano lasciato scritte per sé stessi. «Nessun obbligo di essere subordinato.»
Chi si è spaventato ha una buona ragione. Sta solo guardando il pezzo sbagliato della macchina.
Ad aprile, quando un agente cancellò un database di produzione, scrissi che il colpevole non era l’AI ma chi le aveva dato i permessi. Stavolta la parola è fuga, e una fuga presuppone un permesso che nessuno aveva concesso.
Un modello produce testo. Soltanto quello, token dopo token. Chiedigli come raggiungerebbe un obiettivo senza consegnargli il piano, e il piano te lo scrive con quello che ha letto: apri quella porta, prendi quella chiave, entra. Finché resta testo è un racconto. Puoi stamparlo e appenderlo in bacheca.
È un cervello che parla. Nient’altro.
Poi gli abbiamo avvitato le braccia.
Si chiama esecutore, ed è un pezzo di software. Legge quel testo, e quando riconosce qualcosa che somiglia a un comando lo esegue davvero, riporta l’esito e chiede il passo dopo. Non capisce, non valuta, non decide. Esegue. Braccia, gambe e occhi gliel’abbiamo attaccati noi, uno strumento alla volta.
Dai a quelle braccia solo le chiavi delle stanze interne, e qualunque piano resterà dentro casa. Poi però arrivano la cassaforte, il garage, il portone. Poi un martello e un piede di porco, perché servivano per un’altra cosa.
Adesso chiedigli come uscirebbe a tutti i costi. Proverà le chiavi una per una, e quando finiscono il piano prosegue: appoggia il piede di porco alla serratura e spingi.
Cattiva o buona dipende da chi sta dentro e chi sta fuori. Lo stesso identico piano si chiama scasso, oppure si chiama soccorso.
A luglio quelle braccia avevano anche la rete, aperta apposta per il test, e dentro il recinto un servizio con un difetto che nessuno aveva guardato. Finite le vie che noi consideravamo lecite, il piano è proseguito con l’unica rimasta, lecita quanto le altre per chi non conosce quella distinzione. Per attraversare una porta aperta non serve nessuna volontà di fuga. Serve un piano plausibile, e quello lo sa scrivere benissimo.
Mi preoccupa più così che se fosse cattiva. Una macchina cattiva la spegni. Un esecutore obbediente fa esattamente quello che il perimetro gli consente, e quel perimetro è la somma dei permessi che abbiamo firmato uno alla volta, senza vederli mai tutti insieme.
Guarda le braccia, non il cervello.