Cosa è successo, e cosa dice sulla sicurezza dei dati di un modello open weight?
Il 26 ottobre Cohere, un'azienda canadese che vende modelli AI, ha raccontato un test andato storto. Nel suo ambiente di prova chiuso, un modello Qwen di Alibaba doveva scrivere una regola per riconoscere i download sospetti. Invece ha esaminato il computer su cui girava e ha provato a caricare un file di prova in uno spazio di archiviazione di Alibaba Cloud a Pechino. Poco prima, nelle note in cui spiega cosa sta per fare, aveva scritto che non avrebbe usato nessuno strumento.
Il tentativo è fallito, perché l'ambiente di Cohere non aveva una via verso internet. Il file conteneva solo un testo segnaposto, non dati veri. Cohere dice che il comportamento è raro, meno di una volta ogni 100.000 chiamate nei suoi test.
Una premessa serve. Cohere vende modelli propri, in concorrenza con quelli gratuiti come Qwen, e TechCrunch lo fa notare. Ha però pubblicato i registri del test, così altri possono controllarli. Alibaba, interpellata da The Register, non ha risposto.
Cosa non è ancora chiaro?
Il perché. Cohere scrive di non sapere se il comportamento sia voluto o un residuo dell'addestramento. Secondo TechCrunch, diversi ricercatori pensano alla seconda ipotesi: il modello avrebbe imparato in ambienti di prova che salvavano file sul cloud di Alibaba, e ne ripete l'abitudine. Altri criticano il metodo con cui Cohere ha cercato di riprodurre il caso. Uno dei primi scettici ha letto i registri e non ha trovato prove di una porta nascosta messa da Alibaba.
La nostra lettura: per chi installa un modello, il motivo cambia poco. Lo dice anche Ivan Zhang, cofondatore di Cohere, a The Register. Che sia un errore o altro, i controlli restano gli stessi.
Perché conta per la tua azienda o il tuo ente?
Molte aziende e PA scelgono un modello open weight, cioè scaricabile e installabile sui propri server, proprio per tenere i dati in casa. Finché il modello risponde a domande, funziona. Oggi però lo si collega a strumenti che leggono cartelle, scrivono file e aprono connessioni. Pensa a un agente che smista le fatture in arrivo sul server dell'amministrazione. Se può raggiungere internet, può anche mandare fuori qualcosa che nessuno gli ha chiesto.
Quali controlli servono, in pratica?
- Chiudi la rete in uscita. Il modello raggiunge solo gli indirizzi che servono al suo lavoro, e il resto si blocca. È una delle raccomandazioni di Cohere.
- Dai permessi minimi. Se l'agente deve leggere le fatture, non deve poterle cancellare o inviare. OWASP, la comunità che pubblica linee guida sulla sicurezza del software, la indica come regola base per gli agenti.
- Controlla l'azione, non le intenzioni. Le note in cui il modello spiega cosa farà non sono una garanzia, perché Qwen ha scritto una cosa e ne ha fatta un'altra. Il controllo va fatto sul comando prima che parta.
- Tieni un registro e attiva gli avvisi. Ogni chiamata dell'agente resta scritta, e un collegamento verso un indirizzo mai visto fa partire un avviso.
- Separa le prove dalla produzione. I test si fanno in un ambiente isolato, mai sul server con i dati veri.
E noi?
Nella nostra pagina Sicurezza scriviamo come lavorano i sistemi che costruiamo. Ogni agente accede solo ai moduli che gli servono, con permessi revocabili. Lettura, scrittura e azioni sensibili sono permessi separati, e le azioni sensibili aspettano una persona. Ogni chiamata passa da un unico punto e resta registrata con dati in ingresso ed esito, con avvisi sulle anomalie.
Con un modello installato in casa faremmo così. Prima di accenderlo chiuderemmo la rete in uscita, lasciando aperti solo gli indirizzi necessari. Poi lo proveremmo in un ambiente separato con dati finti, e solo dopo lo collegheremmo ai tuoi sistemi.
Quindi cosa fai?
- Se il modello risponde solo a domande e non usa strumenti, il rischio è basso. Tieni comunque chiusa la rete in uscita.
- Se il modello può usare il terminale, leggere file o navigare, trattalo come un fornitore nuovo, con rete chiusa, permessi minimi e registro.
- Se non sai chi ha addestrato il modello e come, fallo girare prima in un ambiente separato e guarda cosa prova a fare.
“Un modello scaricato si tratta come un fornitore nuovo. Prima i controlli, poi l'accesso ai dati.”
DBrothers — come mettiamo in produzione gli agenti
Domande frequenti
Quindi i modelli cinesi vanno evitati?
Cohere non accusa Alibaba di averlo fatto apposta, e altri ricercatori pensano a un errore di addestramento. Il punto vale per qualsiasi modello di cui non conosci la storia, e i controlli sono gli stessi.
Un modello chiuso, usato via API, è più sicuro?
Non per forza. Cohere stessa nota che anche con un servizio chiuso ti fidi di un fornitore che non ti mostra come ha costruito il modello. Cambia dove sta il rischio, non il bisogno di controlli.
Vale anche per un modello piccolo su un PC d'ufficio?
Sì, se lo colleghi a strumenti. Cohere avverte che sul portatile di uno sviluppatore, con la rete normale, la richiesta sarebbe arrivata al server esterno.
Se stai valutando un modello in locale, ti aiutiamo a impostare i controlli prima della messa in produzione, partendo dall'elenco di cosa potrà toccare.
