Cosa vuol dire che Mistral Large 4 è open weight?
Immagina l'archivio di una clinica, o l'ufficio protocollo di un Comune. Vorrebbe un assistente AI, ma non può mandare un solo file su un server esterno. Il 29 ottobre quell'ufficio ha avuto una strada in più. Mistral, l'azienda francese di AI, ha reso pubblici i pesi di Mistral Large 4. Open weight vuol dire che puoi scaricare il modello e installarlo sui tuoi server, invece di usarlo solo attraverso il servizio di qualcun altro.
Il modello si era già visto in anteprima pubblica all'inizio del mese, ricorda OrcaRouter. Ora cambia chi lo fa girare. TechCrunch scrive che imprese e governi possono installare il sistema in autonomia. Mistral dichiara di averlo addestrato da zero su infrastruttura europea. La sua pagina su Hugging Face indica più di 160 lingue, comprese tutte le lingue ufficiali dell'UE.
Cosa puoi farci, e con quale licenza?
La licenza di Mistral è larga. Puoi usare, modificare e adattare il modello gratis, e metterlo dentro prodotti commerciali. C'è una sola condizione. Chi vende l'accesso diretto al modello come servizio deve firmare una licenza commerciale a parte. Secondo OrcaRouter, che ha analizzato il testo, l'uso interno e i prodotti che usano il modello dentro una funzione restano fuori da questa condizione.
Chiarita la licenza, la domanda successiva è dove far girare il modello. Oggi ti può arrivare in tre modi.
- A consumo, tramite il servizio di Mistral, l'API. Non installi nulla, ma le tue richieste viaggiano verso Mistral.
- In un'installazione privata su un cloud che usi già. Mistral indica che il modello è disponibile su Microsoft Foundry, con opzioni di installazione privata.
- In casa. Scarichi il modello e lo fai girare sui tuoi server. I tuoi documenti restano nel tuo perimetro, e tenerlo in funzione diventa compito tuo.
Un modello AI in casa fa risparmiare?
Di solito no, ed è giusto dirlo chiaro. Arvind Krishna, amministratore delegato di IBM, ha detto agli investitori che i modelli open weight oggi danno circa il 90% dell'efficacia dei migliori modelli chiusi. Secondo The Register, lo fanno a un costo d'uso tra il 10% e il 25%. Il difficile, ha aggiunto, è trovare le persone capaci di farli funzionare.
È lì che comincia il conto. OrcaRouter calcola un download di circa 1 TB. The Next Web riporta che anche la versione compressa richiede quattro processori grafici Nvidia di fascia alta. Per quasi tutti i team, conclude OrcaRouter, tenerlo in casa costa più dell'API scontata. Quello che compri è controllo su dove stanno i dati e su come si adatta il modello. In più, il prezzo attuale dell'API è una promozione di lancio senza data di fine. Il quadro può cambiare, e aggiorneremo questa pagina.
Perché conta per la tua azienda o il tuo ente?
Conta lo stesso, perché in molti uffici l'ostacolo sono i dati, non l'AI. Pensa alle cartelle di una clinica, alle pratiche allo sportello di un Comune, ai contratti di uno studio legale, alle buste paga. Finora un modello di punta voleva dire mandare quei documenti a un fornitore. Con un modello open weight, il riassunto di un referto o la bozza di una registrazione a protocollo si fanno su una macchina che controlli tu.
Quella piattaforma tratta dati di laboratorio in ambito sanitario, eppure gira su Google Cloud, non su server in casa. La nostra lettura: il controllo non dipende solo da dove sta il server. Dipende da chi vede cosa, da cosa resta registrato e da chi approva i passaggi delicati. Tenere il modello in casa è un modo per arrivarci, e un cloud governato bene è un altro.
E noi?
È anche il modo in cui costruiamo. I nostri sistemi sono model-agnostic. Claude, ChatGPT, modelli locali o i nostri agenti passano dalla stessa porta, e puoi cambiare modello senza toccare il sistema. Girano nel tuo perimetro, sul tuo cloud o sui tuoi server. Per questo un modello come Mistral Large 4 è un'opzione in più dietro quella porta, non un progetto nuovo.
Come lo useremmo: prendi un ente che ogni giorno protocolla i documenti in arrivo, il lavoro che fa il nostro agente di protocollo documentale. Il modello girerebbe sui server dell'ente. Leggerebbe ogni documento, proporrebbe classificazione e registrazione e lascerebbe traccia di ogni passaggio. La firma resta all'operatore. Se il mese dopo arriva un modello migliore, lo sostituisci senza rifare il flusso. È il lavoro del nostro servizio AI agents & automation.
Quindi, conviene un modello in casa?
- Se i tuoi dati non possono uscire dal tuo perimetro (cartelle cliniche, pratiche pubbliche, documenti legali) e li tratti ogni giorno, tieni il modello in casa o in un'installazione privata.
- Se i tuoi dati sono ordinari e vuoi risultati questo mese, usa l'API. È il modo più economico per partire.
- Se non sei sicuro, prova il modello via API su un esempio vero e non sensibile. Costruisci il sistema in modo da poterlo portare in casa dopo, senza riscriverlo.
“Dove gira il modello deve essere una scelta che puoi cambiare. Prima si costruisce il flusso, così il modello può passare dall'API ai tuoi server, o da un fornitore all'altro.”
DBrothers — come progettiamo i sistemi
Cos'altro devi sapere prima di decidere?
Mistral Large 4 è gratis?
La licenza è gratuita per l'uso interno e per i prodotti costruiti sopra. L'hardware, l'energia e le persone per farlo girare no.
Una piccola azienda può tenerlo in casa?
Non su un computer d'ufficio. Anche la versione compressa richiede hardware da data center. The Next Web aggiunge che Mistral prevede versioni più piccole, anche una per portatile, ma senza date.
È il modello migliore per il mio lavoro?
Dipende dai tuoi documenti, non da una classifica. I punteggi pubblicati sono di Mistral, e OrcaRouter nota che non era ancora uscita nessuna verifica indipendente. Provalo sui tuoi esempi prima di scegliere.
Le classifiche cambiano ogni mese, il lavoro dei tuoi uffici no. Se vuoi capire se Mistral Large 4 se la cava con i tuoi documenti, e se deve stare in cloud o sui tuoi server, si comincia provandolo insieme su un esempio vero.
