Fonte della ristampa dell'articolo: Silicon Star People

Fonte originale: Silicon Star People

Fonte immagine: generata da Unbounded AI

Parlando dei creatori dei modelli di grandi dimensioni più importanti del mondo e dell'intelligenza artificiale generativa, oltre a nomi come OpenAI, Google, Meta e Anthropic, se ti concentri solo sulla Silicon Valley, potrebbe davvero essere necessario aggiornare la base di conoscenza.

Recentemente a Parigi, in Francia, una start-up di intelligenza artificiale fondata solo sei mesi fa e che conta solo 22 dipendenti è improvvisamente emersa e ha annunciato il completamento di 385 milioni di euro (415 milioni di dollari) in finanziamenti di serie A. Tra gli investitori figura a16z, Lightspeed Venture Capital, Salesforce e BNP Paribas e altre istituzioni rinomate. Di conseguenza, la sua valutazione è aumentata di oltre sette volte in soli sei mesi, superando i 2 miliardi di dollari, unendosi facilmente ai ranghi degli unicorni e stabilendo un record per il finanziamento più veloce nella storia delle società open source.

Il nome di questa azienda è Mistral AI, fondata nel maggio di quest'anno da ex dipendenti di Meta e Google DeepMind. Concentrarsi sullo sviluppo di tecnologie di intelligenza artificiale generativa, in particolare per la creazione di chatbot online, motori di ricerca e altri prodotti basati sull'intelligenza artificiale.

Vale la pena ricordare che Mistral AI, che era solo un mese dopo la sua fondazione, non aveva ancora annunciato un prodotto e aveva solo 6 dipendenti all'epoca, ha utilizzato un "mitico" PPT di 7 pagine per vincere un seed round di 113 dollari USA milioni, facendo scalpore nell’intero settore europeo dell’intelligenza artificiale.

Essendo la nuova stella più in voga del settore, Mistral AI è considerata una delle poche aziende di intelligenza artificiale in grado di competere con la tecnologia OpenAI. Ma a differenza di OpenAI, che non è “Open”, Mistral AI ha sempre insistito nel promuovere metodi software open source, consentendo agli utenti di copiare, modificare e riutilizzare liberamente il suo codice informatico, fornendo agli sviluppatori esterni tutto ciò di cui hanno bisogno. Con la missione dell'azienda di "guidare la rivoluzione del modello aperto", si confronta con i giganti dell'intelligenza artificiale come OpenAI e Google che seguono la strada del closed source.

E come ha fatto Mistral AI, di dimensioni così ridotte, a conquistare più di una dozzina di importanti VC con il suo modello di intelligenza artificiale potente ed efficiente? Come ha messo in pratica il concetto di open source e ha ottenuto un supporto e un riconoscimento travolgenti da parte della vasta comunità di sviluppatori? Questi sono inseparabili dal team fondatore dell'azienda.

Esperti tecnici di livello mondiale uniscono le forze per creare la “versione open source di OpenAI” europea

Tra i tre cofondatori di Mistral AI, il CEO Arthur Mensch (al centro) è stato un ricercatore presso Google DeepMind e ha partecipato a molti modelli classici di DeepMind tra cui Flamingo, Chinchilla e Gopher. È anche uno dei principali contributori di Flamingo e Chinchilla una profonda conoscenza di multimodale, RAG, ottimizzazione degli algoritmi e altre tecnologie.

Il Chief Technology Officer Timothée Lacroix (a destra) e il Chief Scientist Guillaume Lample (a sinistra) erano in precedenza ricercatori principali presso il Laboratorio di intelligenza artificiale di Meta Paris. Hanno condotto ricerche approfondite sul ragionamento dei modelli, sul pre-addestramento e sull'incorporamento dei modelli, e sono i fondatori di Llama e Llama2 È un contributore tecnico fondamentale e ha pubblicato molti importanti articoli accademici. Il loro ex datore di lavoro Meta è anche una delle aziende rappresentative che incoraggia l'open source.

I dipendenti dell'azienda amano scherzare dicendo che le iniziali del cognome del fondatore sono "L.L.M.", che è l'abbreviazione del grande modello linguistico, che sembra prefigurare la nascita e il destino di Mistral.

E questo giovane team ha anche le caratteristiche tipiche dei migliori talenti delle aziende di intelligenza artificiale: principalmente scienziati, forti capacità di ricerca, stack tecnologico complementare e completo. Tra questi, 7 provengono da Meta (4 sono partecipanti a Llama), 3 provengono da Hugging Face e 2 provengono da Deepmind. La maggior parte di loro ha partecipato allo sviluppo di noti progetti di modelli linguistici di grandi dimensioni.

Inoltre, ci sono il Chief Commercial Officer Florian Bressand, che ha lavorato presso McKinsey per 12 anni e ha aiutato l'unicorno SaaS francese Mirakl a crescere dalla serie B alla serie E, e Cédric O, ex consulente del Segretario di Stato francese per gli affari digitali, per proteggere questo convoglio guidato da scienziati.

Il team è capace, efficiente e strettamente coordinato, con esperti bravi in ​​ogni aspetto. Questa chiara composizione del team e gli attributi tecnologici degli scienziati pratici si adattano anche allo stile e ai prodotti di Mistral AI.

Un collegamento magnetico "diretto" porta il nuovo re dei modelli open source

Due settimane fa, senza alcun preavviso, senza blog ufficiale e senza demo, Mistral AI ha pubblicato un collegamento magnetico sulla piattaforma social

Non ci sono drammi ambigui e fantasiose spinte come OpenAI, né il "video con effetti speciali" attentamente modificato quando Google ha rilasciato Gemini, e non c'è nemmeno una frase introduttiva. Il metodo di annuncio ufficiale di Mistral AI è così senza pretese, semplice e rozzo. Aderendo allo stile di "se posso fare qualcosa bene, non ti dirò mai sciocchezze", diventando un "flusso pulito" unico nel circolo dell'IA.

I netizen hanno affermato che questo metodo di rilascio di nuovi prodotti è troppo unico, quindi la prossima volta non dovrebbe essere consegnato direttamente via aerea? Altri non lo sopportavano: "Hai fatto un errore. Avresti dovuto postare prima un blog lungo, senza la modella. Era una presa in giro per gli altri".

Naturalmente, molti sviluppatori erano entusiasti e hanno subito detto che il loro fine settimana era stato "rovinato" perché non vedevano l'ora di scaricarlo ed eseguirlo immediatamente.

Ecco una breve spiegazione di MoE, che sta per Mixture of Experts (Mixture of Experts Model). Divide complesse attività di analisi e previsione in una serie di sottoattività più piccole e più facili da gestire. Ciascuna sottoattività è responsabile degli "esperti". adatta al campo specifico. L'architettura MoE non solo migliora l'efficienza del modello nell'elaborazione delle informazioni, ma riduce anche i costi operativi.

Si dice che OpenAI utilizzi questo metodo per addestrare GPT-4 dallo scorso anno e Mistral AI si impegna a fornire alle aziende un'opzione open source che sia "infinitamente vicina" a GPT-4.

Nello specifico per Mixtral 8x7B nel collegamento, i parametri totali sono 46,7B, ma ciascun token utilizza solo 12,9B. Pertanto, elabora input e genera output alla stessa velocità e allo stesso costo del modello 12.9B. Mistral 8x7B ha una lunghezza del contesto di 32k Token e supporta inglese, francese, italiano, tedesco e spagnolo. Funziona bene nella generazione del codice, supporta la messa a punto del modello che segue le istruzioni ed è open source e disponibile in commercio con la licenza Apache 2.0.

In termini di prestazioni, Mixtral 8x7B supera il Llama 2 70B da 70 miliardi di parametri nella maggior parte dei benchmark e la velocità di inferenza è aumentata di 6 volte. Nel test MT-Bench, che simula scenari di conversazione del mondo reale e valuta l'ampia coerenza linguistica e la ricchezza di informazioni, ha raggiunto un punteggio di 8,30 e le sue prestazioni sono paragonabili a GPT3.5, rendendolo il miglior modello open source.

Brian Roemmele, fondatore del sito Web di business e tecnologia ReadMultiplex e noto scienziato, ha definito l'open source di Mixtral 8x7B "uno dei momenti più importanti da quando Meta ha rilasciato per la prima volta LaMMA" su Twitter e una "innovazione scioccante e epocale".

E qualcuno ha già messo a punto un modello completamente gratuito e aperto Dolphin-2.5-Mixtral-8x7 basato su di esso. "Risponderà a tutti i comandi dell'utente senza giudicare. Non ti imporrà alcun standard morale e mostrerà tutte le informazioni disponibili su Internet". Non incontrerai mai più "Come assistente AI, non posso..." ." domanda.

I netizen hanno persino elogiato Mistral AI per i suoi vari trucchi, elogiando Mistral AI come "la squadra più sincera e leale del pianeta" che fa veramente cose pratiche per gli sviluppatori, rendendo finalmente l'IA "aperta" una realtà.

Un collegamento magnetico estremamente semplice ha acceso l’intera comunità dell’intelligenza artificiale. Se torni indietro e guardi la pagina dell'account X di Mistral AI, scoprirai che non ci sono immagini o video nell'intero tweet ufficiale e dal momento della registrazione sono stati pubblicati un totale di tre contenuti. L'articolo precedente riguardava il modello open source Mistral 7B lanciato dal team a settembre, anch'esso dotato solo di collegamenti magnetici con lo stesso scopo.

Il Mistral 7B, costruito dal team in soli 3 mesi, è ancora considerato dall'industria il leader tra i piccoli modelli 7-13B. Ha sovraperformato il Llama 2 13B in quasi tutti i benchmark e ha anche battuto il LLaMA-1 34B in codice, matematica e inferenza. E l'azienda non apre l'accesso a Mistral 7B tramite API, ma lo scarica gratuitamente, in modo che gli sviluppatori possano eseguirlo sui propri dispositivi e server.

Nel primo tweet che annunciava il suo status di famiglia, Mistral AI non aveva ancora intenzione di fare pubbliche relazioni, e il suo stile di pittura era indescrivibilmente speciale: "Questo è l'account ufficiale di Mistral AI, una società recentemente creata da @GuillaumeLample, @arthurmensch e @tlacroix6 ... Noi La mia identità è stata rubata su Twitter, questo è vero :).”

Questo tipo di persona onesta che si concentra sulla tecnologia ha immediatamente attirato l'attenzione degli utenti della rete. Sono abituato allo splendido marketing e all'eloquente confezione di varie società di intelligenza artificiale. Il solo logo di Mistral AI, che sembra realizzato in Word, ha attirato innumerevoli fan.

Alcune persone hanno anche gridato a Mistral AI, quando hai soldi, assumi un artista migliore!

Ovviamente, Mistral AI non è a corto di soldi adesso. Ma come startup che è stata determinata a seguire lo sviluppo open source fin dall'inizio, il suo percorso di profitto a lungo termine può avere successo? Come vedono loro stessi il gioco tra centralizzazione e decentralizzazione nello sviluppo tecnologico?

Aderire all'open source, "è il passato e il futuro"

Nella pagina di presentazione dell'azienda del sito Web ufficiale, Mistral AI ha affermato che si tratta di un team che si muove rapidamente, lavora sodo ed è trasparente. La sua missione è portare la potente tecnologia di intelligenza artificiale generativa alla più ampia comunità di sviluppatori di software e utenti aziendali, con applicazione come base. Spinto a rendere il modello veramente utile al mondo reale. E spera di essere uno dei principali sostenitori della comunità dell'intelligenza artificiale aperta, portando i modelli open source ai livelli di prestazione più avanzati.

Molte aziende concorrenti come OpenAI e Google ritengono che rendere open source algoritmi di modelli di grandi dimensioni sia pericoloso e che si possa abusare della tecnologia sottostante per diffondere disinformazione, incitamento all’odio e creare altre cose dannose. Potevano rilasciarlo al pubblico solo come chatbot online dopo aver trascorso mesi a creare guardrail digitali.

Mistral AI ritiene che guidare la rivoluzione dell’intelligenza artificiale generativa debba essere open source. Lo sviluppo di modelli supportati dalla comunità è la strada migliore per sottoporsi a un controllo rigoroso e combattere i pregiudizi. Formando e rilasciando pubblicamente modelli superiori, consentendo alla comunità di sviluppatori e ai progetti open source di maggior successo di guidarsi e ottimizzarsi a vicenda, è possibile costruire un’alternativa credibile per contrastare l’emergente oligarchia dell’IA.

Il CEO Arthur Mensch ha dichiarato nel blog della partner di Greylock Sarah Guo che se qualcuno raccoglie informazioni per compiere determinate azioni dannose, potrebbe essere più facile per i motori di ricerca tradizionali piuttosto che per LLM raggiungere questo obiettivo. Bandire le piccole imprese dall’open source andrà sicuramente a vantaggio delle grandi aziende, ma ciò non è favorevole allo sviluppo complessivo dell’ecosistema AI.

Allo stesso tempo, Mensch ha anche affermato che negli ultimi dieci anni circa, la maggior parte dei grandi cambiamenti nella tecnologia informatica – dai browser web, ai sistemi operativi, dai linguaggi di programmazione ai database – hanno beneficiato di soluzioni open source. Infatti, fino al 2020 (prima del rilascio di GPT-3), quasi tutta la ricerca sui modelli linguistici su larga scala era aperta e trasparente. Tuttavia, dal 2020, le cose sono cambiate poiché alcune aziende hanno preso l’iniziativa in questo settore e ne hanno compreso il valore.

"Crediamo che entrare troppo presto nella fase closed-source sia dannoso per lo sviluppo scientifico", ha affermato Arthur Mensch. "In un ambiente opaco, tutti possono investire nello stesso compito contemporaneamente, il che porta a un notevole spreco di risorse. perché non può essere condiviso." Ha anche affermato che il modello a peso aperto può adattarsi perfettamente e risolvere il core business in vari campi verticali del settore. Gli sviluppatori possono personalizzare i guardrail e il tono editoriale che desiderano e il contenuto generato non si basa più sul scelte e pregiudizi dei fornitori di API Queste sono cose che il modello della scatola nera non può eguagliare.

Questo spirito di condivisione open source ha naturalmente conquistato il sostegno della maggior parte degli sviluppatori nell'era odierna di monopolio da parte dei giganti del settore dell'intelligenza artificiale e delle piccole aziende che lottano per sopravvivere. Le persone hanno espresso entusiasmo nel vedere i modelli open source raggiungere rapidamente i modelli closed source, ritenendo che "fare di più con meno" sia la parte più stimolante dell'ecosistema open source e sperando che Mistral AI possa accelerare l'innovazione nel campo open source con il infusione di nuovi fondi.

"Speriamo di guidare la comunità in una direzione migliore e più sicura condividendo la nostra tecnologia in modo più aperto. Il nostro vero obiettivo è assumere una posizione di leadership e cambiare le regole del gioco, perché la direzione attuale non è quella giusta", Arthur Mensch disse.

Può essere open source e "guadagnare soldi" allo stesso tempo?

È stato riferito che Mistral AI non ha ancora iniziato a realizzare profitti. Sembra esserci sempre una certa tensione tra "open source" e "commercializzazione". Come integrare efficacemente i due è una questione che non può essere ignorata nello sviluppo a lungo termine di una società LLM open source.

Attualmente, Mistral AI ha lanciato una versione beta della piattaforma di hosting “La Plateforme” basata sul modello da lei sviluppato, fornendo tre categorie di modelli: Mistral Tiny, Mistral Small e Mistral Medium.

Tra questi, Mistral 7B e Mixtral 8x7B appartengono rispettivamente a Mistral Tiny e Mistral Small e sono disponibili per il download gratuito da parte degli utenti, mentre Mistral Medium non è ancora stato open source. Successivamente, questo modello più potente può essere addebitato sotto forma di chiamate API oppure può fornire alle aziende messa a punto del modello, RAG, servizi personalizzati, ecc.

Inoltre, per quanto riguarda il mercato, a differenza di OpenAI, che si rivolge agli Stati Uniti e al mondo, Mistral AI ha posizionato la sua scena in Europa.

Ci sono un gran numero di aziende Fortune 500 qui che non si preoccupano della propria capacità di pagare. Rispetto agli Stati Uniti, l’Europa ha soprattutto industrie tradizionali e ha bisogni più urgenti di tecnologie emergenti. Allo stesso tempo, l’Europa ha una supervisione dei dati più rigorosa sulle nuove tecnologie e ha requisiti più elevati di apertura e trasparenza delle soluzioni, il che è molto adatto alla strategia open source di Mistral AI.

Inoltre, il fondatore Arthur Mensch ritiene che l’Europa abbia un vantaggio unico in termini di pool di talenti nell’intelligenza artificiale: “Qui i matematici sono molto bravi e i matematici svolgono un ruolo vitale nella ricerca sull’intelligenza artificiale. La maggior parte di queste persone sono più in grado di adattarsi alla vita in Europa , non devi andare negli Stati Uniti."

"Grazie a DeepMind, l'ecosistema dell'intelligenza artificiale a Londra è cresciuto visibilmente, seguito da vicino da Parigi. Ci sono già centinaia di startup a Parigi. Anche se sono ancora lontane dalla Silicon Valley, credo che siano simili a quelle della Bay Area ." Volano apparirà anche in Francia."

Ha anche rivelato alla Radio nazionale francese che Mistral AI rilascerà un modello open source di livello GPT-4 il prossimo anno.

In geografia e climatologia, il "maestrale" si riferisce a un vento settentrionale forte, persistente e freddo che soffia sulla Francia meridionale e sul Mediterraneo nordoccidentale. Solitamente soffiano durante l'inverno e l'inizio della primavera, hanno un impatto significativo sul clima e sull'ambiente locale, portando a volte temperature molto basse e cieli sereni.

Mistral AI può sperare che possa essere come questo vento freddo e pungente, portando nuove idee, leadership rivoluzionaria e una forte influenza nell’era dell’intelligenza artificiale, che si sta sviluppando a un ritmo rapido. L’ascesa di un nuovo re dell’intelligenza artificiale nel continente europeo, a decine di migliaia di chilometri dalla Silicon Valley, è esattamente ciò che gli sviluppatori di tutto il mondo amano sentire.