La nascita di un modello AI, Vitruvian-1.5 sta arrivando. Un modello AI è un enorme poligono convesso multidimensionale di numeri reali. Non importa come siano fatti, ma per chi lo volesse sapere, li preferiamo organizzati in tensori: Nell’AI si lavora spesso con i tensori multilineari, sia per esprimere relazioni tra oggetti algebrici, sia per calcoli più interessanti come il gradiente. Dallo storico Word2Vec in avanti, questi oggetti della matematica sono la base dell’AI applicata al linguaggio, e non solo. Quando sollecitato, un modello risponde. Quella sotto è la risposta di un modello all’ingresso di nuovi dati. Sugli assi X,Y si possono osservare gli embeddings che sono null’altro che le trasformate dei tensori, ovvero sono gli oggetti matematici all’interno del modello che rappresentano i “concetti” stimolati. Sull’asse Z invece si può osservare la complessità della rete che si sollecita per i dati X,Y che si sono attivati. Ricapitolando, sul piano X,Y si osservano le aree del modello che vengono attivate, l’altezza sull’asse Z ci dice quanto siano complesse le attivazioni. 👉 perché si disegnano queste cose per analizzare un modello? Perche questa preparazione è il 90% della soluzione! Quel pennacchio viola che vedete giù è il miracolo della matematica che scatena un quadriglione di token (parte blu e verde) ed alza un “ragionamento” (pennacchio viola). Non si tratta del nostro modo di ragionare, ma è la migliore alternativa sul mercato dopo l’uomo. 👉 Siamo a lavoro su Vitruvian-1.5 Più capace, più rigoroso, più veloce. Vitruvian, quando interrogato, spariglia miliardi di Token, li proietta in infiniti spazi, cerca i migliori e costruisce un percorso di ragionamento che produce una risposta. Nella figura sotto vedete come lo guardiamo nei suoi primi secondi di vita. Vitruvian impara a ragionare sulla lingua di Dante e Petrarca, tra le più belle, ma anche tra le più difficili del mondo. Se ne sa ancora poco, quantomeno non quanto ne vorremmo, ma tra di noi inizia a girare una teoria: sarà mica che in Italia abbiamo inventato il cannocchiale, il telefono, la radio, il PC e molto altro … anche perché sin da piccoli siamo immersi in un linguaggio complicatissimo che chiamiamo italiano? Non abbiamo una risposta, ma non vediamo l’ora di portare ai benchmarks questo nuovo piccolo mostro: Vitruvian-1.5-XXXL, modello da 20GB di matematica pura. #CambiamoTutto, arriva Vitruvian-1.5
In Italia in ambito AI c’è chi millanta o copia, per fortuna ci siete voi a fare reale innovazione! Complimenti, tanta ammirazione per questo progetto!
Capisco forse meno di un decimo di quello che scrivi Nicola, ma vi sto seguendo da un po' e proprio perché io uso l'IA generativa per la scrittura nella lingua di Dante, visto che Minerva ancora è limitato a funzioni educational, mi piacerebbe testare un modello italiano rispetto a Mistral che sto usando con soddisfazione da un bel po' dopo averlo testato in confronto a Claude che è stato il primo a darmi un po' di soddisfazioni, con Deepseek mi piace molto vedere il train-of-thoughts ma non ho ancora avuto risultati così eclatanti. Si può testare il modello?
Fantastico ! Continuate a innovare, speriamo arrivino presto finanziamenti in ambito AI anche in Italia. Vogliamo anche noi progetti come quello annunciato da Macron nei giorni scorsi
Vi faccio i miei complimenti per quello che state realizzando ma mi permetto un consiglio, nel mio piccolo. Per quanto questa tipologia di post sia davvero affascinante per chi è addetto ai lavori, rimane davvero ostica per chi non lo è, ovvero la maggior parte (penso che il 95% non sa cosa sia un tensore, word2vec, token e via dicendo). Penso che post più concreti, con esempi di quello che riesce a fare la vostra tecnologia, paragoni con gli altri modelli esistenti, vi possano portare più seguito e vi aiutino anche a crescere in termini di conoscenza per i non adetti ai lavori. Il rischio, altrimenti, è di rimanere in una "bolla" adatta solo a chi è del mestiere. My 2 cents.
Sarebbe davvero curioso comprendere fino in fondo quali strutture e significati latenti di un linguaggio questi modelli imparano e quindi quali vantaggi vi siano addestrando sul linguaggio italiano rispetto ad altri linguaggi
Caro Nicola, questa tua osservazione sulla lingua italiana e la sua complessità mi ha fatto venire in mente una domanda che ho rivolto ad un grande studioso di linguistica Carmelo Licitra Rosa. È cioè, se siano state la bocca e l’apparato fonatorio ad insegnare ai primordi il linguaggio o se sia stato il cervello a forzare l’apparato fonatorio a parlare, abbia più di una risposta. Infatti quando studio il cinese che non ha casi per i sostantivi e gli aggettivi, non ha tempi e neppure modi verbali, per cui devi sempre affidarti alle preposizioni e agli avverbi per farti capire e lo confronto con architetture verbali maestose ed imponenti come l’attrazione obliqua del greco o la sintassi latina di Tacito mi rispondo da solo che in certe famiglie umane l’apparato fonatorio abbia prevalso nel parlare e in quelle complesse che ho citato sia stato l’apparato psichico a guidare gli organi della fonazione. Questo darebbe un senso alla vostra intuizione.
Quindi se ho capito bene: riduzione degli embeddings su un piano a 2-d (t-sne o pca etc) mentre sulla variabile z invece si interpreta come “complessità di attivazione” ? Tipo ? Profondità di attivazione (numero di operazioni usate per l’attivazione) ? Cosa invece riguardo alla complessità temporale (tempo necessario all’attivazione, o throughout in/out) ?
Caro Nicola.sapendo quanta passione ci metti insieme al tuo team e" facile da Italiani e da Europei tifare per te.
Evviva l'Italia alla riscossa, evviva Vitruvian! Speriamo che questa iniziativa non venga ammazzata come accaduto fin troppe volte alle buone idee italiane. Come cantava Lucio Dalla, "è chiaro che il pensiero dà fastidio"...
Head of Future Lab - Allianz Italia
8 mesiCapisco assai poco di "poligoni convessi multidimensionali" e "tensori multilineari".... ...però sarei molto grato se riuscisse a spiegarmi in che modo e perché un LLM "autoctono" potrebbe lavorare significativamente meglio su applicazioni di business in Italiano: non mi è chiarissimo, visto che comunque qualsiasi token viene trattato dopo una codifica numerica. Mi interessa perché stiamo sperimentando gli LLM su applicazioni complesse in ambito assicurativo, e abbiamo già capito che il "linguaggio delle polizze" è ostico per questa tecnologia (probabilmente perché sotto-rappresentato nell'addestramento di base) - anche supportata da RAG - e mi chiedevo se Vitruvian potesse rappresentare un plus in questo specifico campo applicativo... Specialmente dopo la sua suggestione sul fatto che magari dietro un "linguaggio complesso" si celano abilità maggiori...