Ho trascorso del tempo a testare direttamente il layer di verifica di Mira. Non solo leggendo come funziona, ma eseguendo effettivamente risposte generate dall'AI attraverso di esso e osservando cosa succede. Il presupposto alla base di Mira è abbastanza semplice: i modelli AI sono potenti, ma non sono costantemente affidabili. Invece di cercare di costruire un modello perfetto, Mira cerca di verificare ciò che un modello afferma lasciando che altri modelli controllino le affermazioni.
Chiunque lavori con modelli di linguaggio di grandi dimensioni per un periodo di tempo sufficientemente lungo alla fine li vede allucinare. Non lo stanno facendo intenzionalmente. Questi sistemi generano testo basato sulla probabilità, prevedendo ciò che suona giusto dopo. La maggior parte delle volte funziona sorprendentemente bene. Ma a volte l'output suona convincente pur essendo comunque errato. In situazioni informali è gestibile. In campi come la finanza, la medicina o il diritto, diventa più serio.
Mira parte dall'assunzione che i modelli più grandi da soli non risolveranno completamente questo. I sistemi più grandi riducono gli errori, ma non smettono di indovinare del tutto. Anche i modelli più forti occasionalmente producono inaccuratezze sicure, soprattutto quando i prompt spingono in territori insoliti o combinano diversi tipi di conoscenza.
Quindi Mira non cerca di correggere il modello stesso. Lo avvolge.
Quando una risposta dell'IA passa attraverso il sistema, non viene trattata come un singolo blocco di testo. Mira scompone l'output in reclami individuali. Ogni reclamo viene quindi trasformato in una domanda standardizzata che altri modelli possono valutare più facilmente.
Questo passaggio sembra piccolo, ma conta. Modelli diversi possono interpretare la stessa frase in modo leggermente diverso. Se ogni verificatore comprende un reclamo a modo suo, i risultati diventano disordinati. Standardizzando prima il formato, Mira cerca di ridurre quell'ambiguità prima di inviare il reclamo per la valutazione.
Una volta strutturati, quei reclami vengono inviati ai nodi verificatori attraverso la rete. Ogni nodo esegue il proprio modello e decide se il reclamo regge. In pratica, funziona un po' come il voto. Se una forte maggioranza di modelli concorda, il reclamo passa. Se le risposte divergono troppo, viene segnalato.
Osservare questo processo sembra meno chiedere a un singolo IA una risposta e più consultare un piccolo pannello. Non garantisce che la risposta sia corretta, ma rende più difficile che un errore sicuro di un modello passi inosservato.
Poiché il sistema opera in un ambiente crittografico, gli incentivi sono incorporati nel processo. I verificatori scommettono token MIRA prima di partecipare. Quando le loro valutazioni corrispondono al consenso della rete, guadagnano ricompense. Se le loro risposte divergono ripetutamente in modi sospetti, rischiano di perdere parte di quella scommessa.
Per chiunque sia familiare con i sistemi Proof-of-Stake, la logica è riconoscibile. La differenza qui è che lo sforzo computazionale non serve solo a proteggere una catena. La rete sta effettivamente spendendo calcolo per valutare le informazioni prodotte dall'IA.
In situazioni fattuali semplici, il sistema si comporta grosso modo come ci si aspetterebbe. Le allucinazioni chiare tendono a essere catturate rapidamente e i reclami ovviamente errati raramente sopravvivono alla revisione della maggioranza. Dove le cose diventano meno dirette è con le sfumature. Non ogni dichiarazione si adatta perfettamente a una struttura vera o falsa. Interpretazioni, riassunti e spiegazioni contestuali sono più difficili da scomporre in reclami puliti.
Mira cerca di gestire questo con un motore di trasformazione che formalizza le affermazioni prima della verifica. Ma quel passaggio introduce il proprio strato di interpretazione. In altre parole, il sistema dipende ancora da quanto bene funziona quel processo di trasformazione.
C'è anche il costo della verifica stessa. Eseguire più modelli su ogni reclamo richiede tempo e calcolo. Per la validazione del backend o flussi di lavoro ad alto rischio, quel sovraccarico può essere accettabile. Per le applicazioni in tempo reale, potrebbe diventare un collo di bottiglia.
Una scelta di design che ho trovato interessante è come Mira gestisce l'esposizione dei dati. Invece di inviare un documento completo a un singolo verificatore, il sistema frammenta i reclami tra diversi nodi. In questo modo, nessun singolo partecipante vede l'intero testo originale. Da un punto di vista della privacy, quella struttura ha senso.
Allo stesso tempo, la fase in cui il contenuto originale viene trasformato in reclami rimane un punto di fiducia importante nell'architettura. Se quel livello fosse compromesso o implementato male, potrebbe influenzare tutto ciò che segue.
Facendo un passo indietro, Mira sta davvero sperimentando un modo diverso di pensare all'affidabilità dell'IA. Invece di presumere che un modello debba sempre essere fidato, il sistema presume che i modelli commetteranno errori e costruisce un meccanismo per controllarli l'uno contro l'altro.
Sembra più vicino alla revisione tra pari che all'autorità.
Se questo funziona su larga scala dipenderà dalla diversità della rete di verificatori. Se partecipano molti modelli diversi, il consenso diventa più significativo. Se la maggior parte dei verificatori si basa su sistemi simili, la rete potrebbe finire per rinforzare gli stessi punti ciechi.
Dopo aver passato del tempo interagendo con esso, non vedo Mira come una soluzione perfetta. Aggiunge complessità e latenza, e la sua affidabilità dipende dalla salute della rete. Ma affronta qualcosa di reale riguardo all'IA generativa. L'allucinazione non è semplicemente un bug che scompare man mano che i modelli diventano più grandi. Fa parte di come funzionano i sistemi probabilistici.
Aggiungere uno strato di verifica basato su più valutazioni indipendenti è una risposta pratica a quella realtà.
La domanda che pone Mira è piuttosto semplice: dovremmo fidarci della fiducia di un singolo sistema di intelligenza artificiale o dovremmo fare affidamento sull'accordo tra più sistemi indipendenti?
In questo momento, la seconda opzione sembra la direzione più sicura da esplorare.
