Google LIMoE: la rivoluzione dell’intelligenza artificiale
Google ha annunciato una nuova tecnologia chiamata LIMoE, che secondo lui è un passo verso l’obiettivo di Google di un’architettura AI chiamata Pathways.
Pathways è un’architettura di intelligenza artificiale che è un modello che può imparare a eseguire molte attività attualmente eseguite da più algoritmi. LIMoE è un acronimo che sta per Multi-Modal Learning with a Sparse Mixture-of-Experts Model. È un modello che elabora visione e testo insieme.
Mentre altre architetture fanno cose simili, il successo sta nel modo in cui LIMoE svolge queste attività utilizzando una tecnica di rete neurale chiamata Sparse Model. Questo modello è stato descritto in un documento di ricerca del 2017 che introduce il metodo Mixture-of-Experts Layer (MoE), in un documento di ricerca intitolato Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer.
Nel 2021, Google ha annunciato un modello MoE chiamato GLaM: Efficient Scaling of Language Models with Mixture-of-Experts Trained on Text Only. La differenza con LIMoE è che funziona contemporaneamente con testo e immagini.
Un modello sparso differisce dai modelli “densi” perché invece di assegnare a ciascuna parte del modello l’esecuzione di un singolo compito, un modello sparso assegna il compito a diversi “esperti” specializzati in una parte del compito. Ciò ridurrà il costo computazionale e renderà il modello più efficiente utilizzando la tecnologia umana digitale .
Quindi, proprio come il cervello vede un cane e sa che è un cane, che è un husky e che l’husky ha il mantello bianco, questo modello può anche guardare un’immagine ed eseguire un compito allo stesso modo, assegnando compiti computazionali a diversi esperti specializzati nel compito identificano continuamente il cane, la sua razza, il suo colore, ecc.
Il modello LIMoE è un modello AI di Google che indirizza i problemi a “esperti” specializzati in un particolare compito e ottengono risultati simili o migliori rispetto ai metodi di risoluzione dei problemi esistenti. Una parte interessante del modello è il modo in cui alcuni esperti si specializzano principalmente nell’elaborazione delle immagini, altri si specializzano principalmente nell’elaborazione del testo e alcuni esperti si specializzano in entrambi.
In che modo LIMoE aiuta a raggiungere l’obiettivo di Google di un’architettura AI chiamata Pathways
Pathways è un nuovo modo di pensare all’intelligenza artificiale che affronta molti dei punti deboli dei sistemi esistenti e ne sintetizza i punti di forza. Per mostrarti cosa intendo, esaminiamo alcune delle carenze dell’attuale intelligenza artificiale e come puoi migliorare i tuoi viaggi.
I sistemi di intelligenza artificiale di oggi vengono spesso addestrati da zero su ogni nuovo problema: i parametri del modello matematico vengono inizializzati con numeri casuali. Immagina che ogni volta che impari una nuova abilità (come saltare la corda), dimentichi tutto ciò che hai imparato – come bilanciare, come saltare, come coordinare i movimenti delle mani – e iniziare a imparare qualsiasi nuova abilità da zero.
Questo è il modo in cui addestriamo la maggior parte dei modelli di machine learning oggi. Invece di estendere i modelli esistenti a nuove attività, addestriamo ogni nuovo modello a fare una cosa e una sola cosa (o talvolta ci specializziamo in un modello generale per una particolare attività). Di conseguenza, finiamo per sviluppare migliaia di modelli per migliaia di attività individuali. Non solo ci vuole più tempo per imparare ogni nuova attività in questo modo, ma richiede anche più dati per apprendere ogni nuova attività perché stiamo cercando di imparare tutto sul mondo.
Invece, Google vuole formare un modello che non solo sia in grado di gestire molte attività diverse, ma utilizzi e integri anche le sue competenze esistenti per apprendere nuove attività in modo più rapido ed efficiente. Ciò che il modello apprende addestrandosi su un compito, ad esempio imparare come le fotografie aeree possono prevedere l’elevazione di un paesaggio, può aiutare a determinare un altro compito, ad esempio prevedere come le inondazioni scorreranno attraverso quella terra.
Il modello LIMoE ha diverse capacità che possono essere sfruttate e modificate secondo necessità per eseguire compiti nuovi e più complessi, qualcosa di simile al modo in cui il cervello dei mammiferi generalizza i compiti. E, naturalmente, un modello di intelligenza artificiale non deve essere limitato a questi sensi familiari; I percorsi possono elaborare forme di dati più astratte, aiutando a trovare modelli utili che sono sfuggiti agli scienziati umani in sistemi complessi come il clima.
Gli avvertimenti dell’architettura LIMoE
Questa architettura ha i suoi svantaggi, che non sono menzionati nell’annuncio di Google ma sono discussi in un documento di ricerca pubblicato dal gigante di Internet.
Il documento di ricerca afferma che, come altri modelli di grandi dimensioni, LIMoE può anche introdurre distorsioni nei risultati. I ricercatori affermano di non aver “chiaramente” affrontato i problemi inerenti ai modelli di grandi dimensioni. Questo documento di ricerca del 2021 mette in guardia su come le tecnologie di intelligenza artificiale possono causare impatti negativi sulla società, come disuguaglianze, abusi, impatto economico e ambientale e considerazioni legali ed etiche.
I problemi comportamentali possono anche derivare da una tendenza a omogeneizzare i compiti, che può rappresentare un punto di fallimento che si riflette poi in altri compiti che seguono di seguito. Un documento di ricerca ammonitore afferma: “Il significato dei modelli fondamentali può essere riassunto in due parole: emergenza e omogeneizzazione. Casualità significa che il comportamento del sistema non è chiaro; è una fonte di eccitazione scientifica e paura di conseguenze indesiderate.
Un’altra nota di avvertimento relativa ai progressi dell’IA legati alla visione sono i problemi di precisione e distorsione. Esiste una storia di pregiudizi appresi nei modelli di visione artificiale, che porta a una minore precisione ed errori correlati per i gruppi sottorappresentati, portando di conseguenza a un uso inappropriato in alcuni ambienti del mondo reale.
Raggiungere la vera intelligenza artificiale con LIMoE
Se ti stavi chiedendo “cos’è la vera intelligenza artificiale?” all’inizio di questo pezzo, speriamo di essere riusciti a illuminarti in modo che tu possa utilizzare questo strumento a tuo vantaggio. La vera intelligenza artificiale è per natura autosufficiente e richiede pochissimo intervento umano. Con il lancio di LIMoE, siamo un passo più vicini a vederlo diventare davvero una realtà vivente.