Meta AI rivoluziona: il modello linguistico Llama funziona su Xbox 360 vecchia di decenni!

Adattare llama2.c a Xbox 360 non è stata un’impresa facile

Una questione spinosa: Il progetto open-source llama2.c è stato sviluppato per eseguire una versione semplificata del modello Llama 2 interamente in codice C. Questo modello “ridotto” di Llama 2 trae ispirazione da llama.cpp, un progetto realizzato per abilitare l’inferenza LLM su una vasta gamma di hardware, dai dispositivi locali alle piattaforme basate su cloud. Questi esperimenti di codice compatto sono ora utilizzati per gestire la tecnologia AI su praticamente qualsiasi dispositivo dotato di un chip, sottolineando l’accessibilità e la versatilità crescenti degli strumenti AI.

Dopo aver visto Exo Labs eseguire un modello di linguaggio avanzato su un antico Pentium II con Windows 98, lo sviluppatore Andrei David ha deciso di affrontare una sfida ancora più insolita. Rispolverando la sua console Xbox 360, ha iniziato a lavorare per far funzionare su quella macchina quasi ventennale un modello AI della famiglia di LLM di Meta AI.

David ha rivelato su X di essere riuscito a portare llama2.c sulla console di gioco di Microsoft del 2005. Tuttavia, il processo non è stato privo di notevoli ostacoli. La CPU PowerPC della Xbox 360 è un’architettura big-endian, il che ha richiesto una vasta conversione dell’endianness sia per la configurazione del modello sia per i suoi pesi. Inoltre, ha dovuto apportare importanti modifiche e ottimizzazioni al codice originale per farlo funzionare sull’hardware obsoleto.

La gestione della memoria ha rappresentato un’altra sfida significativa. Il modello llama2 da 60MB doveva essere attentamente strutturato per adattarsi all’architettura di memoria unificata della Xbox 360, dove CPU e GPU condividono lo stesso pool di RAM. Secondo David, l’architettura di memoria della Xbox 360 era notevolmente all’avanguardia per il suo tempo, anticipando le tecniche di gestione della memoria ora standard nelle moderne console di gioco e negli APU.

LEGGI  Russia Isola la sua Internet dal Mondo, la Maggior Parte delle VPN Non Funzionano

Dopo un’intensa programmazione e ottimizzazione, David è riuscito a far funzionare llama2 sulla sua Xbox 360 utilizzando un semplice prompt: “Sleep Joe said”. Nonostante il modello llama2 consista in solo 700 righe di codice C senza dipendenze esterne, David ha notato che può offrire prestazioni “sorprendentemente” elevate quando adattato a un dominio sufficientemente ristretto.

David ha spiegato che lavorare all’interno dei vincoli di una piattaforma limitata come la Xbox 360 ti costringe a dare priorità a un uso efficiente della memoria più di ogni altra cosa. In risposta, un altro utente X ha suggerito che i 512MB di memoria della vecchia console Microsoft potrebbero essere sufficienti per eseguire altre piccole implementazioni di LLM, come smolLM, creato dalla startup AI Hugging Face.

Lo sviluppatore ha accettato volentieri la sfida, quindi è probabile che vedremo ulteriori esperimenti LLM su Xbox 360 nel prossimo futuro.

Messaggi simili: