Nvidia PAIR: Trasforma i PC di casa in un cluster AI locale! Scopri come!

di
Scrivania domestica con più computer e laptop collegati per un cluster AI locale

Lo strumento open-source che collega GPU RTX, macchine Spark e Mac su diverse piattaforme

Collegare i punti: La maggior parte delle intelligenze artificiali e dei chatbot dipende ancora da infrastrutture basate su cloud e Internet, tuttavia, un numero crescente di appassionati di AI sta iniziando a sviluppare configurazioni di calcolo locali. Il nuovo software PAIR di Nvidia potrebbe contribuire significativamente all’espansione di questa tendenza.

Nvidia ha lanciato un nuovo strumento software che promette di rivoluzionare l’infrastruttura di inferenza locale. Il progetto Personal AI Router (PAIR) è un software open-source progettato per connettere sistemi informatici diversi, inclusi sistemi operativi differenti, in un cluster AI personalizzato dove chatbot, agenti AI e altre applicazioni LLM compatibili condividono risorse di elaborazione.

Il produttore di GPU descrive PAIR come un sistema dotato di quattro caratteristiche principali. Il framework software può collegare le GPU da gioco GeForce RTX, le macchine DGX Spark e i sistemi Mac in una singola piattaforma AI. Secondo Nvidia, non sono necessari cavi speciali né hardware rack, e l’operazione di collegamento dovrebbe richiedere solo pochi minuti.

GPU RTX e schede grafiche collegate in un cluster di calcolo
Le GPU RTX GeForce possono essere facilmente integrate in un cluster PAIR

Dopo aver collegato diverse macchine, PAIR può eseguire back-end di inferenza locali “tradizionali” come Ollama e LM Studio, permettendo agli utenti di gestire i carichi di lavoro AI da un computer Windows, Linux o macOS. Il framework è progettato per allocare flussi di lavoro AI e richieste di inferenza su tutti i nodi locali disponibili, sfruttando le risorse di calcolo inattive per migliorare le prestazioni complessive di un’attività.

PAIR può fornire una super-macchina AI completamente locale. I file di dati, gli agenti e le query dei chatbot rimangono all’interno della rete locale senza necessità di connettività cloud o Internet, il che dovrebbe offrire vantaggi per gli utenti attenti alla privacy e per le applicazioni AI sensibili.

LEGGI  Espodo utenti Meta dopo le mosse di Zuckerberg, ma ora i numeri risalgono!
Rete locale protetta con dati privati su server domestico
PAIR mantiene tutti i dati locali, garantendo privacy totale senza dipendenza dal cloud

Nvidia posiziona PAIR come una piattaforma AI locale progettata per funzionare in modo affidabile in un ambiente di calcolo eterogeneo, senza la necessità di hardware a livello di data center o potenti acceleratori AI per server. Tuttavia, il product manager di Nvidia, Seth Schneider, ha spiegato che il nuovo framework software funzionerà probabilmente al meglio in SOHO e nelle case dove macchine di calcolo potenti rimangono inattive per la maggior parte del tempo.

Schneider ha fornito uno scenario “ideale”, con un padre che lavora sia su un laptop RTX Spark che su un desktop DGX Spark, una madre con un laptop equipaggiato con RTX 5090, e due bambini con un desktop da gioco e un MacBook Pro. Tutto questo hardware potente racchiude circa 165 teraFLOPS di potenza di calcolo e un tesoro di “token gratuiti” inutilizzati, e PAIR può aiutare a mettere tutta questa capacità AI sottoutilizzata al lavoro con relativa facilità.

Messaggi simili: