È ormai evidente che sarà necessario un hardware elettronico ad alta efficienza energetica per sostenere lo sviluppo dell’apprendimento automatico e dell’intelligenza artificiale. Questo è quanto emerge da uno studio pubblicato recentemente su Nature. ChatGPT, il chatbot di intelligenza artificiale sviluppato da OpenAI e rilasciato per la prima volta il 30 novembre 2022, ha segnato un punto di svolta nella discussione su tali tecnologie, insieme ad altri strumenti generativi come Midjourney, che genera immagini digitali da descrizioni in linguaggio naturale.
La continua evoluzione di queste tecniche di apprendimento automatico è legata all’aumento rapido della scala delle reti neurali artificiali. Prendendo come esempio GPT-3, il modello di linguaggio ampio che costituiva inizialmente la base di ChatGPT, possiamo vedere che esso dispone di 175 miliardi di parametri. Tuttavia, l’ingente dimensione delle reti pone notevoli esigenze al hardware elettronico sottostante, in particolare in termini di consumo energetico.
Come spiegano Alexander Conklin e Suhas Kumar in un articolo di commento su Nature Electronics: “Fino al 2019, la capacità di calcolo necessaria per addestrare i modelli AI più grandi raddoppiava circa ogni 3,4 mesi […] Ipotesi alla mano, anche considerando i costanti miglioramenti hardware, questo tasso di crescita significherebbe che l’energia necessaria per addestrare un modello AI leader supererebbe l’intero consumo energetico globale annuale entro il 2030“. Addestrare questi modelli AI è costoso: si stima che l’addestramento di GPT-3 sia costato circa 12 milioni di dollari. Di conseguenza, la crescita nei modelli più grandi è probabilmente rallentata negli ultimi anni e stiamo potenzialmente entrando in un’era di calcolo limitato dall’economia. Conklin e Kumar mostrano che saranno necessari notevoli miglioramenti nell’efficienza energetica del calcolo per risolvere importanti problemi computazionali del XXI secolo, come la modellazione meteorologica a scala planetaria, la modellazione cerebrale in tempo reale e la simulazione evolutiva umana.
È quindi urgente lo sviluppo di nuove strategie in termini di tecnologia informatica, produzione energetica e budget di calcolo commerciale. Conklin e Kumar, che lavorano rispettivamente per Rain AI a San Francisco e Sandia National Laboratories, evidenziano il potenziale dei dispositivi memristivi (o memristor) per fornire hardware AI ad alta efficienza energetica. I memristor possono essere utilizzati sia per l’elaborazione delle informazioni che per la memoria e possono essere impiegati per costruire matrici crossbar memristive che offrono un alto parallelismo per le operazioni di moltiplicazione di matrici, un calcolo chiave nella maggior parte dei modelli AI. La realizzazione di questi dispositivi si basa tipicamente su ossidi metallici (come il biossido di titanio) o materiali a cambiamento di fase (come le leghe di germanio antimonio tellurio), ma possono essere creati da altri sistemi. In un altro articolo di questa edizione, Joshua Yang e colleghi esplorano il potenziale dei dispositivi memristivi basati su materiali di van der Waals.
I ricercatori dell’Università della California del Sud e la National Chung Hsing University, esaminano come le imperfezioni in questi materiali bidimensionali stratificati, insieme alle proprietà fisico-chimiche inerenti, possono creare una serie di meccanismi di commutazione. Tre meccanismi chiave di commutazione sono evidenziati: quelli basati sulla metallizzazione elettrochimica, quelli basati su meccanismi di cambiamento di valenza e quelli basati su meccanismi di cambiamento di fase. Ognuno di questi meccanismi può essere sfruttato in diverse applicazioni, e Yang e colleghi esplorano il loro potenziale per l’uso in dispositivi di memoria, interruttori a radiofrequenza e nell’elettronica neuromorfica.
Nel frattempo, i ricercatori Nathaniel Tye, Stephan Hofmann e Phillip Stanley-Marbell presso l’Università di Cambridge discutono in un articolo di prospettiva la possibile disconnessione tra la comunità dei dispositivi e quella dell’architettura dei computer nell’ambito dello sviluppo dell’hardware per l’apprendimento automatico. Essi sottolineano come questa lacuna limiti il progresso e propongono un approccio che mappa direttamente i problemi computazionali nell’apprendimento automatico alle proprietà dei materiali e dei dispositivi. In conclusione, la necessità di sviluppare hardware elettronico ad alta efficienza energetica per sostenere l’intelligenza artificiale e l’apprendimento automatico è un problema urgente che richiede una risposta coordinata da parte di ricercatori, ingegneri e investitori. Con la giusta strategia e la necessaria innovazione, potremmo essere in grado di superare queste sfide e garantire un futuro sostenibile per il campo dell’intelligenza artificiale.
Aiutaci a crescere: lasciaci un like :)