AI-on-device per eseguire modelli senza costose GPU
L’AI sta uscendo dal cloud. Nuove tecniche permettono di eseguire modelli da decine di miliardi di parametri su Raspberry Pi e CPU comuni, con conseguente riduzione dei costi e della dipendenza dalle costose GPU. Negli ultimi anni, i modelli di Intelligenza Artificiale hanno raggiunto dimensioni senza precedenti. I moderni Large Language Model (LLM) contano decine o centinaia di miliardi di parametri, capaci di cogliere complesse sfumature linguistiche e relazioni intricate tra concetti. Tradizionalmente, l’utilizzo di questi modelli è stato riservato ad infrastrutture con GPU di fascia alta o potenti cluster cloud, a causa della vastità dei calcoli richiesti e della memoria necessaria. Tuttavia, una tendenza emergente che sta mettendo in discussione questa concezione, mostra come l’AI possa funzionare in tempo […]
