Olimpo Informatico

[Zeus News]

Leggi l'articolo TranslateGemma porta la traduzione offline: 55 lingue e modelli fino a 27 miliardi di parametri



 
Immagine: Google
 

Segnala un refuso

[{fusore}]

Questa è una cosa buona e giusta, in ogni caso se l'indirizzo è quello di creare sistemi più specializzati che girano bene in locale, ben vengano.
Pur avendo un computer potente non riesco a far girare con prestazioni decenti LLM generalisti in locale: con llama.cppcon come loader e quantizzazione a 4-bit posso far girare modelli locali tra 10B e 14B parametri, ma senza addestramento e fine tuning.
Un modello specializzato gira con una infinità di parametri in meno, rendendone possibile l'utilizzo anche su computer da ufficio.
Quello che mi chiedo è come si inquadra questa tendenza localizzatrice con le spese faraoniche in datacenter degli hyperscaler, come appunto Google.

[zeross]

con le spese faraoniche per la corsa alla IA questo prodotto non ci azzecca nioente, ma se nel frattempo qualcuno vuole creare un modello di businees che sia reddittizio agli occhi di potenziali investitori deve anche avere una qualche forma di ritorno economico e un sistema specializzato avrà un interesse economico più immediato presso certi clienti di un sistema generalista che costa troppo e non si capisce bene a cosa serve.