Olimpo Informatico

[Zeus News]

Leggi l'articolo TranslateGemma porta la traduzione offline: 55 lingue e modelli fino a 27 miliardi di parametri



 
Immagine: Google
 

Segnala un refuso

[{fusore}]

Questa è una cosa buona e giusta, in ogni caso se l'indirizzo è quello di creare sistemi più specializzati che girano bene in locale, ben vengano.
Pur avendo un computer potente non riesco a far girare con prestazioni decenti LLM generalisti in locale: con llama.cppcon come loader e quantizzazione a 4-bit posso far girare modelli locali tra 10B e 14B parametri, ma senza addestramento e fine tuning.
Un modello specializzato gira con una infinità di parametri in meno, rendendone possibile l'utilizzo anche su computer da ufficio.
Quello che mi chiedo è come si inquadra questa tendenza localizzatrice con le spese faraoniche in datacenter degli hyperscaler, come appunto Google.