Olimpo Informatico

[Zeus News]

Leggi l'articolo Lo strumento che ti dice quali modelli IA puoi eseguire davvero sul tuo PC
LLM Checker permette di scegliere la soluzione più adatta in base all'hardware del computer.


 
Foto di Nahrizul Kadri.
 

Segnala un refuso

[zeross]

Un interessante strumento che indica alle aziende come poter facilmente identificare modelli di LLM che possano essere realmente utilizzabili sulle macchine presenti in azienda, ed inoltre permette a persone che vogliano mantenere il controllo su segmenti vitali della propria attività, di non dover dipendere in tutto e per tutto dal servizio di un fornitore, che in qualsiasi momento, per qualsiasi motivo, possa cambiare idea sui termini di servizio, ed escluderti oppure farti sobbarcare un onere non previsto, ma che per la dipendenza creata non puoi più recidere, senza un enorme danno.

[{artropic}]

Ho un i11 con 32 GB di Ram e una RTX 3060 con 12 GB, e gli LLM che ci girano fanno ridere i polli.
Per avere una cosa sensata ci vuole hardware dedicato, come una NPU, oltre che una GPU più potente della mia, e magari 64 GB di Ram come minimo.
Altrimenti chatti, se è solo questo che vuoi, ma allora anche per lo smartphone si trova qualcosa che gira abbastanza bene.
Ma per lavorare bisogna usare un LLM serio dei soliti noti, con accesso a Internet e una fame di token elevata: per lavoricchiare bastano 20 euro/mese, ma per lavorare seriamente, senza dover aspettare il reset dei token o pagare degli extra per proseguire il lavoro, ce ne vogliono almeno 100.
Il nuovo Fable 5 di Anthropic è talmente famelico (2x rispetto a Opus 4.8) che anche 100 euro/mese sospetto siano pochi.
Iniziano le separazioni di classe, con le solite conseguenze.