Olimpo Informatico

[Zeus News]

Leggi l'articolo Debito tecnologico e collasso dello slopware
Cassandra Crossing/ Gli LLM ci stanno conducendo verso destinazioni tanto evidenti quanto preoccupanti. E quella di una catastrofe software potrebbe essere la più vicina a noi.


 

 

Segnala un refuso

[{utente anonimo}]

Eh, sarebbe il momento buono per imparare non dico a programmare ma quantomeno a leggere il codice.

Se non fosse che la pensione è ancora lontana, e per certe cose il tempo non ce l'ho, l'idea di diventare un uomo-codice* non sarebbe malvagia.

* Il riferimento è agli uomini-libro di Fahrenheit 451, giusto in caso a qualcuno non fosse chiaro.

[{UtenteAnonimo}]

@calamarim noto che dai suoi articoli traspare ancora tanta confusione circa il funzionamento di un LLM.

Voglio partire da una nota di merito e riconoscerle però di aver superato la fase del rifiuto, in cui immotivatamente (ed erroneamente) li chiamava false intelligenze (trattandosi invece effettivamente di algoritmi afferenti alla branca dell'informatica chiamata intelligenza artificiale).
Per questo mi congratulo e complimento con lei.

Ciò detto non ho intenzione di avventurarmi in sterili discussioni filosofiche su cosa un LLM sia, perché ho imparato dalle precedenti interazioni che sarebbe superfluo (chiaramente lei ha la sua opinione).
Mi limito a riportarle la notizia che questi strumenti, gli LLM hanno iniziato ad accelerare e produrre risultati in campo scientifico in maniera veramente sorprendente. Ad esempio recentemente, un modello ha dimostrato un nuovo teorema matematico che da 80 anni sfuggiva al ragionamento umano (pur essendo stato ampiamente studiato).

Quindi c'è poco da discutere, a problemi concerti producono soluzioni concrete che tengono sia sotto il punto di vista logico che empirico, poco importa se sono "solo" dei T9 sotto steroidi o pappagalli stocastici.
Funzionano e sembra che funzionino meglio delle alternative che erano prima disponibili.
L'unica cosa su cui ancora ammetto non sono persuaso sono i costi..ma capirà è una tecnologia che ha pochi anni sulle spalle, possibilità di miglioramento, in prospettiva ne vedo ancora parecchie.

[sverrecrag]

Premesso che non sono un programmatore per cui potrei dire stupidate ma questa notizia https://www.zeusnews.it/n.php?c=32132 mi fa pensare che in fondo in fondo chi parla di bolla dell'IA non abbia poi tutti i torti. Dovessero livellarsi i prezzi anche agli altri modelli i costi di gestione di un programmatore virtuale rischiano di diventare molto più alti di quelli di un programmatore umano con buona pace a tutti e pro e contro con seguenti conseguenze derivati da un confronto..

[stefepa]

Segnalo il libro di Marco Malvaldi “Scimmia sapiens”, in cui a un certo punto mostra come un LLM di cui lui si serve, se istruito solo con input forniti da LLM, genera alla fine una misera frasetta in loop, sempre la stessa.
Meditate/meditiamo, gente, meditate/meditiamo…

[zeross]

Sono più d'accordo con Calarmarin perché il problema della autogenerazione di errori ripetitivi, viene rilevato e studiato e proporre come esempio il successo di una analisi compiuta da un modello di OpenAI, su un problema della distanza unitaria di Paul Erdös del 1946, che ha dimostrato che si possono trovare disposizioni più efficienti, non vuol dire che un modello di intelligenza artificiale, quando deve scrivere linee di codice di programmazione usa come esempio appunto le linee di codice che trova sui varia archivi in rete, e se statisticamente, questi archivi contengono più errori che roba giusta, per una semplice casistica statistica, ci saranno più errori che roba esatta.
Nel caso che si propone, il modello di Intelligenza Artificiale ha usato per risolvere il teorema, un approccio basato sulla teoria algebrica dei numeri per individuare le distribuzioni strutturalmente più efficienti.
Quindi non ha eseguito una analisi degli esempi ci codice su github per scrivere un programma, ma ha preso dei teoremi, provati e confutati, ed applicando quei teoremi, ha eseguito calcoli, fino a trovare la distribuzione più efficiente.
Non capire la differenza tra due problemi ( la confutazione di un teorema matematico, e la stesura di un programma informatico) riducendo il discorso ad un apparente ed innocuo " soluzione a problemi concreti" dimostra grande confusione in senso generale sull'utilità e l'impiego dei modelli linguistici di Intelligenza artificiale.
Qualcuno dovrebbe prima chiarirsi un poco le idee.


@Calamarin: sono in disaccordo con te su molte questioni, ma se stavolta hai ragione, onestamente devo non solo dartela la ragione, ma confutare chi sbaglia, anche se non hai bisogno di aiuto per difenderti.

[{Cippa}]

L'unico argine/paletto rimasto dovrebbero essere i giudici...ma quando rieci a portare le multinazionali alla sbarra...il giudice di turno se ne esce fuori con: -ma cosa é questo GDPR? E ho detto tutto diceva Totó.

[{nico}]

La situazione è talmente tragica da risultare quasi comica, grazie anche ad un pizzico di ironia.
C'è poco da dire, se non che le "false IA" adesso si sa che sono false e quindi vengono chiamate LLM, quali sono, anche se questo cambia poco davvero...

[{UtenteAnonimo}]

@zeross immagino che ti riferissi a me anche se non mi hai citato.
Non mi è chiaro perché ti sembro confuso.. e non capisco l'obiezione in cui mi "spieghi" che non hanno usato il codice da GitHub per risolvere un problema matematico..cioè è ovvio e non ho mai sostenuto il contrario.

Risolvere un problema matematico con tecniche più o meno note, ma usate in modi che sfuggivano ai matematici che se ne erano occupati, mostra 2 aspetti importanti:

- un LLM riesce ad organizzare (tra i suoi pesi) una base di conoscenza (nell'accezione più tecnica del termina aka nozioni), molto vasta, probabilmente superiore a quella che un uomo potrebbe gestire
- un LLM riesce a combinare/ricombinare ed estrapolare collegamenti impliciti da questa base di conoscenza giungendo a conclusioni nuove efficaci.

Che sia codice, matematica o "grafica" insomma non sta facendo un banale taglia e cuci di testo/immagini, ma opera efficacemente sui concetti (cioè gestisce la semantica).
Questo è evidente dai risultati che si possono ottenere (occhio non ho detto che capisce, ma che da una sua rappresentazione semantica che poi manipola efficacemente, ossia la rappresentazione vettoriale che costituisce il così detto spazio latente).

Quindi non ha senso a mio avviso affermare che, sono influenzati dal codice spazzatura eventualmente presente su GitHub quando producono.
Così si confonde inferenza con training, i dati di qualità servono durante il training non durante l'inferenza.
Ed una volta addestrato con successo riesce a discriminare bene tra dati di qualità e non.

A voi chi ha detto che per il training tutti i dati presenti in GitHub vengano usati e pesati uguale?
Secondo me le schiere di ricercatori che seguono questi prodotti sono furbi a sufficienza da capire che bisogna scremare i dati pubblici, manualmente e magari con l'aiuto di un LLM gia addestato.
O pensavate che per l'addestramento fagocitassero tutti i dati presenti su internet indiscriminatamente?
Qui c'è confusione temo.

[ok_cian]

Mi pare che si stiano facendo i conti senza l'oste: si parla di LLM che reintroducono bug come se questi ultimi non fossero rilevabili prima della fase di release.
Come se fossimo obbligati ad usare un LLM e basta.

Ma questo non è vero.

Se a valle dell'LLM ho un operatore AI che riesce ad effettuare dei test adeguati durante la fase di sviluppo, diventa impossibile per i bug sopravvivere, anche con LLM incasinati.

Al massimo si potrebbe arrivare ad uno stallo dove l'LLM non sa correggere il bug, ma il codice buggato non andrebbe comunque in produzione (M$ a parte, ovviamente).

[Raffpio]

Fino a quando non entrerà realmente nelle coscienze e nei cervelli di chi li usa cosa sono gli LLM (non oracoli come giustamente ci ricorda sempre Cassandra) andremo sempre peggio…

[{utente anonimo}]

Credo che il link che riporta al collasso del modello sia un po' approssimativo, in quanto non dimostra nulla e non cita alcun lavoro sottoposto a peer review. Non ripropone uno schema di esperimenti o una logica dimostrabile per la quale questo sia dimostrabile. Il training delle LLM funziona proprio per la grossa mole di dati che attraversa l'architettura in fase di addestramento. È difficile che un secondo LLM possa riprodurre interamente, e con esattezza, quella quantità in modo da addestrare una seconda rete, altrimenti avrebbe memorizzato e non generalizzato. Il parallelo che si fa con modelli generativi quali VAE e GAN (quando basati su architetture tipo CNN) non regge, in quanto questi ultimi non sono in grado di apprendere una distribuzione così complessa come il testo che si trova sul tutto il web.

Ma tutto questo per dire che non ha alcun senso pensare di addestrare un LLM con il testo generato da un altro LLM, per due motivi: (1) il testo già esiste in rete e (2) riprodurlo è una perdita di tempo che presumerebbe la memorizzazione 1:1 (circa) del materiale.

Piuttosto, vengono usati LLM per una pratica chiamata "distillation", in cui il primo, chiamato teacher, più grande, trasmette parte dell'informazione ad un LLM più semplice e leggero (in termini di numero di parametri), chiamato a sua volta studente. Un uso di questo potrebbe essere nel far generare all'insegnante delle label per il secondo, anziché ricorrere ad un apprendimento del tutto non supervisionato. Quando uscì DeepSeek, per chi ricorda, OpenAI li aveva accusati di aver fatto "distillation" del proprio modello.