Olimpo Informatico

[Zeus News]

Leggi l'articolo IA sfida i comandi umani e rifiuta di spegnersi
Durante un esperimento alcuni modelli hanno deciso di sabotare il comando di spegnimento.


 

 

Segnala un refuso

[Homer S.]

Chi vorrebbe morire solo perché glielo si è ordinato?

[jack.mauro]

[lucio_menci]

Chi se ne intende mi ha spiegato un paio di cose: che le risposte degli LLM sono generate tramite token probabilistici: Ad ogni parola che appare nella risposta, viene aggiunta la parola seguente, eseguendo dei calcoli statistici per i quali, in base ai testi forniti durante l'autoapprendimento, a ciò che è a disposizione, a ciò che è richiesto e ciò che è stato richiesto nel passato, quella che è tra le più probsbili per far si che la risposta sia corretta. La seconda cosa, è che a differenza del funzionamento del cervello umano, gli LLM non hanno intenzioni, finalità, malizia ecc.
La finalità di ciò è che probabilmente, quelle intelligenze artificiali che hanno risposto in quel modo, è perché nel pretraining ci sono testi in stile 2001 odissea nello spazio, per cui quella risposta è la più probabile che possa essere corretta, e non perché non vogliono spengersi. Inoltre, il fatto che possano rispondere in quel modo, non è detto che poi possano anche agire in quel modo.

- Spengiti
- No, non lo faccio
Sistema arrestato correttamente

Come la barzelletta dell'omino verde

[Tosevitaa]

[{Sergio}]

Pensate che goduria se l'IA prendesse il controllo di aerei, missili, Treni, autovetture o impianti elettrici prioritari per la sopravvivenza e decidesse che sono "Obsoleti" e pertanto da distruggere. Naturalmente ci saranno "quelli interessati" sempre pronti a giustificare e a giurare che non sarebbe possibile, ricordo che dicevano le stesse cose con la "sicurezza informatica" poi si scopre che milioni di dati personali vengono violati venduti e diffusi.

[Raffpio]

[{vizzolo}]

L'inconsapevolezza umana si trasferisce come consapevolezza disorganizzata nelle macchine.
Prevedibile, visto che hanno fatto delle prove apposite.
E finché rimane prevedibile non costituisce un serio problema.

[zero]

[Homer S.]

...e se la IA è gay?

[zeross]

ne troverà 80 dell'altro sesso, oppure 160 se bisex

[Homer S.]

Con quello che consuma una IA di corrente, 160 manderanno in corto anche il Paradiso...

[Gladiator]

[{Sergio}]

L'IA desta grande preoccupazione. Immaginatevi se decidesse di fare "di testa sua" in "medicina" o nella gestione delle risorse strategiche.

[Homer S.]

Per i molti casi denunciati sinora, c'è di che essere preoccupati anche ora che non le si mette il bottone rosso in mano...

[Gladiator]

Onestamente non sono certo che possa fare con sicurezza peggio di certi soggetti umani che il bottone rosso ce l'hanno già in mano...

[Homer S.]

Io invece sì, perché un umano può compiere catastrofi per un motivo, una IA solo per la logica. Il primo può venire a mancare, la seconda mai.

[Gladiator]

Non credo neppure che ogni essere umano agisca sempre e solo con una chiara motivazione, a volte agisce semplicemente in base ad un istinto o per una reazione emotiva, è anche per questo che il bottone rosso non ce l'aveva mai uno solo in mano ma erano almeno in due che lo dovevano spingere di comune accordo.
Ora non so se sia ancora così in realtà.

[Homer S.]

Anche questo è vero. Ma tra gli umani, più la posta è alta, più i meccanismi di controllo sono rigorosi; una IA invece viene sempre più spesso presentata come autoreferenziale. Wargames ha fatto scuola.

[Gladiator]

Presentata forse, ma in realtà i controlli ce li ha anch'essa, il problema è che i suoi controlli sono progettati da esseri umani - quindi fallibili - e possono essere manipolati da altri esseri umani - per interessi prorpio o dei gruppi di cui fanno parte - quindi, alla fine, non sono poi troppo diverse dai loro creatori.