Il problema della definizione di “intelligenza” è grosso, però Nello Cristianini (ha scritto dei bei libri, dopo mi guardo anche l’intervista che ha postato geps) dice una cosa più elementare: non è detto che l’intelligenza sia una prerogativa umana e che l’intelligenza deve per forza essere come la nostra.
Anche una formica (o meglio, un formicaio) è a suo modo intelligente, anche se noi non la riconosceremmo al volo come “intelligenza”. Lui le chiama “intelligenze aliene”.
Quindi non è necessario arrivare a una replica del cervello per creare un’intelligenza.
2 Likes
giusto per ribadire che al momento è tutto un gran bel gamble
But the impulse, which tends to please Wall Street in the short term, also amounts to a giant gamble on a technology that has yet to prove it can deliver the efficiencies its backers have long promised.
“I think we’re going to see a big trend where people are expecting a whole lot of this technology, and not everything we’re expecting will pan out,” said Sam Ransbotham, professor of business analytics at Boston College’s Carroll School of Management.
1 Like
Che richiedono decenni di training supervised, senza alcuna garanzia di successo, senza contare il dispendio energetico del corpo che serve a sostenerlo che è circa di 80Wh e la necessità di un intera società organizzata per poterlo fare fuzionare 
Ah quindi quando estraggo un token al secondo post training dalla mia GPU mi vieni a dire che consuma più o meno 10 W?
chiedo all’oste 
in realtà ci sono studi e papers, non so se verificati.
avevo letto qualcosa ma non so come ritrovarli quindi chiesto a chatgpt.
- Secondo Google LLC, un prompt testuale medio per il loro sistema (modello “Gemini Apps”) consuma circa 0,24 watt-ora (Wh) di energia, emettendo circa 0,03 gCO₂e. Google Cloud | Google Cloud
- Un’analisi accademica per modelli “frontier-scale” (>200 miliardi di parametri) stima un valore mediano di ≈ 0,34 Wh per query (intervallo interquartile ~0,18-0,67 Wh) per lunghezze “normali”. Se la richiesta è molto più lunga (es. 15× più token), può arrivare fino a ~4,3 Wh. arXiv
- Un report più vecchio stimava ~2,9 Wh per query per il modello utilizzato da ChatGPT, ma quella cifra sembra sopravvalutata alla luce delle stime più recenti. Balkan Green Energy News | EpocAi
Buco perché non ricordo se ho bucato
In locale ho stimato sul mio PC con CPU 5800x GPU 4080 LLM gpt-oss-20b quantizzato nativamente a 4bit viaggio sui 130token/s con consumi sui 200-250Wh al massimo per l’intero sistema.
Il che vuol dire che 1 milione di token consumano circa 500Wh costando meno di 10 cent di elettricità.
Ora coi limiti di una LLM locale una risposta da 2-3000 token verrebbe sui 1-1,5Wh
this, hai centrato il punto.
molti confondono l’intelligenza (che può essere anche molto specializzata, che non è prerogativa solo umana e che è largamente presente in natura) con l’intelligenza umana, che è una particolare forma di intelligenza che noi amiamo definire generale anche se generale non è.
ovviamente, facendo confusione con concetti molto diversi, queste persone si inalberano non appena sentono qualcuno parlare di intelligenza o capacità di ragionamento/pensiero degli llm, solo che combattono una battaglia immaginaria perché nessuno intende con il termine intelligenza quello che intendono loro.
è solo un grosso equivoco che deriva dalla scarsa conoscenza di questi argomenti, che però porta il drest di turno a negare l’evidenza di quello che ha sotto gli occhi.
io non lo so se mai riusciremo come umanità ad arrivare all’AGI, ma sono assolutamente certo che, se mai la scopriremo, nello stesso istante in cui verrà annunciata la scoperta nasceranno frotte di noAGI che si metteranno il cappello di stagnola in testa e decideranno di spendere il resto della loro vita a negare l’evidenza
1 Like
Comunque, per restare in tema bolla, qualcuno oggi si ricorda del computer quantistico?
…non credo siano stati abbandonati?
boh Ionq ha fatto tipo +260% st’anno, direi che sono ancora parte della bolla
Ma certo che del quantum computing se ne parla date un occhiata a questo.
Vi offriamo un computer esotropico, stocastico, termodinamico, cento volte più efficiente, coi bit probabilistici ottimo per diffusion e numeri random, che volte di più la fettina di culo ? Dateci soldi 
2 Likes
la definizione è oggettivamente molto figa e concettualmente corretta, però ti invito a riflettere sulle implicazioni dell’ultima parte - ingegneria statistica applicata al linguaggio - perché sono enormi.
se ci pensi, il linguaggio (in ogni sua forma) è uno dei pochi superpoteri che ci differenziano veramente dagli altri animali. anche altre specie usano una sorta di linguaggio, ma nessuna specie è in grado di farlo al nostro livello e questo indubbiamente ci rende un po’ “speciali” e ci fornisce una marcia in più rispetto a tutto il resto del mondo animale.
ecco, la cosa veramente interessante è che, se le metti a lavorare sul linguaggio, qualcosa di simile succede anche nelle reti neurali artificiali. diventano un po’ “speciali” e acquisiscono una marcia un più.
se prendi una rete neurale artificale e la addestri ad esempio a giocare a trakmania, stai facendo ingegneria statistica applicata a trackmania e quello che eventualmente otterrai è un modello di IA che impara a guidare dentro trackmania talmente bene da trovare il modo di battere il record mondiale umano e teorico della pista più giocata di trackmania (true story) 
se però prendi una rete neurale artificiale e la addestri per giocare all’indovina la parola mancante utilizzando il testo contenuto in milioni di libri e miliardi di pagine web, stai facendo ingegneria statistica applicata al linguaggio e alla fine otterrai effettivamente un modello di IA che impara a indovinare la parola mancante (compito primario), ma questa volta emergono spontaneamente una serie di capacità secondarie importantissime che il modello evidentemente ha dovuto apprendere al fine di eseguire correttamente il compito primario.
emergono capacità di comprensione del contesto, capacità di inferenza e deduzione, gestione della grammatica e sintassi, apprendimento di strutture linguistiche tipo schemi narrativi ma anche strutture retoriche più complesse, emerge in generale una capacità di usare e manipolare il linguaggio umano per alcuni aspetti addirittura con prestazioni sovraumane (nessun umano ad esempio può essere in grado di apprendere, comprendere e comunicare correttamente in oltre 200 lingue diverse contemporaneamente, compresi i linguaggi di programmazione).
il fatto che l’ingegneria statistica sia stata finalmente applicata al linguaggio è la ragione per cui in soli 5 anni siamo passati da niente all’attuale bolla
1 Like
Io ho il sospetto che “l’ingegneria statistica” sia una parte di come funziona il nostro cervello, e stiamo scoprendo come potrebbe funzionare la nostra rete neurale.
1 Like
è un sospetto più che fondato, dato che le reti neurali artificiali sono modeli computazionali ispirati proprio al funzionamento del cervello umano/animale
nel cervello biologico i neuroni comunicano tra di loro tramite segnali elettrici e chimici attraverso le sinapsi, nelle reti neurali artificiali i “neuroni” sono funzioni matematiche che calcolano e trasmettono dati numerici ad altri “neuroni” attraverso delle connessioni che possono avere pesi diversi. il peso di una connessione rappresenta quanto è importante il dato in input per il neurone successivo.
ogni neurone artificiale riceve quindi degli input numerici, li elabora e, se l’elaborazione supera una certa soglia, “si attiva” inviando segnali ai neuroni dello strato successivo.
durante l’addestramento, quello che succede è proprio che vengono modificati in automatico i pesi delle connessioni tra i vari neuroni artificiali. questa modifica avviene tramite algoritmi come la retropropagazione (quella del premio nobel), che utilizza metodi matematici per capire come cambiare ogni peso in modo ottimale per migliorare le sue previsioni o classificazioni in base ai dati forniti.
il cuore di un llm alla fine non è altro che una grande collezione di miliardi di connessioni tra neuroni artificiali ciascuna con il suo peso, ed è un’architettura che imita a grandi linee il funzionamento di un cervello biologico
sì ma non skippate l’angolo etico, una persona è un’entità senziente che prova dolore, gioia, frustrazione, rabbia, amore, fratellanza, odio.
non è perché funzioni in maniere misteriose che ha qualcosa di speciale, è perché è una vita umana
se anche costruisci una macchina che replica la coscienza umana, sta venendo costruita come un agente acritico a supporto dello status quo senza manco lasciare che l’emergenza del vivere in società la possa definire.
A me piace pensare che tutto il carrozzone composto dai transistor, i circuiti, il software e i modelli siano una sorta di emulatore su più strati di vm per simulare il funzionamento del nostro cervello.
E come tale, è estremamente inefficiente e costoso ma ci permetterà spero di poterci guardare dentro, di “debuggare” e finalmente capire l’equazione della mente.
PS: le reti neurali artificiali sono una semplificazione estrema del modello connettivo delle reti neurali naturali (diciamo), poche settimane fa leggevo di altre scoperte di come ci siano altre connessioni mediate da sistemi finora ignorati, il modello di connettività usato nelle reti neurali artificiali attuali per paragone è come una simulazione di un mondo 3d fatto su vecchi computer 8 bit, senza shaders e altre amenità rispetto ad un rendering di avatar con milioni di dettagli e un fotorealismo estremo (perdonate il paragone particolare ma non mi veniva in mente altro)
2 Likes
Guarda che nessuno penso abbia in mente questo, almeno nessuno nell’industria (se c’è qualcuno che ci pensa è sicuramente un ricercatore, non un venture capitalist ).
Le IA nascono fondamentalmente per fare specifici compiti che nel mondo precedente erano inaffrontabili con gli strumenti classici.
- un IA può essere più brava a tradurre un testo che un essere umano?
- un IA può guidare meglio di un uomo?
- un IA può riconoscere un tumore su una radiografia meglio di un essere umano?
Per tutto ciò non hai bisogno di una coscienza, come una formica non ha bisogno di una coscienza per trovare ogni volta il modo per entrarti in casa a fregarti lo zucchero.
Poi è inevitabile che queste macchine potrebbero darti un insight di come funziona il cervello, probabilmente hanno meccanismi simili.
Non è assolutamente vero, perchè il problema non è solo svolgere un compito.
Non avere una coscienza significa intrinsecamente di non essere in grado di potersi prendere una responsabilità.
Nel caso di errore di chi è la responsabilità: se l’AI fallisce e guidando tira sotto un altro essere umano?
Se l’AI sbaglia a comunicare al paziente di avere un tumore, di chi è la responsabilità?
Le cose che facciamo le facciamo in un certo modo, e prendendo certe decisioni, perchè hanno sempre delle conseguenze a discapito del risultato, non le facciamo solo perchè il compito deve essere portato a termine nella maniera più efficente possibile.
2 Likes