Sicuramente per come sono ora costruiti i modelli, il fatto che uno debba avere una forte concentrazione di risorse di calcolo per trainarli non gioca a vantaggio di una maggiore “democratizzazione” di questi strumenti. Poi vederemo.
Forse ad alto livello, non sul computing spicciolo close-to-metal.
Ecco appunto.
Al di là delle ovvie considerazioni etiche, la costruzione di sistemi letali in grado di prendere decisioni senza supervisione umana contravviene i principi elementari di affidabilità ingegneristica. Jack Shanahan, il generale che ha guidato il Progetto Maven per il Pentagono nel 2018 — e che non è mai stato tenero con le aziende tech riluttanti a collaborare con le forze armate — ha scritto nelle ultime ore che la posizione di Anthropic sembra ragionevole: “Nessun LLM, in nessuna sua forma attuale, dovrebbe essere considerato per sistemi d’arma letali autonomi. È ridicolo anche solo suggerirlo.”
Del resto, gli stessi ricercatori di Anthropic hanno documentato che i loro modelli, in certi esperimenti, mentono e arrivano a ricattare i propri ingegneri. Consegnare a questi modelli un sistema d’arma senza supervisione umana significa scommettere che questi gesti di “ribellione” non possano mai accadere nel momento sbagliato.
il resto è pure peggio 
Però gli strumenti e la capacità per farlo potrebbero esserci e gli strumenti centralizzati (le AI delle corp) potrebbero per assurdo aiutare la community di sviluppatori a creare qualcosa che le possa superare.
E’ da diverso tempo che sto macinando idee e ipotesi sul fatto che il prossimo sviluppo nell’AI sarà staccarsi o evolvere l’astrazione delle reti neurali artificiali verso qualcosa di più simile al corrispettivo biologico, quindi niente di statico e a semplici pesi ma piuttosto qualcosa a più dimensioni, con meccanismi locali e a crescita distribuita, obiettivo che se raggiunto si sposa perfettamente ad una installazione distribuita dell’AI come citata nel video, con tanti saluti al sogno di queste bestie che vogliono solo accentrare il potere per pochi.
Mi sto rendendo conto che piano piano, alcuni studi ed esperimenti per il gusto della ricerca e della conoscenza si stanno trasformando in un qualcosa di più serio, in una battaglia per la sopravvivenza, stiamo entrando sempre più in un mondo distopico dei più spaventosi racconti di fantascienza.
Francamente, vedendo le cose con lungimiranza e visione del futuro, non c’è un cazzo da ridere o giocare, probabilmente siamo in uno dei periodi storici più importanti per il prossimo futuro.
1 Like
Sicuramente l’hardware potrebbe svilupparsi in modo tale che, soprattutto la parte di inferenza, sarà molto più distribuita (ASIC dedicati esistono gia mi pare no?), e magari pure quella di training anche se la vedo piu difficile al momento, ma per avere questi sviluppi servono i capitali e la ricerca. Chi ha interesse a metterceli? Da qui il mio pessimismo sul corto termine.
Poi magari sul medio-lungo termine ci sarà un aumento tale delle capacità di calcolo, simile a quello a cui abbiamo assistito noi, che renderà la parte sopra banalmente esistente.
Dico una banalità, ma quello che serve è un evento “cigno nero” come lo è stato Linux nei SO.
Comuque stavo leggendo un commento su HN di un supposto impiegato di OpenAI, e mostra bene che ancora prima di pensare a modelli e infrastrutture distribuite, sarebbe bene supportare fortemente sviluppi europei allo stato attuale (https://news.ycombinator.com/item?id=47189650):
I’m an OpenAI employee and I’ll go out on a limb with a public comment. I agree AI shouldn’t be used for mass surveillance or autonomous weapons. I also think Anthropic has been treated terribly and has acted admirably. My understanding is that the OpenAI deal disallows domestic mass surveillance and autonomous weapons, and that OpenAI is asking for the same terms for other AI companies (so that we can continue competing on the basis of differing services and not differing scruples). Given this understanding, I don’t see why I should quit. If it turns out that the deal is being misdescribed or that it won’t be enforced, I can see why I should quit, but so far I haven’t seen any evidence that’s the case.
Spesso ho l’impressione che a causa della connessione istantanea data da Internet, ci si dimentichi che cittadini di altri stati possono benissimo essere contro le policy dei loro governi per quanto li riguarda, pur restando contrari ai nostri interessi e visioni qua in Europa.
L’EU potrebbe a questo punto dare ospitalità ad Anthropic se negli USA verranno penalizzati così
2 Likes
Ho sentito in un podcast un docente universitario che diceva più o meno la stessa cosa.
Il punto è che ognuno in realtà produce ogni giorno tonnellate di dati adatti al training, quindi in teoria basta usarli.
Il problema grosso però non è la conoscenza, ma il metallo.
Per le AI servono chip e chip e chip, e in UE non produciamo nessun chip. Puoi avere tutti i modelli che vuoi ma la RAM ti tocca comprarla in Asia.
Sicuramente. Ci sono stati tentativi con il Chips Act (Chips Act | Shaping Europe’s digital future), ma non sembrano aver (ancora) dato risultati sperati. Qualcuno riassumeva alcuni dei progetti finanziati in un altro thread che ora non ho sottomano.
ci sarebbe Olix (startup UK based) da tenere d’occhio per il discorso chip, almeno credo
trust me bro.
Questo signore va preso a pizze in faccia. La realtà dei fatti è che una compagnia ha detto di no ed è stata silurata di conseguenza. Un’altra compagnia è immediatamente subentrata, quindi dimostra di aver detto di sì, o meglio che glielo lascerà fare, facendo magari finta di dire di no. Se no non subentrava, mi sembra ovvio.
2 Likes
Maaaaaa…
Esiste un tool efficace ed operativo per fare videochiamate in lingue diverse con traduzione simultanea?
inquieto e preoccupato perchè se gli accordi erano gli stessi cioè non sorveglianza di massa e supervisione umana per l’uso di armi autonome perchè allora davanti al rifiuto di Antropic hanno deciso di prendere accordi con Open Ai? perchè davanti ai soldi gli accordi di limitazione varranno come carta da culo.
1 Like
lo fanno nativamente tutti i telefoni samsung top di gamma dall’s24 in poi, compresi ovviamente i fold. durante la chiamata tu parli nella tua lingua e l’interlocutore ascolterà la traduzione fatta da bixby ai e quando parla lui viceversa, funziona anche su app di terze parti tipo whatsapp, telegram, google meet ecc., basta abilitare il live translate dalle opzioni. se poi hai anche un paio di cuffiette galaxy buds (anche vecchissime, basta aggiornare il firmware), possono funzionare da traduttore automatico qualsiasi cosa tu stia ascoltando, da un video su yoputube a gente che ti parla direttamente.
Sta roba esiste già e si chiama Federeted Learning ma ha un sacco di problematiche per come funziona ora l’apprendimento supervisionato (o semisupervisionato) come succede per i modelli pretrained (prima che siano ottimizzati con tecniche di reinforcement learning)
quanto manca per avere qualcosa che sia in grado di replicare la capacità di apprendimento continuo che ha la mente umana?
magari il futuro non sarà un singolo modello in grado di imparate tutto di continuo senza “catastrophic forgetting”, ma un ecosistema di modelli che si compongono, evolvono e collaborano dinamicamente, dove i singoli modelli si specializzano e si aggiornano, ma l’intelligenza “vera” emerge dalla loro orchestrazione modulare.
Ho iOS 