a me non era successo prima e non è ancora successo ora
io ho disattivato questo nelle impostazioni:
" Cambia modello quando un messaggio viene segnalato
Quando le misure di sicurezza segnalano un messaggio, passa automaticamente a un modello diverso per continuare a chattare. Se disattivato, la sessione verrà messa in pausa. Si applica alle sessioni web e remote."
lui è in gamba, no question. Speriamo che non sia una scammata (nel senso, progetto fine a se stesso da usare come stepping stone per carriera professionale o startup pointless).
si lo sto seguendo anche io a Sanfilippo però quel modello deve girare su 128 GB di RAM…
ve voglio bene ma chi si fa ad oggi 8k di pc apple ( è una critica all’entusiasmo di questo del video fatto un po così alla carlona)
tra l’altro uno di questi “cluster” che sta usando lui c’è l’ha grazie al ministro di taiwan che gl ha mandato un mac book pro ultra fugo max e un suo conscente americano mi sembra che gli sta prestando la potenza di calcolo della suo altro mac
sicuramente il potenziale è ENORME (anche perchè per settembre/fine anno dovrebbero uscire modelli con 1TB di ram alla modica cifra di 20k minimo che ti permetterà di avere a casa un AI di livello frontiera simil chatgpt/et similia se non meglio) e sta cosa che open source tanto di cappello…
Nota che la licenza è MIT, comunque, che più o meno vuol dire zero restrizioni (rispetto a una GPL). Per quello dico che mi aspetto una commercializzazione veloce.
La gente sui forum/reddit: l’AI è inutile nella programmazione1!!1 fa troppi errori, è inusabile1!!.
I migliori programmatori al mondo: “ah io ormai è più di 1 anno che non scrivo una riga di codice”.
“ma chi è sto Sanfilippo, sarà un altro vibecoder che poi piange quando gli bucano il sito fatto coi prompt!!!
Redis? E che è, io giá uso Reddit, mi basta!”
A me interessa 5.6 Luna : nei bench è vicinissima alla 5.5 ( che in xhigh è un vampiro ciucciatoken e finisco per usarla sempre a medium ) costa appena 1$ in input /6$ output che è meno della la metà della 5.4 e appena il 25% in più della 5.4 mini chè è il modello mulo da soma che comuque in xhigh è rispettabile per certe task
una domanda un po’ ot: da 1-2 giorni Gemini non ricorda più il contesto personale e le istruzioni in memoria che avevo impostato. successo a qualcuno? problemi di Google?
ma si era quella la mia critica, da come se ne parla in giro pare che fra qualche anno saremo tutti in grado di avere una roba del genere in casa, locale, su proprio hardware…
al momento ci si sta provando ma i costi ci sono e non sono da semplice consumer…
per un uso pratico tipo assistente locale, riassunti, coding leggero, classificazione log, query su documenti, va già bene un modello del genere
se prendi in considerazione un livello da “modello frontier” non è solo un LLM che risponde bene, vuol dire che ha capacità molto alte su ragionamento, coding, multimodale, tool use, contesto lungo, affidabilità, agenticità.
ad oggi questa roba richiede ancora modelli enormi, hardware pesante e ottimizzazioni molto spinte
quell oche sta proponendo sanfilippo è ottimizzato per pochi modelli specifici, in particolare deepSeek V4 Flash/PRO
l’importantanza è che quello che ha constatato sanfilippo si parla di modello “quasi frontier” grazie a quantizzazione molto aggressiva 2/8 bit, può girare con 96 o 128 GB di RAM.
quindi non siamo assolutamento nel territorio “Mac mini 16 GB”, ma siamo già nel territorio di roba ad hoc corazzata.
si quello lo so, dico che magari, con questo approccio, tra un annetto riesci a far stare un modello “mid” (roba per un singolo professionista) dentro hw locale che faccia cose che vadan oltre le use case di un pur ottimo gemma4