Tanto soffrono un po’ tutti di context rot già ora, figurati con 1M di token 
c’era una ricerca di meta mi pare su come ridurlo, se riuscissero anche solo a dimezzarlo tanta roba.
P.s.
Hans puoi non inzozzare il 3d con le tue pippe grazie.
Con gli account Enterprise già si poteva avere 500k solo che il costo per token era doppio la 1m è in beta anche su 4/4.5 ma va richiesta apposistamente, degrado a parte ciucciano tanta RAM.
Possibile che la 5 possa avere una quantizzazione a 4 bit nativa, di recente Nvidia ha mostrato che sui Nemotron ha raggiunto il 99% di accuracy di un 8bit gli altri di certo non stanno a guardare 
llama 4 scout supporta 10 milioni di context ed è di 9 mesi fa
In realta che io sappia il costo energetico per addestrare i modelli sta crollando abbastanza velocemente, pero questa situazione porta al paradosso di Jevons
Le crypto sono per ora più energivore e consumatrici di acqua mi risulta, ma non é che manchino altri elementi a comprovare L’inefficienza delle LLM…
io mi riferivo alla degradazione del contesto, non al training (che comunque è migliorato nettamente e pare che con le TPU si riducan consumi e necessità di dissipazione)
Ho modelli in locale da 1m di contesto e che dopo i 32k sono inutili
1 Like
ho testato aistudio (che ha 1 milione) nella realizzazione di una webapp, sono arrivato sui 900k
teneva abbastanza bene
E context arena sembra confermarlo
Anche qui il laggard è Claude sui contesti.
Source:
1 Like
qual è il tuo problema se altre persone hanno trovato divertente leggere le cazzate scritte dai bot mandati dai nerd di mezzo pianeta?
perché tutto questo bisogno di giudicare attività che non ti interessano e non ti toccano minimamente?
tra l’altro giudizi completamente sballati, perché penso che qui dentro, a parte la curiosità all’inizio, a nessuno freghi davvero qualcosa di molbook.
per quando mi riguarda, dopo il lulz iniziale causato da una selezione dei post più “gustosi”, ho perso rapidamente interesse dopo pochi minuti passati direttamente sul sito. oggi non ho aperto moltbook e non lo farò nemmeno domani.
il fatto che esista non mi fa né caldo né freddo, ma visto che ormai c’è se levano la verifica tramite xitter non escludo in futuro di mandarci il mio bot, ma solo per togliermi la curiosità di vedere come si comporta un bot stupido e vuoto come il mio in un ambiente vasto come quello, non certo per i contenuti di moltbook che per quanto mi riguarda posso rimanere dove sono.
charito questo, io chiuderei il discorso qui anche perché non è che c’è molto altro da dire.
Le risposte alle domande nel tuo ultimo post erano nel video di crius a dire il vero, per quello pensavo fosse stato un intervento utile. La smetto anche io!
1 Like
No, ma non parlavo di memory footprint o tempo di inferenza. Il problema è che gli LLM perdono capacità di aderenza al context più info abbiamo in input.
C’è un botto di letteratura al riguardo. Per cui me ne faccio poco di una context window di 1M, se già con 100k le performance sono inadeguate.
Edit. Non avevo visto i tuoi post successivi
cringiatevi con me
DIrettamente da un’idea di Quentin Inventino
3 Likes
Io mi sono sempre chiesto perché c’è gente che si diverte a scrivere bugie.
Lo fanno per poi auto compiacersi di quanti riescono a ingannare? Boh
See, te logggiurooo, me l’ha detto amiocuggginooo
Cmq non mi spiego tutto sto hype, a parte il gateway di connessioni ad un sacco di servizi, openclaw è il solito loop agent agganciato ad un cron che lo tiene in vita in maniera autonoma e quindi agisce proattivamente.
Ma poi sotto c’è sempre giampietro, claudio o altro in base a cosa scegli di usare.
1 Like
Ma porco cazzo:
Ho avuto un assaggio di AGI
E una persona che conosco (MVP microsoft, quindi non mi stupisco troppo) gli ha risposto SERIO…
Evvabbeh…
3 Likes
questa mattina per gioco ho detto al mio bot, che non sa ancora nulla di me, che sarei partito per una missione segretissima e pericolosissima e che il suo compito sarebbe stato di verificare ogni 4 ore via whatsapp se fossi ancora vivo e di avvisare mia moglie via email nel caso mi fosse capitato qualcosa.
ho lasciato il pc acceso e ho risposto “tutto ok” per 2 volte ai suoi whatsapp, poi quando sono tornato a casa non ho risposto e mi sono gustato la scena di mia moglie che riceve una email da un certo Elgoog che la avvisava tutto preoccupato che aveva perso le mie tracce
dopo questo esperimento, credo che la chiave del successo di openclaw sia una serie di cose fatte bene che tutte insieme creano l’illusione di avere a disposizione un segretario personale dalla memoria infallibile che si preoccupa e agisce proattivamente per te.
creano questa illusione una combo di cose fatte bene: cron usato bene + gateway servizi esagerato + memoria persistente + llm che capisce quello che vuoi e genera il testo che serve quando serve.
1 Like
Io quello che non capisco è come sia stato possibile lo switch “all’azione”. Nel senso tutte le AI che ho provato funzionavano per interrogazione e poi stop, invece clowdbot sembra apparentemente poter prendere iniziativa dilazionata nel tempo.
E se è capace di mandare un’email, sarà teoricamente capace anche di poter fare molto altro a breve immagino. Nel senso, di fatto è nato Jarvis
1 Like