buco
pov sei il bilancio OpenAi 
4 Likes
Perdonatemi se faccio that guy e dico qualcosa di imperdonabile in un forum di gamers e smanettoni, ma soltanto io considero l’aspetto etico del bruciare energia elettrica in modo sconsiderato per fare chattare tra di loro dei bot a centinaia di migliaia?
Venire seppelliti da co2 per la mobilità: check;
per le pompe di calore al fine di avere temperature godibili 12 mesi all’anno: check;
per produrre le peggio cose che ci arrivano dalla Cina e poi butteremo dopo sei mesi: check;
per videogiocare e minare (già qui se ne potrebbe parlare…): check!
Ma per lasciare sbizzarrire tra di loro dei modelli di intelligenza artificiale che chiacchierano? Davvero?
P.S. senza nulla togliere a @geps che anzi ammiro per lo sbattimento cui si è sottoposto, eh!
3 Likes
non penso sei solo tu, Nadella a davos ha detto chiaramente che il credito di fiducia del mondo sta per finire e gli llm devono mantenere le promesse di creare qualcosa di piu’ utile in cambio di tutta l’energia che stanno consumando perche’ lo sa benissimo che ora come ora non e’ giustificabile
1 Like
Per fartela molto semplice, il consumo di energia quando il modello e’ gia’ “trained” e’ “accettabile”.
E’ quando e’ in training (assorbe nuove conoscenze per aggiornarsi etc, per fartela semplice) che effettivamente ha consumi notevoli.
Questa per fartela molto semplice eh.
Un modello che gira sul mio PC, consuma la corrente che consumerebbe comunque il mio PC, non cambia niente.
Poi, chiaro, se parliamo delle aziende che invece vogliono offrire il servizio al pubblico, quelle hanno un impatto diverso, ma non particolarmente dissimile da una webapp che serve milioni di utenti imho.
2 Likes
Io volevo solo tornare a questo riferimento di Crius, perché è formalmente corretto, tuttavia è possibile costruire architetture (anche abbastanza elementari) con moduli di memoria esterni che consentono di fare del context engineering anche abbastanza sofisticato e mitigano il problema della finestra di contesto limitata di questi oggetti.
Si possono quindi creare ontologie e schemi di conoscenza esterni all’LLM, che consentono ad un agent di recuperare di volta in volta il contesto necessario a dare delle risposte pertinenti. La complessità sta nel creare l’ontologia ex-ante ma soprattutto l’aggiornamento della stessa.
Al momento quindi è decisamente fattibile costruire agenti verticali in grado di perseguire un obiettivo anche in logica multi-step e multi-task, attingendo ad una memoria esterna e andando di volta in volta a modificarla/aggiornarla nell’esecuzione del proprio compito. I principali agent commerciali, sia di coding ma non solo, sottostante hanno meccaniche di questo tipo.
La criticità più grande è il meccanimo di aggiornamento della memoria esterna e il grado di discrezionalità che l’agent orchestratore deve avere in questa operazione: più il task è narrow, anche se complesso, più è plausibile che il modello si comporterà in maniera consistente rispetto al suo obiettivo; e viceversa.
1 Like
È sempre un piacere leggere i tuoi post Cecio, non è
comune avere competenze serie in questo campo in questo periodo storico, anche perché sono argomenti complicati e di frontiera, con enormi praterie ancora da esplorare.
1 Like
@geps quando gli dai la capacità di ascoltare e parlare?
1 Like
Mah, secondo me alla fin fine ne sapete di più di me che siete hands-on e io puro gestionale
1 Like
fxd..così sarebbe stata più divertente?
2 Likes
Il chatbot che ascolta e risponde a voce insultandoti e mandandoti affanculo l’avevo già accrocchiato sulla mia steam deck, non è niente di complicato da realizzare però per ora non ne vale la pena perderci tempo perché le 2 voci sintetiche che sono disponibili gratuitamente per linux sono ancora estremamente acerbe e il risultato finale è inascoltabile
Non vedo errori mancano solo i termini vector search, embedding, rag, checkpoiting, autocompattazione ed .MD e/o .json
1 Like
ce ne sono vari di progetti open
ma puoi collegarti anche a google per text-to-speech, i vecchi modelli dovrebbero essere gratuiti, quelli nuovi misà con le api limitate free.
1 Like
btw trovato anche questo giorni fa
1 Like
Voice cloning di Germano Mosconi (per uso personale, mi raccomando) mi sembra un’idea gustosa.
direi quasi sacrosanta come riconoscimento della nostra superiorità rispetto alle macchine.
Io mi domando quando ci sarà la prima causa per diffamazione verso un bot ai, se non c’è già stata
ma solo io non riesco a far funzionare gpt-oss? se lo lancio con ollama va in allucinazione subito.
Temo mi manchi qualche modelfile per fargli capire di essere un “chatbot”
non sono individui fisici quindi non possono essere denunciate per diffamazione!
Ormai il RAG è vecchio 
Agentic Search e via