che delusione, nessuno qui che abbia risposto con una efficace disamina scientifica nei confronti del signor Altman del tipo
1 Like
Ma poi siamo veramente su due piani differenti.
Ad OpenAI è stato, blandamente tra l’altro, contestata la violazione del copyright su pressoché ogni fonte di dati presente su Internet.
A Deepseek si contesta l’utilizzo di un modello proprietario (nb: utilizzo che prevede tra l’altro un costo e sottostà a specifici ToS che dubito non prevedano l’uso per finalità commerciali e non degli output del modello AI, diversamente non potemmo usare questi LLM per qualsiasi altra finalità business) per generare dati sintetici.
Poi con molto probabilità anche DeepSeek ha fatto crawling del web allo stesso modo in cui l’ha fatto OpenAI per allenare il suo modello “base”, infrangendo le stesse leggi sul diritto d’autore, ma al momento non gli si contesta ciò.
2 Likes
I LLM son belli fino a quando il lavoro che rubano non è il tuo e tutto è quello che ho da scrivere sull’argomento, mi dispiace tantissimo Sam
4 Likes
2 Likes
Ah cavolo, adesso che mi hai spiegato la differenza allora sì che mi spiace tantissimo per Sam Altman poverino 
C’è qualche fondo dove è possibile donare qualcosa per aiutarlo con le spese legali? O magari qualche ONG che aiuta poveri CEO miliardari a rifarsi una vita non so
1 Like
Se è vero non è altro che la conferma che non puoi fare una LLM di un certo livello senza i dataset di qualità che sono costati molto a qualcun altro 
come godo
1 Like
“ehi non e’ giusto! li abbiamo rubati prima noi!” ← siamo a questa situazione qua?
2 Likes
Sì, siamo al livello che a un ladro rubano la refurtiva e va a lamentarsi dalla polizia.
Ma poi OpenAi non doveva… you know… essere OPEN?
Beh l’han resa open i cinesi 
Come bonus perde gozziliardi pure Nvidia
Well played Xi
7 Likes
In realtà deepseek è un wrapper di chatgpt, se gli disabilitano la api key smette di funzionare 
1 Like
Ma da qualche parte qualcuno ha azzardato a spiegare come avrebbero fatto?
Distillation di qua, distillation di là, ma senza avere accesso al modello di openAi come cazzo avrebbero fatto a fare distillation?
Questo sicuramente no, dato che deepseek funziona anche in locale senza connessione a internet.
1 Like
Anche a me interesserebbe capire questo… tecnicamente è possibile?
PS (totally unrelated): ma tu sei il Pompolus che faceva le arene a 2 in WoW TBC in coppia con Nefasto?
Esistono altri Pompolus? Se sí, sono stati distillati dall’originale
1 Like
Ah ah ah… bella risposta… Diego Armando Maraudon? o ricordo male?
Edito… scusate FINE OT
Ricordi bene, prima di Dot Spencer & Terence Heal
2 Likes
Fanno generare dati di sintesi al modello teacher e si fanno generare le risposte per il modello student.
Lo si fa anche coi finetune qui è descritta la procedura per quest’ultimi
https://predibase.com/blog/how-to-generate-synthetic-data-and-fine-tune-a-slm-that-beats-gpt-4o
In questa analisi dal punto 4.1.2 trovi dati su un test di similitudine nelle risposte a GPT-4o ad esempio Phi-4 di Microsoft è stato ufficialmente addestrato su GPT-4o e da risposte meno simili di quelle di DPSK-V3