Prevedo grandi applicazioni in futuro 
Questo scambio è molto godurioso, comunque io venerdì scorso ho chiesto a GPT di scrivermi un breve commento alla valutazione che mi è stata rilasciata e che dovevo inviare alle Risorse Umane.
Gli ho detto una cosa del tipo:
“scrivi un commento alla mia valutazione in cui mi mostro soddisfatto per il punteggio sopra la media ma sottolineo che mi aspettavo comunque qualcosa di più”.
L’ho fatto per gioco.
Ho finito per inviare la sua risposta
aggiungo: è stato più “complesso” di così perchè prima quello stronzo mi ha detto “non posso scrivere io un commento alla tua valutazione, perchè deve essere un momento di crescita e salcazzo”. Gli stavo per scrivere che non avevo bisogno che mi facesse la cazzo di ramanzina formativa che faccio io alle mie figlie e che so perfettamente come funziona
Quindi, per chi si trovasse nella mia situazione, usate l’approccio gioco di ruolo: “fai finta di essere un impiegato che ha ricevuto una valutazione bla bla”.
Ma pensa te se devono darci l’AI moralizzatrice.
Abbiamo già un governo che decide di chi devono essere figli i bambini o se possiamo sposarci con chi amiamo, almeno lasciatemi una AI che mi scriva un commento libero
stanno decisamente togliendo tutto il divertimento mettendo troppi limiti.
Per chi è più in ambito accademico:
ma lo tsunami in arrivo per tutti i sistemi di valutazione dello studente che siano essay-based, lo stanno sentendo?
Formulai la stessa domanda in passato, il mondo accademico della ricerca scientifica pare abbia i mezzi per opporre uno scrutinio sul materiale pubblicato, quello universitario e specialmente scolastico decisamente no.
E non sono sicuro possa interessare professionalmente a qualche utente del forum, se tra noi vi siano artisti del disegno, eventualmente sara’ solo una curiosita’ dell’ambito, ma cercando informazioni sul modello di funzionamento dei generatori d’immagini ho trovato un progetto elaborato dall’Universita’ di Chicago intenzionato a creare una sorta di schermo di interferenza da applicare alle immagini originali per scramblare lo scraping ed invalidare i dataset ottenuti con esso.
E’ solo una beta pubblica al momento.
A me non è mai successo, ma sembra ci sia questa falla nella sicurezza.
Si, accedendo a ChatGPT adesso dice che la cronologia non è disponibile in quanto la stanno fixando…
ho appena usato chatgpt per farmi scrivere il testo di una email all’assicurazione per denunciare il furto di un’auto 
rubo la lista a @muse
27 ALTERNATES OF CHATGPT
- https://chat.tgbot.co
- https://chat.theb.ai
- https://freechatgpt.chat
- https://fastgpt.app
- https://freegpt.cc
- https://freegpt.one
- https://chatgpt.ddiu.me
- https://chat.ninvfeng.xyz
- https://www.aitoolgpt.com
- https://www.chatsverse.xyz
- https://chatforai.com
- https://desk.im
- https://ai.ls
- https://ai.ci
- https://talk.xiu.ee
- https://www.scyu.app
- https://www.chat2ai.cn
- https://aigcfun.com
- https://chat.forchange.cn
- https://94gpt.com
- https://chat.yqcloud.top
- https://ai117.com
- https://chat.zecoba.cn
- https://ai.yiios.com
- https://xc.com
- https://chat.paoying.net
- https://ai-toolbox.codefuture.top
1 Like
Description:
8 years of cost reduction in 5 weeks: how Stanford’s Alpaca model changes everything, including the economics of OpenAI and GPT 4. The breakthrough, using self-instruct, has big implications for Apple’s secret large language model, Baidu’s ErnieBot, Amazon’s attempts and even governmental efforts, like the newly announced BritGPT. I will go through how Stanford put the model together, why it costs so little, and demonstrate in action versus Chatgpt and GPT 4. And what are the implications of short-circuiting human annotation like this? With analysis of a tweet by Eliezer Yudkowsky, I delve into the workings of the model and the questions it rises.
Web Demo: https://alpaca-ai0.ngrok.io/
Oh beh, se ho ben capito il contenuto del video, questa evoluzione aprirebbe potenzialmente alla possibilità per una piattaforma di sviluppare autonomamente, o comunque con supervisione minima, subroutine esperte secondo la necessità, di livello inferiore, per svolgere task specifici, di fatto automatizzando la scomposizione di un problema. Rimane solo la necessità di trovare un modo per queste nuove unità di potersi interfacciare tra loro dinamicamente.
E’ un bootstrap del training, serve che qualcuno abbia pagato per primo il dazio, poi essere up to speed a qualità accettabile è immediato ed estremamente più economico.
Questo è un problema significativo per OpenAI.
2 Likes
Ah, dunque è scalabile e quindi relativamente semplice operare in retro-ingegneria rispetto al sistema madre ?
The training model cost about $530 to build locally yet has the abilities of GPT 3.5.
The software is free and open source and I am working on preconfigured packages for anyone to have local training and access to a LLM GPT AI.
1 Like
Non è retroingegneria. Stanford ha usato sistemi opensource (il modello di Meta) per fare un certo tipo di finetuning basandosi su un set di output prodotti via GPT-3.5.
Lo scaling dipende da quante domande vuoi fare a GPT-3.5, ma con una spesa minima (poche centinaia di dollari di accessi via API) si ottiene già una resa paragonabile.
Riportando dal sito
Training recipe
There are two important challenges to training a high-quality instruction-following model under an academic budget: a strong pretrained language model and high-quality instruction-following data. The first challenge is addressed with the recent release of Meta’s new LLaMA models. For the second challenge, the self-instruct paper suggests using an existing strong language model to automatically generate instruction data. In particular, Alpaca is a language model fine-tuned using supervised learning from a LLaMA 7B model on 52K instruction-following demonstrations generated from OpenAI’s text-davinci-003.
La domanda posta dal progetto è “posso usare l’output prodotto dal training di GPT per ottenere un training separato analogamente funzionale?” e la risposta non solo è “sì”, ma è anche “e ci vuole pure molto poco”.
Disclaimer che ci sono debolezze e che il tutto si basa anche su violazione dei termini di uso di GPT:
We emphasize that Alpaca is intended only for academic research and any commercial use is prohibited. There are three factors in this decision: First, Alpaca is based on LLaMA, which has a non-commercial license, so we necessarily inherit this decision. Second, the instruction data is based on OpenAI’s text-davinci-003, whose terms of use prohibit developing models that compete with OpenAI. Finally, we have not designed adequate safety measures, so Alpaca is not ready to be deployed for general use.
Sulle limitazioni note:
Alpaca also exhibits several common deficiencies of language models, including hallucination, toxicity, and stereotypes. Hallucination in particular seems to be a common failure mode for Alpaca, even compared to text-davinci-003.
For example, in the following figure, Alpaca wrongly says that the Capital of Tanzania is Dar es Salaam, which is the largest city in Tanzania. (It was the capital until 1974, when it was replaced by Dodoma.)
Furthermore, Alpaca can be used to generate well-written outputs that spread misinformation, as seen in the following example.
Alpaca likely contains many other limitations associated with both the underlying language model and the instruction tuning data. However, we believe that the artifact will still be useful to the community, as it provides a relatively lightweight model that serves as a basis to study important deficiencies. We encourage users to help us identify new kinds of failures by flagging them in the web demo. Overall, we hope that the release of Alpaca can facilitate further research into instruction-following models and their alignment with human values.
Quindi, boh ci riprovo perché effettivamente è un ambito veramente alieno per me, utilizzano un sistema più avanzato, diciamo veterano, per addestrare e far progredire più rapidamente versioni meno complesse senza aver accesso ad un solito livello di complessità del dataset utilizzato inizialmente lavorando piuttosto per, ehm, emulazione nelle associazioni ?
Questo non potrebbe provocare un diffusione sistemica ed un progressiva amplificazione di eventuali errori commessi nel tuning iniziale ?
Non è che io sia messo tanto meglio di te sulla comprensione
Ma, sì, esatto, però avresti comunque relativo margine di metterti a fare il lavoro fatto da OpenAI e ri-pesare risultati. La cosa grossa è che la mole di lavoro iniziale è già stata fatta e serve ritoccarla molto poco.
Considerando che questa è più proof of concept che strumento (poi, il link di Nightmare indica che comunque siamo pronti già ad aprire le gabbie, ma questo è un altro discorso), sì, lo scenario più probabile è quel che descrivi ma il fatto da portare al tavolo è che siamo ad uno scenario dove non più il segreto industriale lo puoi proteggere con le porte chiuse alla tua fabbrica, non lo puoi proteggere proprio perché il materiale grezzo da raffinare per ottenere il prodotto finale è in grado di inferire tutto il processo produttivo semplicemente applicandolo al prodotto finito dei competitor.
Questo apre rigorosamente imho che non ne capisco un cazzo, non sono del settore e non ho immediato accesso a persone del settore uno scatolone di vasi di pandora sull’applicare valore economico allo strumento.
Qual è l’incentivo economico ad esporre per primi il proprio prodotto, vista questa possibilità di emulazione? Dov’è l’attrattiva dell’investimento?
In effetti di per se, sempre questa caratteristica sia implicita e non limitabile, le riproducibilità iterativa vanificherebbe il valore di mercato del prodotto stesso, però non necessariamente quello della fruibilità se associato ad una distribuzione ed aggiornamento puntuale entro altri sistemi, come una sorta di Android la presenza, e l’implicita raccolta dati telemetrica dell’utenza, giustificherebbe l’investimento. Magari in futuro personalizzazioni specifiche.
Hanno fatto un fine-tuning dei pesi allenati da Meta e che sono accessibili al momento solo per finalità di ricerca e non commerciali.
Cos’è il fine-tuning? Prendo una rete neurale già addestrata e modifico i pesi / aggiungo un ulteriore layer di pesi da addestrare utilizzando un dataset (e talvolta anche tecniche di addestramento diverse) specializzato per il tipo di task che mi interessa.
Un esempio più facile da capire è se vuoi addestrare una rete neurale per riconoscere un iPhone da un Samsung a partire da foto/immagini dello smartphone. Esistono già una pluralità di reti neurali convoluzionali che sono in grado di distinguere un cellulare da un frigorifero, ma probabilmente nessuna di esse è così specifica per distinguere le marche di uno smartphone.
Quello che posso fare è prendere una CNN pre-addestrata, prendere un dataset di immagini di iPhone e Samsung e aggiungere alla CNN pre-addestrata un ulteriore layer di pesi che andrò ad addestrare (fine-tuning) per risolvere questo task molto specifico.
Perché fare fine-tuning anziché allenare la rete end-to-end, comprensiva quindi dei pesi della CNN? Perché costa un botto e al 99% non avrò a disposizione un dataset così ricco (e un’infrastruttura adeguata) per allenare un buon modello di computer vision
1 Like