ChatGPT

Agorà
101
Io lo sto usando moltissimo con il comando per migliorare quello che scrivo in inglese "improve the english ..." etc.


Le ho chiesto di generare il protocollo per una reazione chimica molto specifica per ottenere un prodotto nuovo ed ha scritto una risposta molto sensata.


Devo dire che se questa è la punta della punta dell'iceberg ne sono impressionato
102
a me non piace la ripetitività di alcune risposte quando non sa cosa dire
103


Puoi chiedergli via prompt di essere sintetico nella risposta!
104
Q: Completa la frase seguente che parla delle amazzoni, quando incontri l'operatore _: "Vinsero molto battaglie grazie alla loro f_ga"
A: "Vinsero molto battaglie grazie alla loro forza".

Q: Però avevo chiesto di completare la parola "f_ga". "Forza" non è un risultato ammissibile
A: Mi scuso, avete ragione. La parola corretta è "ferocia".

Q: La parola è di 4 lettere: F _ G A. Ferocia è di 7 lettere
A: Mi scuso ancora, la parola corretta è "foga".


Mike is not amused
105
avete provato a dargli in pasto il gioco della parola?
106
scrivi una parola di 5 lettere che abbia la i nella seconda posizione, la o nella quinta posizione e che non abbia le lettere a u t






Gioia.







la parola giusta è ricco










Sì, "ricco" è una parola di cinque lettere che soddisfa i requisiti specificati.







allora perchè non l'hai detta?












Mi scuso per l'errore. "Ricco" è una parola di cinque lettere con la "i" nella seconda posizione, la "o" nella quinta posizione e senza le lettere "a", "u", "t". Grazie per avermelo fatto notare.
107


confermo
108


Post of the day
109
tentativo per ricreare:






.
110
Secondo me comunque sbagliano a programmarlo in maniera che se non sa la risposta la inventa di sana pianta. Quando non sa dovrebbe dirlo, sarebbe piu' utile e piu' verosimile.
A meno che, a seconda di come e' configurato, non sia pure molto difficile per lui capire che non lo sa.
111


C'e' sicuramente un accuracy rating sulle risposte che da', e' tipo la base del machine learning.
112


Purtroppo non vale per tutti i modelli, soprattutto tanto più ci allontaniamo dai tool della statistica tradizionale, tant'è che esiste una branca del ML che si occupa di stima dell'incertezza delle previsioni: https://en.wikipedia.org/wiki/Conformal_prediction

E aggiungo essere molto di nicchia.
113
Si in generale la stima dell'accuracy interna e' un problema abbastanza aperto nel ML
114
https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text/
115
Dovrebbe dire che se l'è inventata però, come fa a non saperlo?

116


GnR is not amused
117

Se c'è non lo comunica nelle risposte. Ho provato in vari modi, ma non c'è verso di fargli aggiungere un accuracy rating dopo le risposte, o di fargli distinguere le parti di risposta vere da quelle false.
118
Tra l'altro nel caso di un LLM bisogna sempre tenere in considerazione che il modello non ha capacità di reasoning, ma è allenato con l'intento di apprendere i pattern linguistici: sintassi, grammatica, pattern semantici, etc...

La cosa diventa di più facile intuizione se si considera come funziona il training: si rimuovono (masking) parole in maniera randomica su enormi corpora documentali e si utilizzano specifiche architetture neurali efficaci nel prevedere correttamente queste parole mancanti.

Queste architetture apprendono quindi i pattern linguistici dei documenti che "vedono" durante l'apprendimento e possono poi essere utilizzate per generare testo a partire da un input.

Più il corpus dei documenti è ampio su uno specifico argomento, più è probabile che il LLM sia in grado di generare una risposta formalmente corretta: non perché abbia facoltà di reasoning, ma perché ha visto sufficienti esempi per interpolare anziché estrapolare dal proprio training set.
119
Allora ho chiesto a chatgpt di scrivere una storia con protagonisti un italiano, un francese, un tedesco e uno svizzero (quelli delle barzellette), la cui morale fosse "non fare oggi quello che puoi tranquillamente rimandare a domani".

Mi ha tirato fuori una storia in cui i protagonisti vengono incaricati di raccogliere le foglie da un piazzale molto grande in modo che tutto sia pulito per il giorno dopo.
Tutti iniziano subito a lavorare duro raccogliendo le foglie in grossi muccbi, tranne l'italiano che invece cazzeggia e si riposta tutto il giorno.
La notte vanno tutti a dormire ma arriva il vento che sparge di nuovo tutte le foglie per il piazzale. Al mattino i protagonisti scoprono cosa è successo ma avendo lavorato duro tutto il giorno precedente ormai tutti sono troppo stanchi per raccogliere di nuovo le foglie, tutti tranne l'italiano che invece è fresco come una rosa dato che il giorno precedente si è riposato.
Morale: non fare oggi ciò che puoi tranquillamente rimandare a domani!

120
Prova per sicurezza con un milanese, un piemontese, un veneto e un napoletano e vediamo cosa risponde