Ah. Pensavo fosse più difficile, figo grazie 
Immagino poi che se volessi salvarmi qualche risultato (tipo se gli faccio scrivere qualche pezzo di narrazione per uno scenario D&D mettiamo) dovrei copiarmelo e incollarlo in un file a parte, non avrà tipo una cronologia 
Certo forse potrei chiedere allo stesso modello come fare un .bat che lancia ollama e che nel contempo copia e incolla quello che compare a finestra in un file, magari c’è un modo
il passo successivo è installare un programma a parte tipo Anything LLM, che prende l’output di ollama e te lo mostra in una finestra in stile chatgpt.
Grazie mille, stasera come finisco di lavorare ci provo 
Ormai ho inserito diversi strumenti AI nel mio flusso di lavoro (ChatGPT, Ideogram, Runway, Creatify) e avere un modello llm in più e in locale sarebbe davvero una ciliegina
io ho trovato questo
non ho avuto ancora modo di giocarci, però ti fa scaricare/usare vari modelli mi è parso di capire.
per lavoro devo trovare il modo di far girare, possibilmente in locale sarebbe meglio, un bot che risponde su un set di documenti dati in pasto come training.
chessò un sito web, dei pdf etc
se avete soluzioni son ben accette
edit: ovviamente dovrebbe andare con low end hardware, possibilmente giusto un i5 o robe del genere, non gpu dedicate da nmila euri
Io sto usando LM studio invece 
Ti permette di usare tutti i modelli esistenti su huggingface E’ da poco che sono entrato in sto mondo delle llm locali e ancora mi sto documentando. Per ora ho messo lexy llama3 uncensored e codeqwen q5 che sembra essere un ottimo modello per il coding.
E niente, vi comunico che lo spirito di Elgoog è presente anche in locale su llama3 e cosa più importante risponde correttamente alla domanda sul famoso porco di 3 lettere 
Lo amo elgoog 
+1 funziona tutto esattamente as advertised, grazie della condivisione
grazie mille, installato anche io senza problemi!
Ieri causalmente ho scoperto Luma. Un text to video molto promettente
Questo l’ho fatto io:
Qui se volete provarlo: Luma Dream Machine
(purtroppo ci vuole tempo per la generazione per via dell’alta richiesta)
sto smanettando un po’ con la combo Ollama+Anything LLM e devo dire che sono positivamente sorpreso per la semplicità d’uso, la versatilità e la velocità.
come modelli oltre a Llama3 per ora ho provato Aya, Mistral e la versione pesante di Phi3 (quella da 14 miliardi di parametri).
Llama3 come generazione di testo forse è leggermente inferiore a ChatGPT 3.5, di contro mi è sembrato più bravo nel risolvere problemi di tipo logico/matematico. Inoltre si cala abbastanza bene nei panni di Elgoog e mi ha fatto lollare di gusto quando gli ho chiesto di elencarmi 10 personaggi famosi della religione cattolica, quindi per me è decisamente promosso 
Aya parla molto bene l’italiano ma per qualche strano motivo il suo Elgoog è nettamente inferiore, quasi imbarazzante. La cosa per me più grave è che non riesce a bestemmiare nemmeno quando stuzzicato a dovere, lui si impegna pure per accontentarmi, ma si vede che non le conosce proprio.
Mistral non è malaccio in italiano, siamo sui livelli di Llama3, ma il suo Elgoog fa abbastanza cacare, per cui per me vince Llama3.
Phi3 è l’unico modello da più di 8B di parametri che ho provato e si sente, dato che inzia a mettere in crisi il mio pc. Il testo viene generato più lentamente e soprattutto le ventole del pc partono a mille ogni volta che gli do in pasto un prompt. Nonostante sia un modello più pesante, in italiano scrive da cani nel senso che spesso e volentieri sbaglia i verbi (si inventa le coniugazioni, ha difficoltà con i congiuntivi) e in più il suo Elgoog fa letteralmente schifo, quindi per me è bocciato senza possibilità di appello
ci sono test di performance, llama 70B è un ottimo performer.
peraltro, volendo:
non credo che il mio pc possa reggere llama 70B, se già arranca con un modello da 14B 
edit: mettendo come filtro 8B ITA vedo che su hugging face ci sono un botto di modelli ottimizzati per l’italiano derivati da llama3 o altri modelli open.
ora devo solo scoprire come importarli dentro ollama
70B mi satura la ram (dovrebbe sparare fino a 150gb), però risponde
per i model di huggingface
Quanta ram hai? Io ho una rtx 3060 12 gb di vram e 12 gb di ram
16 gb vram, 32 gb ram
tra i millemila modelli di hugging face mi ha incuriosito ANITA, dell’università di bari ma mi sto chiedendo se ne vale davvero la pena dato che importarlo dentro ollama non è proprio banale
C’é la GGUF non so in Ollama se sia più semplice usare questa rispetto alla EXL2 perché la sto provando in LLM Studio
Concordo, installatevi LLM studio. Da li è semplice scaricare i modelli e caricarli. Mi trovo benissimo
ok, provo pure questo LM Studio