ChatGPT e le LLM (Part 1)

Wtf

ma come cavolo fanno a farlo generare on the fly? Che potenza di calcolo ci vuole?

N8n lo puoi installare anche in locale e fargli usare llm sempre installati in locale. A seconda di cosa vuoi fargli fare ovviamente devi considerare la potenza di calcolo richiesta. Per farti un esempio sul pc a casa :asd: ho installazione di n8n e ollama boh, 2.0 roba vecchia.

Ho un flusso che usa llm per ricavare dati strutturati da pdf non strutturati (per dire caga fuori i dati in formato json) tipo nome cognome oppure piva, importi da fatture etc.

Cosi poi posso generare un csv di merda che mi segna per ogni riga i dati estratti e se non ci riesce mi lascia il nome del file cosi lo controllo manualmente.

Al momento lo uso a botte di 50 documenti per volta perché senno implode il pc. Però per fare la stessa operazione a mano ci mettevo 1 ora, adesso circa 5 minuti

Non vedo l’ora di farlo girare con la mia RTX 3060 12 GB VRAM :sisi: Magari una versione quant ovviamente :asd:

diventeranno interessanti appena ci saranno quelle specie di mini pc ottimizzati

Provato Wan Video. Con roba semplicissima per ora ma voglio vederci chiaro perché costa uno sputo rispetto a VEO (costa pure meno di kling) ma sembra avere risultati di tutto rispetto.

Manca di feature (anzi non ne ha proprio) ma a quello si può ovviare in partenza generando uno starting frame adatto. Quanto a movimenti di camera ecc., che sono quelli che ho testato, l’aderenza al prompt è molto, molto alta. Ci ho fatto un video veloce partendo da foto di una casa e ho fatto 9 video di cui 8 (OTTO) perfettamente usabili.

Stessa cosa fatta con Kling di solito servivano almeno 15 video, con Runway anche 18/20.

Boh, disarmante quanto stiano accelerando i modelli commerciali più basici e liberamente accessibili.

Grok si sta rivelando la cosa più ridicola di sta corsa all’AI.
Ma ha anche difetti :asd:

Per curiosità, ti andrebbe di condividere il risultato qui? O eventualmente in privato. Non per pigrizia ma avevo fatto dei test anche io con runway che invece non mi soddisfacevano

clickbait

sto stronzo di grok ha i blocchi come tutti gli altri :asd:

non so l’ultimissima versione ma 1 mese fa circa ho provato a generare delle immagini neanche nude ma con abiti che scoprivano troppo il corpo e me le bloccava.

cmq è tutt’altro che ridicolo grok :asd:

la generazione di immagini non è di grok. alle ultime info usava flux che è opensource. magari modificato ma fa abbastanza pena. difficilmente sono riuscito a generare qualcosa di decente o come da richiesta :vface:
giusto che se gli chiedi una persona famosa te la fa.

Più tardi vedo di caricare i segmenti sul mio drive e ti passo un link di accesso. Da domani visto che ho fatto l’abbonamento faccio qualche prova più “impegnativa” tipo genero un personaggio su Ideogram e lo animo con Wan, vediamo come si comporta.

1 Like

Ma non riesci a farlo girare in locale WAN? Io riesco a generare video con una rtx 3060 e 24 gb di ram. Il workflow itv è fantastico e mantiene la stessa persona senza cambiare il viso :asd:

pare negli us ci sia la generazione video

Io purtroppo lavoro su un laptop che per quanto abbia la 4060 e 32 di RAM è pur sempre un portatile con un i9, e quindi scalda troppo facilmente.

A essere sincero non ho neanche provato a farlo girare in locale, viste le esperienze con altri modelli che mi occupavano il PC per tempi lunghi e gli mandavano le ventole al massimo. Magari con WAN se la cava?

Premesso che Runway ultimamente ha perso tantissimo, e sono quasi sul punto di disdirlo. Lo tengo solo perché ancora ha un lip sync top in class come resa (ma Kling è più avanzato perché puoi controllare il punto della clip dove far partire l’audio, che è importante. Solo che poi sputa fuori una roba a 20fps che devo per forza far passare da topaz) e un ottimo upscaler di immagini. Ma nel fare video è diventato imbarazzante.

Qui ho caricato al volo 3 esempi dove ho letteralmente messo un prompt base (dove siamo / che tipo di giornata è / cosa fa la videocamera) e WAN ha fatto centro al primo colpo. In quella serale soprattutto mi ha sorpreso che non si sia incartato sulle sedie a destra e che abbia azzeccato il secondo pilastro della veranda, che nella foto non si vede ma nella realtà è veramente lì.

Se nei prossimi giorni tiro fuori qualcosa di interessante dal tool o se ci riesci tu aggiorniamoci

non male, forse solo la dronata è un po strana (si muovon troppo gli alberi)

ma come si installano sti llm in locale?
ma tutto free?

Grazie

interessante, anche se molto laggoso e con troppi difetti per l’uso professionale che dovrei farne. Riscontro più o meno gli stessi problemi che avevo avuto con Runway e sopratutto lo sminchiamento delle texture
Partivi da fotografie o da render?

Io realizzo molti video di questo genere, in location..ma sto ragionando anche io su questi strumenti quando arriverà il giorno in cui per tagliare i costi non mi faranno più uscire a girare e vorranno partire dalle fotografie di catalogo da animare.

E’ solo questione di tempo, me ne rendo conto. Per ora la qualità non c’è ancora, ma intanto mi salvo pure questo tool tra i possibili.

Per dire, con Runway ero riuscito ad ottenere un buon risultato qui https://drive.google.com/file/d/1TgZPbTQA9O2mJAvmGJybtDj-leX9YWVf/view?usp=sharing
è un video che è stato poi passato su whatsapp quindi la compressione fa un po’ di casino. Il problema rimanevano le texture, che rispetto alla foto originale si perdevano completamente.

Partivo da foto passate in upscale con AI perché erano un po’ sgranate, per i miei scopi attuali mi sto trovando meglio di altri strumenti anche se poi sì, singhiozza un poco nella visione (penso di risolvere con un passaggio ->60fps con topaz forse).

Il risultato che hai avuto con Runway bello, ma l’hai fatto di recente? Perché negli ultimi due mesi non mi ha quasi più dato risultati utili (camera che non si muove, nessuna animazione, warping a go go) e sia usando 4 che 4 turbo.

Comunque alle 19.00 di stasera ci sarà una live bella corposa con la presentazione di GPT 5 :sisi: Sono davvero curioso di vedere i progressi fatti, lo stanno hypando tantissimo :asd:

A me la roba che ha più impressionato in questi giorni è Genie 3, leggevo qualche opinione e ha ancora macro-difetti (fisica per esempio), chiaramente, ma hanno fatto un passo avanti enorme sulla consistency, la resa, la velocità con cui crea da prompt.