Generazione immagini ML based a casa - "We have Midjourney at home", letteralmente

Stability AI annuncia Stable Diffusion 3

Volendo ottenere un’immagine 2k con stable diffusion bisogna creare l’immagine a 512 e poi upscalarla?
Non si crea direttamente a quella risoluzione perchè i modelli sono trainati per restituire ottimi risultati solo a risoluzioni basse?

è trainato con immagini di quelle dimensioni e chiedergli di fare immagini più grosse significa generare informazioni molto più inconsistenti rispetto a ciò che il modello permetta altrimenti

il training copre operazioni su matrici 512x512, se vuoi andare oltre serve “inventarsi” operazioni non registrate che siano consistenti col training

1 Like

dipende anche da cosa generi se è tipo una skyline di una città, una foresta, insomma soggetti con pattern ripetuti a 1024x512 non vengono male con SD 1.5 ma più sali e più gli elementi duplicati cuciti male diventano evidenti, poi puoi andare di SDXL che è addestrato a 1024x1024 di sicuro avrai maggiore consistenza/qualità e potrai eventualmente salire di risoluzione anche se sarà di una lentezza letale :asd:

1 Like

Mi fate un riassunto veloce di una versione/repo che posso facilmente installare sul pc con una scheda nvidia per generare immagini fantasy?

Scheda: 3070ti mobile
Serve per una campagna con dei ragazzini, non pagherei comunque nessun artista per farle, gia’ ho speso troppo del mio tempo personale possa un angelo biblicamente accurato farmi visita se mento

@char l’ultimo update e’ del 10/10/2023. E’ da aggiornare in caso o e’ la roba di riferimento ancora?

E’ uno wiki post, chiunque @here puo’ aggiornarlo eh.

hai ragione, i repo hanno un po’ di aggiornamenti ma quale sia l’attuale performance di SHARK e lo stato attuale delle AMD vs NVIDIA non so quanto sia cambiato.

per risponderti, penso sempre A1111 ?

per automatic1111, butta un occhio su comfyui che e’ una estensione che puoi aggiungere a a1111 per fare dei workflow

qui esempi di workflow

Questo quindi?

@matsnake86 avrebbe senso su un wsl invece che su windows schietto? Non voglio impestare windows e tutte le robe di codice etc tendo a infilarle sotto diverse istance wsl per facilita’ di pulizia.

Io sono un affezionato di easy diffusion.

È veramente no brain da far partire e mette già lui le cose giuste se hai AMD o Nvidia.

Per il modello se devi fare fantasy vai tranquillo con dreamshaper

I modelli xl ovviamente sono molto meglio rispetto a quelli di SD1.5. Capiscono molto meglio cosa gli chiedi.

Ma ocio che se hai meno di 10gb di vram probabilmente non ce la fa a generare.

Io con appunto 10GB su una AMD ci sto a filo e devo dirgli di stare attento all’uso di VRAM durante il processo

1 Like

Sì… anzi probabilmente gira meglio.

MA comunque non impesta granchè SD. Se cancelli la cartella il pc resta pulito.
A parte la cache di PIP

1 Like

Boh provo, dovrei avere 8gb vram ma se vado a vedere i dettagli nonmiricordodove pare che sfrutti anche la ram non video in sharing. Non mi chiedete comeperche’. Non ne ho idea. Di quella ne ho 32GB disponibili. Al massimo non funziona, pace.

boh io con una 2080 di merda (8gb) riesco a generare pure con modelli tipo sdxl con a1111

Deve essere un problema delle AMD allora. A me , con alcune risoluzioni , il software mi dice “puppa” out of vram. :cry:
Non mi sorprende però dato che tutto il circo gira meglio con cuda.

si ma cmq hai ragione gli 8gb sono un po’ il limite probabilmente, pure cosi’ alcuni step non ce la fanno proprio se alzi un po’ la risoluzione (tipo control net, o animated diff)

tipo anche face swap sui video con ReActor funziona se vado con batch piccoli (pochi frame per volta) altrimenti crepa

(non so se easy diffusion ha l’equivalente di --medvram o --lowvram di a1111)

sisi.
Infatti per fargli fare un’immagine 832 x 1216 di un modello XL devo per forza impostare il parametro low nell’uso della memoria video.
Mentre con i modelli SD 1.5 potevo tranquillamente fare 512x1024 con vram su high.

A me SHARK usava qualcosa come 14-15gb di vram con setting più o meno standard.

1 Like

Se siete al limite con 8gb c’é il modello distillato di SDXL di segmind

1 Like

sbaglio o gira solo su cuda?

SDXL ?

No io riesco a farli andare anche sulla mia AMD con le fatiche citate

l’ho installato e fatto partire, mi dice che non ho una scheda video supportata e che gira su cpu.

su windows.