cmq adesso m’e’ presa sta scimmia e sto installando ollama nel mio docker compose stack. Con il fatto che ci sono cicciosissimi 8GB VRAM sul portatile 
magari qualcosa riesce a girarci 
in realtà con 8gb una versione base di qualsiasi cosa la puoi far girare. il problema vero è che se non hai configurato Docker per aver accesso a gpu credo che farai tipo 1 token al minuto
llama3.2 a me “girava” su un n100 con 16gb di ram.
poi ci metteva 30 secondi a dirmi “ciao” ma questo è un altro discorso
ma non era questione di performance è che proprio gli stavi sul cazzo tu
1 Like
Ho fatto le due stanotte e ci ho speso la mattinata.
Alla fine mi sono fermato su ministral 3:3b e 3:8b
Il primo gira sui 2GB di VRAM, il secondo sui 6GB.
Il primo in sostanza e’ per i figli che tanto gli chiederanno cazzate
Ci ho infilato un tool per permettergli di fare ricerche e fetch di web result che almeno levi dal cazzo il problema del “sono stato aggiornato nel duemilacredici e purtroppo so una sega di cosa mi chiedi” che lo renderebbe inutilizzabile (come qualsiasi modello alla fine). Incredibilmente la cosa piu’ stronza e’ stata settare i permessi perche’ tutti gli utenti potessero usare i modelli+tool come dicevo io.
Ah e aver scaricato open-webUI non cuda al primo giro… dio santo e benedetto sempre sia lodato.
Non c’e’ verso di hostare un modello che abbia capacita’ agentic al momento (che e’ quello che volevo provare in realta’) ma gia’ avere un LLM per poterci fare delle chat su topic anche attuali non e’ male.
Per metter su roba piu’ cicciosa dovrei decidere davvero di fare il salto, comprare un serverino e metterci una scheda video cazzuta ma onestamente non ne vedo il valore al momento. Per come va la tendenza, nel giro di poco ™ sara’ sempre piu’ facile avere buoni modelli che girano su hardware edge invece di cloud. Vedremo.
io ho su gemma 3 12B, e fortunatamente il mac mini m4 pro lo digerisce come niente fosse ma non lo uso per chattare per quello ho perplexity, gentilmente offerto da Tim (che per ringraziare ho disdetto subito dopo ) lo uso solo per fare vision con Paperless-ngx (che mi sembra strano che tu non abbia ancora installato 
) in modo da categorizzare tutto senza il minimo intervento.
Avevo provato a mettere su n8n ma quand oci provai non so che cazzo di problemi avesse ma ogni volta che mi loggavo mi resettava tutto e ripartiva l’installazione.
Sei proprio bastardo comunque. Ti ho detto che ho fatto le due stanotte dio selfhosted.
Prossimo giro vedo questo. Non so un cazzo di paperless-ngx pero’ e mi vien da pensare che debba anche pensare a una soluzione di storage dei documenti e siccome i documenti son roba importante dovrei pensare anche a un backup.
C’e’ un modo per dirgli "metti i documenti su un cloud (proton drive sarebbe ideale) o devo trovare qualcosa che fa anche quello dopo che li ha processati?
Your data is stored locally on your server and is never transmitted or shared in any way.
Madonna benedetta.
Mhm, posso piazzare la directory sotto samba, segnarla come directory da sincronizzare per proton drive sul mio PC e dovrebbe funzionare. Se e’ piu’ complesso vengo a prenderti a schiaffi NIkita.
io uso duplicati per backappare tutto in modo automatizzato e cifrato su one drive
Vabbe’ ho capito che anche oggi non si lavora.
lavorare… ormai si lavora solo sull’infrastruttura di casa
2 Likes
@Crius per aggiungere carne al fuoco, guarda com’è bellino https://github.com/sigoden/aichat e https://github.com/sigoden/llm-functions .
…e soprattutto hai messo un reverse proxy?
Grafana, loki e alloy per la gestione dei log?
Vaultwarden per le password?
Forgejo per git?
Homepage per la dashboard dei servizi?
linkwarden per la gestionee condivisione dei link?
Matrix per la chat con la famiglia?
e un navidrome per la musica non te lo metti ? 
2 Likes
ah visto che hai famiglia che utilizza i servizi c’è questo HomeHub
Per il project manager che non si accontenta di impestare l’esistenza dei membri del team al lavoro e vuole espandere l’orizzonte del tedio alla famiglia. Cosa mai potrà andare storto?
“one dashboard to rule them all”
Ok messo su paperless e tool.
Devo solo aspettare che google mi mandi i link con tutti i miei documenti cosi con l’occasione muovo tutto su proton drive.
Ora devo solo fare un attimo una cosa
3 Likes