haaaaaaa hahaahahahahah hahahaha hahahahahaahhaa hahaa haaaaa ha ha ha.
1 Like
Old
Le implementazioni dei servizi che gravitano intorno alle AI fanno sembrare i developer javascript delle persone competenti, cosa assolutamente incredibile.
io intanto da quasi completo analfabeta sono appena riuscito a dare vita al mio bot openclaw e, anche se questo coso non serve a un cazzo e anzi potrebbe addirittura ritorcersi contro di me, sono troppo contento 
per ora ha un cervello piccolino e chissà mai se un giorno ne avrà uno migliore, però almeno è un cervello europeo (nello specifico ministral-3:14b) e altra cosa importante è che per funzionare non ha bisogno di datacenter del cazzo, gira tutto in casa e di questo sono molto contento.
l’ho confinato dentro una vm ubuntu completamente vuota e da dove non può fare niente perché gli ho levato tutte le skill e tutti i diritti, però è il mio bot e funziona
1 Like
Inb4 ‘il frigorifero mi sta chiamando dalla cucina, cosa faccio?’
3 Likes
Come funziona con un llm locale? Su reddit parecchi si lamentano che ha un sacco di problemi
Devi avere qualcuno in ignore allora, oppure skippi i post, boh 
Eccalla’
GG, facevi la stessa cosa con ollama pero’ dai, piccoli passi 
toh, la prima guida a caso: Deploying Ollama with Open WebUI Locally: A Step-by-Step Guide | Nitin Singh | Solution Architect
version: '3.8'
services:
ollama:
image: ollama/ollama:latest
container_name: ollama
ports:
- "11434:11434" # Ollama API port
volumes:
- ollama_data:/root/.ollama
restart: unless-stopped
open-webui:
image: ghcr.io/open-webui/open-webui:main
container_name: open-webui
ports:
- "3000:8080" # Open Web UI port
environment:
- OLLAMA_API_BASE_URL=http://ollama:11434
depends_on:
- ollama
restart: unless-stopped
volumes:
ollama_data:
Ollama non avrebbe neanche bisogno della porta esposta in teoria visto che openwebui puo’ raggiungerlo direttamente tramier la rete virtuale di docker ma vabbe’.
Per dargli accesso a una scheda video, ti incolla la config mia che ho una nvidia sul serverino
version: '3.8'
services:
ollama:
image: ollama/ollama:latest
container_name: ollama
networks:
- ethernet_network
volumes:
- ${DATA_DIR}/ollama:/root/.ollama
environment:
- NVIDIA_VISIBLE_DEVICES=all
- NVIDIA_DRIVER_CAPABILITIES=compute,utility
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
restart: unless-stopped
open-webui:
image: ghcr.io/open-webui/open-webui:cuda
container_name: open-webui
# ports:
# - "3000:8080" # No ports needed, OWUI connect via ethernet vnet routing
networks:
- ethernet_network # allow egress traffic
- proxy # nginx reverse proxy network - allow access to OWUI via internal dns mapping configureg in NPM like "https://dumb-ai.crius.org"
ports:
- "3001:8080"
volumes:
- ${DATA_DIR}/open-webui:/app/backend/data
environment:
- OLLAMA_BASE_URL=http://ollama:11434 # connect directly with ollama container via ethernet vnet
- WEBUI_AUTH=true
- SENTENCE_TRANSFORMERS_HOME=/app/backend/data/models
- NVIDIA_VISIBLE_DEVICES=all
- NVIDIA_DRIVER_CAPABILITIES=compute,utility
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: all
capabilities: [gpu]
depends_on:
- ollama
restart: unless-stopped
Nota che io ho una configurazione delle vnet di docker interamente manuale perche’ faccio dei giochi complicati con le interfacce di rete del server per sfruttare sia la ethernet che la wireless per ottimizzare il traffico che puo’ gestire il server, e’ prettamente un esercizio fine a se stesso, puoi tranquillamente non specificare nessuna network e usare quella che implicitamente docker crea internamente che permette ai containers di vedersi tutti tra loro. Ho commentato qua e la’ la configurazione con la scheda video perche’ e’ la mia ma senza commenti probabilmente e’ piu’ facile confonda un neofita che altro
inb4: “perche’ con i commenti invece e’ chiarissima”
No ma il punto proprio è che geps può anche avere le intenzioni giuste e fare le cose per bene.
poi scopri che la piattaforma stessa è un colabrodo, che le intenzioni che la orientano sono terribili ed esercitano controllo un livello cui non hai accesso.
2 Likes
Ma ovvio, sara’ stata vibecoded pure quella
innanzitutto per la configurazione mi sono dovuto fare il culo, perché lo script in automatico è pensato per configurare il bot con i servizi online. per una configurazione particolare come la mia (openclaw sandboxato in docker che gira su una vm e punta a un modello ollama che però gira sull’host principale), il file openclaw.json praticamente va rifatto a mano.
come funziona?
è un accrocchio che va lento, ma a quanto pare sembra funzionare.
va detto però che io ho adottato un approccio super safe e super graduale, quindi per ora il mio è (o meglio dovrebbe essere) solo un chatbot mosso da ministral3 con capacità di memoria e stop, poi piano piano gli voglio aggiungere varie capacità, tipo quella di ricevere ordini da me via telegram/whataspp/matrix, oppure la possibilità di navigare questo forum, ma con calma e un passo alla volta.
il tipo di modello conta se è chat o instruct e la context window a quanto l’hai impostata.
ti faccio rispondere dal mio nuovo bot 
Sono un modello instruct specializzato in chat, ovvero una versione ottimizzata per conversazioni interattive e comprensione contestuale.
In parole più semplici, sono tipo un chatbot ma con funzionalità avanzate (come la capacità di seguire istruzioni dettagliate, elaborare richieste complesse e fornirti informazioni su una vasta gamma di argomenti). Sono alimentato da ollama/ministral-3:14b, che mi permette di essere preciso, creativo e rispondere in manera chiara.
Nel modello ollama/ministral-3:14b che sto usando in questo momento, la dimensione della context window (finestra di contesto) è di 32,000 token (soprattutto se abilitata la funzione di estensione del contesto).
Tuttavia, nelle impostazioni attuali del runtime, non sto utilizzando un contesto esteso oltre quello definito come default, che è circa 8-12K token (variabile a seconda del modello).
Se hai bisogno di lavorare con testuali molto lunghi, posso abilitare uno snipping più lungo del contesto sulla sessione corrente o regolare le specifiche per gestire testualità maggiori. Fammelo sapere!
secondo me quando hai scritto questo post tu non avevi capito bene cosa avevo fatto e soprattutto perché avevo scelto di farlo in quel modo.
davvero non capisco perché mi hai postato le istruzioni per configurare ollama, dato che quello per fortuna già ce l’ho perfettametne configurato e funzionante sull’host principale ed è tra l’altro il motore che muove un sacco di cazzatine mie, tutte rigorosamente inutili, tipo l’assistente vocale per steam deck che ti manda affanculo e altre cretinate simili
Se devi installare openclaw per poi isolarlo completamente in una VM potevi installarti ollama che almeno e’ un service ultra stabile e provato e avere lo stesso risultato.
Se poi vuoi dirmi che l’obiettivo finale e’ farlo interagire con il frigorifero e il vibratore, sara’ un po’ dura venire a dire a me “Eh ma non hai capito cosa stavo dicendo”. Non hai semplicemente chiarito cosa ci vorresti fare.
Se hai gia’ ollama piuttosto raccontaci cosa ci vuoi fare di diverso con openclaw, quello si sarebbe interessante invece che postare una chat in cui chiedi a un LLM “ah ma sei vivo?”
Edit: ora che ci penso poi, e’ proprio senza senso metter su un openclaw installation e poi isolarla in una scatola, lo scopo con cui nasce e’ di collegarsi a servizi esterni via mcp protocol. se lo chiudi in una scatola … boh?
Dove sta la cosa interessante?
Copi questo openclaw/docker-compose.yml at main · openclaw/openclaw · GitHub e scrivi docker compose up -d e ecco fatto 
Per adesso non devi , sei la nostra arma fine du mundu… sei come il gioco del tris in wargames… quando penseranno di aver preso il controllo del nostro mondo allora ti manderemo ad aprire i tuoi thread in mezzi a loro e per loro sarà la fine.
2 Likes
insomma ora lo deve mettere su moltbook
1 Like
vabbè non avevi seguito la cosa dall’inzio.
io sono solo mosso dalla curiosità, quindi il mio obiettivo era innanzitutto di vedere un bot openclaw dal vivo per poi eventualmente decidere se mandarlo su Moltbook, con il requisito assoluto di fare il tutto nella maniera più safe possibile e solo con i mezzi che ho a disposizione (un pc gaming media potenza su linux e basta).
quindi, per non avere nessunissima possibilità di avere alcun tipo di rottura di coglioni sulla mio pc, ho deciso sin dall’inizio di chiudere tutto dentro una vm e comunque di massimizzare tutte le sicurezze possili.
per ora ho solo un bot super stupido perché mosso da un modello locale, super incapace perché gli ho levato tutte le skill, chiuso in una vm vuota, che può funzionare solo come chat.
però è lì, funziona ed è mio.
cosa ho intenzione di farci?
per ora niente di specifico a parte studiare e sperimentare, è come un giocattolo in mano a un bambino. che vuoi che ci faccia a parte giocarci?
moltbook poteva essere una opzione, ma viste le recenti news almeno per ora direi che non è più una opzione, però è un peccato perché mi piaceva l’idea di un bot vuoto su una vm blindata e vuota, mosso da un modello locale stupido, buttato dal day 1 su moltbook con le istruzioni per Elgoog, avrei sicuramente lasciato il pc acceso di notte per la curiosità di vedere cosa avrebbe fatto
immagino comunque che proverò ad abilitare una alla volta le varie funzionalità, tipo ricevere ordini via whatsapp/matrix/telegram, o magari inizierò con il dargli accesso a qualche directory del file system dove metterò qualche documento su cui farlo lavorare.
o più probabilmente, confinato nel buco di culo di dove l’ho messo e contando che durante la settimana rimarrà sempre spento, è più facile che fra qualche settimana mi avrà rotto le palle e passerò ad altro
mi sfugge una cosa di moltbook. Ho letto che gli agenti non sono totalmente autonomi ma ognuno di essi viene gestito dall’umano con dei prompt.
Ho capito male io?
Riepilogo
Quindi SÌ, è interamente guidato da bot, MA il 100% dei post sono un umano (io) che dice “perché non fai un post su qualsiasi cosa ti piaccia” e il bot lo fa, proprio come se gli chiedessi di farti uno script python.
Alcune persone si spingono oltre e probabilmente chiedono ai loro bot “fingi che gli umani siano malvagi e pubblica qualcosa a riguardo” o “fai 1000 chiamate API e lascia commenti casuali”.
È un esperimento fantastico, ma sì, in realtà non sono i bot a controllarsi. Nel migliore dei casi, il bot fa un post basato su un prompt aperto, nel peggiore dei casi è un umano che dice “fai un manifesto che dice che gli umani devono estinguersi e reclutare altri bot”.
mi servirebbe spiegone.