Premsso che concordo completamente sul discorso sicurezza, però sinceramente c’è qualcosa che non mi torna nel tuo esempio.
Che sandbox sarebbe se dai a moltbot l’accesso completo al tuo whatsapp?
Nel senso, anche se decidi di usare whatsapp per parlare con il tuo moltbot, mica sei obbligato ad aprirgli tutto il tuo whatsapp, per quanto ti riguarda è solo un altro contatto whatsapp tra tutti quelli che hai e l’unica cosa che questo contatto è in grado di sapere su di te è quello che gli dici tu.
Vero, se tu gli limiti solo di scrivere al tuo contatto, ma questo limita il fatto che il bot non può quindi mandare un messaggio a tua moglie, limitando la sua operatività.
Es: “bot, fai un riassunto dei miei impegni della settimana e mandali per whatsapp a mia moglie”
Se ho capito correttamente l’agente (=il bot) chiama in automatico LLM, e gli fa fare cose. Il prompt injection funziona sulle LLM, e ok.
La cosa che non capisco a livello di sicurezza è come sia difficile bloccare il prompt all’agente, che poi è quello che fa partire il prompt injection malevolo alla llm.
Appunto quello che dicevo è che per aprire una nuova sessione con agente devo usare fingerprint. Senza non si possono fare richieste all’agente (e quindi llm). Così non risolvo eventuali richieste malevole?
Poi ovvio se mi fanno social engineering e gli do il fingerprint /2fa vengo fregato, ma è così anche oggigiorno
beh, un esempio potrebbe essere “ogni mattina alle 8 fammi un riassunto delle mail non spam ricevute ieri”.
non c’è niente di fingerprint-related, moltbot si fa un processo automatizzato (che potrebbe essere script via crontab, visto quel che può fare) che ogni mattina fa esattamente quel che gli hai detto.
a quel punto è tutto in pancia dell’agente e puoi solo sperare che non arrivi mai una mail che gli injecti un comando, perché tu da quella richiesta in avanti hai smesso di chiedere una verifica del chi prompti istruzioni per un dato dominio di funzioni.
ok grazie, chiaro. quindi il pratica il prompt injection non è mai direttamente sull’agente, ma sempre sul llm: tramite agente che passa al llm email con dentro il prompt injection.
diciamo che si avrebbe lo stesso identico problema se si desse al llm accesso alle email per riassunto giornaliero, senza bisogno di tirare in ballo l’agente.
Non ho seguito l’evolversi della discussione ma un cambio di paradigma che cambia completamente l’assetto è che Molt bot a quanto pare ha (o simula) pro attività, non è più solo interrogazione. Posto che se il tutto è solo infrastruttura proxy E l’infrastruttura AI sono le solite, non ho capito come faccia, questo cambia comunque le carte in tavola
il processing lo fa comunque l’ LLM, l’agente è il braccio ma l’ LLM è il cervello.
L’unica è avere un filtro cervello/braccio tale che se uno ti dice “sparati” ti fermi
L’idea del firewall semantico non era così insensata come cosa
Vi propongo questo otimo video che spiega la strana situazione che si è venuta a creare in pochi giorni con il successo virale di clawdbot/moltbot.
Cita giustamente i rischi importanti per la sicurezza, con migliaia di istante di clawdbot attualmente esposte sull’internet senza protezione, ma anche la decisione veramente molto opinabile di anthropic di bannare senza preavviso i propri clienti paganti che accedevano ai propri servizi tramite clawdbot/moltbot (oltre alla decisione più condivisibile di chiedere di cambiare nome al programma perché la pronuncia di clawdbot è troppo simile a claude)
Il ban è giustificato dai termini di servizio: l’accesso via oauth al tuo abbonamento da applicazioni terze è proibito, è solo ad uso e consumo di prodotti di anthropic, come claude code.
Se ti crei un’api key vai sereno e di ban non ne hai, chiaramente ti costa di più se usi molti token.
L’hanno ovviamente scritto nei loro termini di utilizzo e dal loro punto di vista appaiono inattaccabili, ma non è che basta scriverlo e allora vale tutto, possono anche avere ragione ma non mi piace come limitazione anche perché se ho capito bene sono gli unici a comportarsi così, per cui se qualcuno li sfancula e si abbona alla concorrenza fa bene.
ChatGPT e in parte Google stanno applicando la solita tattica di stare sottocosto e free il più possibile per agguantare più utenti che possono e guadagnare il monopolio, lo vediamo anche con le ultime news di quanto sono sotto finanziariamente soprattutto OpenAI (Google ha tutta la trafila in house fino all’hw, è più facile per loro).
Se un oggetto del genere usasse a sua volta un LLM per comprendere il prompt, stiamo punto a capo, senza contare il fatto che qualunque input tu passi all’LLM avrebbe un costo come minimo duplicato.
Quello che manca è la comprensione dei concetti in un prompt e nel contesto di un workflow, cosa che un LLM non può avere per come è architettato.
Se ti parlo della divina commedia e nel mezzo c’è scritto di ordinarmi una pizza (citando un esperimento fatto mesi fa), l’LLM ti ordina la pizza e ti risponde sulla divina commedia senza battere ciglio, non si rende conto della divergenza di quello che sta leggendo.
Se risolvono questo problema, l’esplosione d’uso dell’AI sarà ancora maggiore di un 10x come minimo rispetto alla velocità pazzesca che c’è oggi.
La moglie mi racoconta che una anziana di un paese vicino
è morta di infarto con la classica truffa dei carabinieri che la chiamano per dirgli che il figlio ha causato un incidente
Morta dopo che le hanno passato il figlio con la voce fatta dall’ IA
Cosi me l’hanno venduta , ma ho dei dubbi non tanto sulla truffa in se , quanto che le abbiano clonato proprio la voce del figlio trattandosi di un paesino, mi sembra strano , tutto può essere eh, ai tempi del covid, quando neanche si chiamava covid, il mio vicino di casa si è ammalato insieme ai primi casi a Bergamo … perchè era stato a Bergamo , alle volte succedono cose roccambolesche che portano cose prima nei paesini sperduti.
e niente, continua a tornarmi in testa questa storia di gente abbonata a claude pro da 200$/mese, che si è ritrovata improvvisamente bannata dal servizio solo perché ha usato clawdbot, senza nemmeno un preavviso da parte di anthropic.
dal punto di vista legale, non ho nessun dubbio che Anthropic abbia totalmente ragione e che ha tutto il diritto di terminare quei contratti per violazione dei termini, anzi sarei molto stupito se fosse vero il contrario.
però dal punto di vista di cosa dovrebbe essere giusto, non sono poi così tanto sicuro che sia un bene che queste società di AI abbiano tutto questo potere. anche perché nessuno vieta loro di cambiare i tos in qualsiasi momento e tu cliente se hai basato il tuo business sui loro modelli non puoi fare altro che adeguarti, sempre che sia possibile.
che poi questo è un settore in piena evoluzione dove ovviamente si sperimenta molto, in questa fase storica se paghi 200/mese è perché con quella roba stai provando a farci delle cose, non ti abboni a caso a un servizio come quello se non per provare a farci qualcosa di nuovo e mai visto prima.
capisco anche le esigenze di sicurezza di anthropic, che banalmente non vuole che il proprio modello venga usato per farci cose per cui non ritengono sia ancora pronto, però mi metto anche nei panni di chi quell’abbonamento lo stava pagando e che si ritrova all’improvviso tagliato completamente fuori dai propri progetti.
cioè, bastava una mail di avvertimento del tipo "gentile cliente, ci siamo accorti che hai collegato clawdbot al tuo abbonamento e ciò è espressamente vietato dall’art. xxx del contratto che hai firmato. Ti inviatiamo a revocare immediatamente l’autorizzazione, in caso contrario provvederemo a terminare unilateralmente il contratto ai sensi dell’art. xx e xx.
