ChatGPT e le LLM (Part 2)

Io volevo solo tornare a questo riferimento di Crius, perché è formalmente corretto, tuttavia è possibile costruire architetture (anche abbastanza elementari) con moduli di memoria esterni che consentono di fare del context engineering anche abbastanza sofisticato e mitigano il problema della finestra di contesto limitata di questi oggetti.

Si possono quindi creare ontologie e schemi di conoscenza esterni all’LLM, che consentono ad un agent di recuperare di volta in volta il contesto necessario a dare delle risposte pertinenti. La complessità sta nel creare l’ontologia ex-ante ma soprattutto l’aggiornamento della stessa.

Al momento quindi è decisamente fattibile costruire agenti verticali in grado di perseguire un obiettivo anche in logica multi-step e multi-task, attingendo ad una memoria esterna e andando di volta in volta a modificarla/aggiornarla nell’esecuzione del proprio compito. I principali agent commerciali, sia di coding ma non solo, sottostante hanno meccaniche di questo tipo.

La criticità più grande è il meccanimo di aggiornamento della memoria esterna e il grado di discrezionalità che l’agent orchestratore deve avere in questa operazione: più il task è narrow, anche se complesso, più è plausibile che il modello si comporterà in maniera consistente rispetto al suo obiettivo; e viceversa.

1 Like