Ho provato NVIDIA Chat with RTX serve una RTX Serie 30 o 40 con almeno 8GB di ram il pack pesa 35GB e all’installazione può arrivare fino a 70GB visto che crea in automantico un enviroment python con miniconda e poi scarichera i modelli da voi scelti, insomma meglio avere 100GB liberi sull’SSD.
I modelli proposti sono LLama2 13B ( servono almeno 12GB di ram per questo ) e Mistral 7B che è più leggero e sembra pure migliore ed entrambi quantizzati a 4 bit.
l’installazione one click o quasi e un interfaccia ridotta all’osso ma il piatto forte è il RAG ovvero la possibilità di fornirgli un dataset in .txt .pdf .doc e chattare con un AI istruita con quei dati che sarà in grado anche di indicarvi la pagina dove ha preso tale informazione.
Ho fatto un test dato usando Mistral 7B con un .pdf da 30mb per 1225 pagine ( The Art of Electronics - Horowitz & Hill ) ci ha messo circa 90 secondi a tokenizzarlo sulla mia 4080 ed ho iniziato a interrogarlo e dava tutte risposte inerenti al testo e se chiedi ti cita anche la pagina
il RAG è fatto apposta per fare in modo che non abbia pareri ma che si limiti a rispondere in base al dataset che ha senza allucinare o inventare roba, se nel dataset non c’é l’informazione richiesta te lo dice
gli ho dato anche un dataset di .pdf in italiano e sorprendentemente risponde alle domande poste in italiano, se lo fai col chatbot classico Mistral 7B dice che lui non parla italiano, poi vai sul sito di Mistral.ai e scopri che gli autori sono francesi e diventa tutto più chiaro
