NVIDIA a lansat o versiune îmbunătățită a chatbot-ului său, ChatRTX, care acum include recunoaștere vocală și de imagine, conectându-se și la modele LLM mai avansate, cum ar fi Gemma de la Google.
ChatRTX funcționează pe computerele Windows echipate cu GPU-uri din seria RTX 3xxx sau 4xxx, fiind accesibil printr-o aplicație simplu de instalat. Printre îmbunătățirile aduse de NVIDIA se numără suportul pentru modele LLM precum Gemma și ChatGLM3, acesta din urmă fiind un model bilingv, deschis, care acceptă engleza și chineza.
De asemenea, noul sistem include funcții avansate de recunoaștere a imaginilor și căutare în imagini, datorită integrării cu CLIP de la OpenAI, care permite utilizatorilor să interacționeze direct cu colecțiile lor de imagini fără necesitatea unei etichetări complexe.
O altă caracteristică majoră este suportul pentru Whisper, un sistem automat de recunoaștere vocală pentru modele AI, care permite interacțiuni verbale cu ChatRTX. Astfel, utilizatorii pot „vorbi” direct cu datele lor, ceea ce extinde și mai mult posibilitățile de utilizare ale chatbot-ului.
NVIDIA a proiectat ChatRTX ca un sistem complet localizat, ce funcționează fără a necesita o conexiune la internet, cu opțiuni extinse de personalizare. Utilizatorii pot conecta chatbot-ul la baze de date locale și colecții de fișiere, sau pot adăuga instrucțiuni personalizate pentru a „educa” sistemul conform nevoilor specifice.
Mai mult, ChatRTX poate fi integrat cu alte modele LLM, cum ar fi Mistral și Llama 2, îmbunătățindu-și capabilitățile. Acesta poate servi chiar și ca un ghid pentru vizitatorii unui canal de YouTube, având capacitatea de a adăuga adrese URL pentru videoclipuri și liste de redare.