Aplikasi chatbot yang ditenagai oleh model kecerdasan artifisial (AI) berukuran besar berbasis bahasa telah mentransformasi dunia komputasi saat ini, dan NVIDIA ChatRTX, yang tersedia di PC bersistem operasi Windows dan workstation yang menggunakan GPU NVIDIA RTX, dapat membantu pengguna berinteraksi dengan data lokal yang tersimpan di perangkat masing-masing. Setelah diluncurkan di ajang GTC pada Maret 2024 lalu, versi paling update ChatRTX telah tersedia dan makin meningkatkan kemampuan aplikasi chatbot ini berkat tambahan sejumlah fitur baru serta dukungan untuk model AI terbaru.

ChatRTX mengadopsi retrieval-augmented generation, software NVIDIA TensorRT-LLM, dan NVIDIA RTX akselerator untuk menghadirkan aplikasi chatbot di workstation dan PC dengan sistem operasi Windows. Dengan keunggulan model bahasa besar (LLM), pengguna dapat mengajukan pertanyaan terkait catatan dan dokumen kepada aplikasi ChatRTX yang sudah tertanam di PC atau workstation lokal. ChatRTX akan merespons kebutuhan tersebut dengan cepat dan relevan.

Versi terbaru ChatRTX mendukung LLM tambahan, termasuk Gemma, model AI yang dikembangkan oleh Google. Gemma menggunakan hasil riset dan teknologi yang menjadi fondasi Google mengembangkan model Gemini dan diciptakan untuk pengembangan AI yang bertanggung jawab. Kini, ChatRTX juga mendukung ChatGLM3, LLM terbuka dan dwi bahasa (bahasa Inggris dan Mandarin) berbasis kerangka framework model bahasa umum.

Pengguna juga dapat berinteraksi dengan data visual dengan dukungan Constrative Language-Image Pre-training atau CLIP dari OpenAI. CLIP merupakan jaringan neural yang telah dilatih dan disempurnakan sehingga mempunyai kemampuan mempelajari konsep visual dari bahasa natural yang telah disupervisi. CLIP mampu memberikan deskripsi terkait hal-hal apa saja yang terlihat di dalam koleksi visual yang tersimpan di perangkat komputer. Dukungan CLIP di ChatRTX mendukung interaksi antara pengguna komputer dengan aset foto dan visual lainnya melalui rangkaian kata, istilah, dan frase, tanpa penggunaan label metadata yang kompleks.

ChatRTX versi ter-update ini juga memungkinkan pengguna berinteraksi dengan data mereka menggunakan perintah suara. ChatRTX mendukung Whisper, aplikasi sistem pengenalan suara otomatis yang menggunakan AI untuk memproses percakapan. Pengguna tinggal mengirimkan perintah suara ke aplikasi Whisper dan ChatRTX akan meresponsnya dalam format teks.