Компания Nvidia представила Chat with RTX — её собственный чат-бот на основе искусственного интеллекта. В отличие от ChatGPT и ему подобных, этот бот работает локально на ПК конкретного пользователя.
Чат-бот опирается на TensorRT-LLM и Retrival Augmented Generated (RAG) и для работы требует тензорные ядра. При этом видеокарты GeForce RTX 20 почему-то не поддерживаются, так что новинка доступна только для владельцев адаптеров линеек RTX 30 и RTX 40. Также есть условие в виде наличия у видеокарты минимум 8 ГБ памяти, то есть некоторые мобильные модели в список поддерживаемых не попадают, а из настольных это, похоже, только свежая RTX 3050 6GB. Кроме того, нужно не менее 16 ГБ ОЗУ и Windows 11.
Очень важно и то, что Chat with RTX — это не просто очередной чат-бот, пусть и локальный. Ему можно дать доступ к различным файлам на ПК (.txt, .pdf, .doc, .docx, .xml), он умеет анализировать видео на YouTube, а ещё его можно подключить к большим языковым моделям Mistral и Llama 2.