Nvidia выпустила ИИ-чатбота, который работает на компьютере пользователя
Демо-версия Chat with RTX от NVIDIA - это набор программного обеспечения, который позволяет запускать на локальном компьютере пользователя личного чат-бота. Набор оптимизирован для ускорителей NVIDIA и требует видеокарту GeForce RTX из 30 или 40 серии, как минимум, с 8 ГБ видеопамяти. К другим системным требованиям относится наличие не менее 16 ГБ оперативной памяти, Windows 11 и драйвер не старше версии 535.11.
Размер архива демо-версии Chat with RTX составляет порядка 35 ГБ, но не уточняется, что именно входит в комплект. Однако, по первым отчетам в СМИ, комплект включает Python с большинством необходимых пакетов, несколько языковых моделей, оптимизированных с помощью TensorRT-LLM, и другие компоненты для локального развертывания. Chat with RTX поддерживает различные форматы файлов, включая txt, pdf, doc/docx и xml. Помимо текста, чатбот способен работать с видеороликами и документами. Например, нейросеть может сделать выжимку из ролика на YouTube, ссылку на который предоставил пользователь.
Загрузить Chat With RTX можно на сайте NVIDIA.