A Nvidia lançou nesta terça-feira (13), o “Chat with RTX”, seu chatbot de inteligência artificial que rodará localmente em computadores Windows equipados com placas de vídeo RTX. Dessa forma, o sistema de IA não dependerá de servidores online para processar dados.
O chatbot promete “conectar seus dados a um grande modelo de linguagem no seu PC” de forma rápida e personalizada. Ou seja, o sistema terá acesso aos arquivos do computador para fornecer respostas baseadas nos dados de cada usuário.
De acordo com o vídeo publicado pela empresa, o software utilizará dois modelos de linguagem de código aberto: o Mistral e o Llama 2 (da Meta). Ao selecionar uma pasta, é possível fazer consultas a partir das informações de arquivos nos formatos .txt, .pdf, .doc/.docx e .xml.
O chatbot também se aproveita de tecnologias próprias da Nvidia, como a geração aumentada de recuperação (RAG), que aumenta a precisão e confiabilidade de modelos de IA; e o TensorRT-LLM, software que otimiza o desempenho de IAs. Além disso, o Chat with RTX — como diz o próprio nome — é acelerado pelo hardware das placas RTX da empresa.
Apesar do chatbot rodar localmente no PC e poder ser utilizado sem conexão com a internet, ele é capaz de fazer consultas na web, da mesma forma que o Copilot e Gemini (ex-Bard), por exemplo.
Como explica a Nvidia, é possível “adicionar uma URL de vídeo ao Chat com RTX permitindo que os usuários integrem esse conhecimento ao seu chatbot para consultas contextuais”.
A empresa também destaca que, por ser rodado localmente no Windows, os dados não são compartilhados com terceiros, como ocorre em chatbots baseados em nuvem.
Requisitos para rodar o Chat with RTX
Se você ficou interessado em testar o Chat with RTX, saiba que ele foi disponibilizado através de uma versão demonstrativa já disponível no site da Nvidia. Porém, é necessário ter uma máquina potente para software.
Antes de baixar, garanta que tem um bom espaço de armazenamento, afinal, inicialmente, o software pesa 35,5 GB. Como observa o TechCrunch, o tamanho pode variar entre 50 a 100 GB dependendo do modelo de IA escolhido.
Além disso, você precisará de uma placa de vídeo RTX série 30 ou 40 com pelo menos 8 GB de VRAM, utilizar o Windows 11 como sistema operacional e ter pelo menos 16 GB de RAM.
SAIBA MAIS!
