NVIDIA выпустила утилиту Chat With RTX для локального запуска искусственного интеллекта

Теперь NVIDIA предлагает покупателям своих видеокарт не только свои лучшие решения для работы с искусственным интеллектом на рынке, но и программное обеспечение для простых пользователей, благодаря которому они могут получить локальный искусственный интеллект, не требующий доступа к Интернету.

Chat With RTX подразумевает установку утилиты, представляющей из себя чат-бота, работающего на основе больших языковых моделей Mistral или Llama 2. Все это дело работает локально и не требует доступа куда-либо, в связи с чем ответ на запрос пользователя выдается значительно быстрее, чем при работе с тем же ChatGPT.

Но есть и минусы. Например, для работы Chat With RTX необходимо при каждом запросе предоставлять исходный файл с данными в формате .txt, .pdf, .doc, .docx, .xml. Также можно указывать ссылку на видеоматериалы или музыкальные плейлисты для получения какой-либо информации по типу краткого содержания.

Пользователи и ресурсы, протестовавшие Chat With RTX, сообщают о большом количестве различных проблем, что не является чем-то необычным, ведь утилита находится на стадии тестирования. К слову, для её установки и работы потребуется 40 Гбайт памяти на накопителе, 16 Гбайт оперативной памяти, видеокарта NVIDIA GeForce RTX 3000/4000 серии с объемом видеопамяти не менее 8 Гбайт, при этом интерпретатор Python потребляет примерно 3 Гбайта оперативной памяти.