Как настроить собственный офлайн AI-чат-бот

Полезность популярных онлайн-чат-ботов, таких как ChatGPT, бесспорна – они помогают нам каждый день писать, анализировать и решать проблемы. Но что, если вы не хотите, чтобы ваши разговоры хранились на серверах других людей или вам нужно получить доступ к AI даже без подключения к Интернету? Вы можете настроить собственный офлайн AI-чат-бот, который полностью будет работать на вашем компьютере.

Что такое офлайн AI-чат-бот и что он может делать?

Локальный (офлайн) AI-чат-бот по сути является моделью искусственного интеллекта, которая работает непосредственно на вашем компьютере, используя ваши собственные аппаратные ресурсы – ваш CPU (процессор), GPU (графическая карта) и RAM (память) – для обработки и генерации ответов.

Сейчас доступно много локальных AI-моделей, новые из которых регулярно выпускаются. Большинство из них основаны на моделях с открытым исходным кодом, опубликованных крупными технологическими компаниями, такими как Meta (Llama), Google (Gemma), Microsoft (Phi) и Mistral (Codestral, Mistral_7B). Вы можете найти их рейтинги на доске почета Open LLM.

Разные модели превосходят в разных задачах. Некоторые являются специалистами – особенно хороши в кодировании, творческом письме и ролевых играх – в то время как другие являются универсальными и могут справляться с широким спектром задач. Они также различаются по фильтрации контента: некоторые модели строго отфильтрованы и не затрагивают ничего NSFW (небезопасно для работы), в то время как другие не стесняются использовать лексику, которая заставила бы покраснеть старого моряка.

При выборе локальной AI-модели размер является еще одним фактором, который следует учитывать. В идеале вся модель должна помещаться в видеопамяти (VRAM) вашего графического процессора. Например, если ваша графическая карта имеет 8 ГБ VRAM, вы можете комфортно запустить модель размером 7 ГБ, но модель размером 10 ГБ будет слишком большой. Как правило, более крупные модели склонны давать лучшие результаты, но требуют более мощного оборудования.

Для этого руководства я использую модель Qwen2.5 Coder 14B, так как она относительно компактна (8.37 ГБ), может использоваться коммерчески и демонстрирует впечатляющие возможности в кодировании для своего размера. Я рекомендую экспериментировать с разными моделями, чтобы найти то, что лучше всего подходит для ваших нужд. Сообщества, такие как r/LocalLLaMA, являются отличными ресурсами для получения актуальной информации.

Как установить и настроить офлайн AI-чат-бота

Чтобы настроить офлайн AI-чат-бота, вам нужны два ключевых компонента: локальная AI-модель и удобный интерфейс для взаимодействия с моделью в знакомом стиле чата. Существуют программные решения, которые эффективно обрабатывают оба аспекта.

Мой лучший выбор – Jan.ai, так как он полностью с открытым исходным кодом и предлагает чистый, интуитивно понятный интерфейс, который напоминает популярные чаты. Он также включает встроенный модельный хаб, который упрощает загрузку и управление AI-моделями. Другим вариантом является LM Studio, который, как правило, поддерживает современные модели раньше, но не публикует свой исходный код.

Установка Jan.ai и загрузка вашей первой модели

Сначала перейдите на сайт Jan.ai и загрузите соответствующую версию для вашей системы. Процесс установки прост: запустите загруженный установочный файл и следуйте стандартным инструкциям по установке.

После установки запустите Jan.ai. Нажмите на вкладку Hub, чтобы просмотреть доступные модели. Найдите модель, которая соответствует вашим критериям и совместима с вашим оборудованием (Jan.ai это явно показывает), и нажмите Download. Загрузка и установка могут занять некоторое время, в зависимости от вашего интернет-соединения.

Перед тем как начать общение, есть еще один важный шаг для оптимальной работы. Если у вас есть совместимая графическая карта NVIDIA, перейдите в Settings и найдите опцию GPU Acceleration. Включите её, чтобы значительно улучшить скорость реакции модели. Вам может понадобиться установить или обновить ваши драйвера NVIDIA и CUDA Toolkit, если потребуется.

Общение с вашим локальным AI-чат-ботом

После загрузки модели начните свой первый чат, нажав на кнопку Chat в верхней части левой боковой панели. Откроется новая ветка, и ваша модель будет выбрана автоматически. Если вы загрузили более одной модели, нажмите на имя модели, чтобы выбрать одну.

Чтобы отправить ваше первое сообщение чат-боту, нажмите на поле Ask me anything, введите что угодно и нажмите Enter. Первоначальный ответ может занять время, так как модель должна сначала загрузиться, но последующие ответы должны быть относительно быстрыми.

Продолжайте разговор в той же ветке, что имеет смысл, если вы хотите углубиться в ту же тему, так как чат-бот AI может извлечь выгоду из контекста, предоставленного вашими предыдущими сообщениями. В противном случае нажмите кнопку New Thread в верхнем левом углу.

В общем, я рекомендую создавать новую ветку всякий раз, когда вы хотите начать новую тему или переключиться на другую задачу. Это помогает поддерживать ваши разговоры организованными и предотвращает путаницу AI из-за смешивания несвязанного контекста из предыдущих обсуждений.

Настройка поведения вашего локального AI-чат-бота

Что прекрасно в Jan.ai, так это то, что вы можете настроить, как ваш AI-чат-бот отвечает на ваши запросы. В основном, эта настройка происходит двумя способами: через общие инструкции и конкретные параметры.

Сначала дайте вашему AI-помощнику общие инструкции о том, как он должен вести себя. Нажмите кнопку Settings рядом с именем вашей модели и перейдите на вкладку Assistant в правой боковой панели любого чата, чтобы найти поле Instructions.

Вы можете ввести рекомендации о том, как вы хотите, чтобы AI отвечал. Например, вы можете сказать ему: “Действуй как наставник по программированию, который объясняет концепции простыми терминами” или “Отвечай как наставник по творческому письму, который дает конструктивную обратную связь”.

Кроме основных инструкций, вы можете тонко настраивать различные технические параметры, которые контролируют, как AI генерирует свои ответы. На вкладке Model правой боковой панели вы найдете несколько важных настроек, включая:

• Temperature: подумайте об этом как о величине креативности AI. Более низкие значения (0.0 – 0.5) заставляют его давать более предсказуемые, сосредоточенные ответы, тогда как более высокие значения (0.8 – 2.0) делают его более креативным и разнообразным (но потенциально несфокусированным).
• Max tokens: контролирует, насколько длинными могут быть ответы AI. Более высокие значения позволяют давать более длинные, детализированные ответы, в то время как более низкие значения придерживаются краткости.
• Context length: определяет, сколько из вашего разговора AI может запомнить и ссылаться на это. Более длинный контекст означает, что AI может поддерживать более детализированные дискуссии, но может работать медленнее.

Что самое приятное, вы можете создавать разные чаты с разными конфигурациями, например, одна ветка с настройкой высокой температуры для творческого письма и другая с настройкой низкой температуры для точных технических ответов – так что не бойтесь экспериментировать.

С хорошей моделью, поддерживающей вашего офлайн AI-чат-бота, вы сможете выполнять впечатляющий диапазон задач. Я лично использовал AI-чат-бота, чтобы помочь мне создать современное веб-приложение с нуля, и возможности действительно безграничны: от письма и кодирования до анализа и творческих проектов.

Все изображения и скриншоты от Дэвида Морело.