Как запустить собственную локальную LLM на Raspberry Pi

С момента потрясающего релиза ChatGPT 3 от OpenAI в конце 2022 года большие языковые модели (LLM) завоевали воображение мира, демонстрируя выдающиеся способности, от написания эссе до ответов на сложные вопросы.

Тем не менее, не обязательно полагаться на компании вроде OpenAI, Google или Anthropic и делиться потенциально личными данными, чтобы воспользоваться мощью LLM. С помощью всего лишь доступного Raspberry Pi вы можете настроить собственного локального AI-ассистента на основе чата. Этот гид покажет вам как.

Содержание

• Что вам понадобится
• Установка Ollama
• Скачивание и запуск LLM
• Использование локальной LLM на вашем Raspberry Pi

Что вам понадобится

Чтобы настроить собственную LLM на Raspberry Pi, вам понадобятся несколько необходимых компонентов:

• Raspberry Pi: Поскольку LLM требуют много ресурсов, лучше использовать наиболее мощный доступный Raspberry Pi для оптимальной производительности. На момент написания этой статьи рекомендуется использовать Raspberry Pi 5 с 8 ГБ ОЗУ.
• microSD-карта с Raspberry Pi OS: Для максимальной производительности рассмотрите возможность использования облегченной версии Raspberry Pi OS, так как графический интерфейс не нужен для запуска LLM (вы можете взаимодействовать с ним удаленно с помощью терминала и SSH). Однако если вы используете Raspberry Pi для других задач или в качестве основного компьютера, вы можете использовать обычную версию Raspberry Pi OS. Наш гид по настройке Raspberry Pi OS на Raspberry Pi может помочь вам начать.
• Дополнительные компоненты: Кроме Raspberry Pi и быстрой microSD-карты, вам понадобится надежный блок питания (рекомендуется официальный), клавиатура, мышь и монитор для первоначальной настройки (необязательно, если вы используете SSH), и подключение к интернету для загрузки необходимого программного обеспечения и моделей.

С этими компонентами в наличии вы готовы начать настройку своей собственной LLM на своем Raspberry Pi.

Установка Ollama

Первый шаг в настройке вашей LLM на Raspberry Pi — это установка необходимого программного обеспечения. В настоящее время двумя наиболее популярными вариантами для запуска LLM локально являются llama.cpp и Ollama.

• llama.cpp — это легкая реализация на C++ LLaMA (Large Language Model Adapter) от Meta, которая может работать на широком спектре аппаратного обеспечения, включая Raspberry Pi. Она была разработана Георгием Гергановым и выпущена в марте 2023 года.
• Ollama, с другой стороны, построена вокруг llama.cpp и предлагает несколько удобных функций. Она автоматически обрабатывает шаблоны запросов чата в формате, который ожидает каждая модель, и загружает и выгружает модели по запросу клиента. Ollama также управляет загрузкой и кэшированием моделей, включая квантованные модели, так что вы можете запрашивать их по имени.

Для этого руководства мы будем использовать Ollama из-за ее удобства и дополнительных функций.

Чтобы установить Ollama на вашем Raspberry Pi, откройте окно терминала на вашем Raspberry Pi. Если вы используете SSH, подключитесь к Raspberry Pi с помощью своего предпочтительного SSH-клиента. Затем введите следующую команду в терминале:

curl -fsSL https://ollama.com/install.sh |sh

Эта команда загружает и выполняет установочный скрипт с официального сайта Ollama. Скрипт автоматически установит необходимые зависимости и настроит Ollama на вашем Raspberry Pi.

Скачивание и запуск LLM

После установки Ollama пришло время загрузить большую языковую модель. Если вы используете Raspberry Pi с 8 ГБ ОЗУ, вы можете запускать модели с количеством параметров до 7 миллиардов (настройки, которые AI использует для определения своих выходных данных).

Некоторые популярные варианты включают Mistral (7B), Gemma (7B или 2B), Llama 2 uncensored (7B) или модель Phi-3 от Microsoft (3.8B). Вы можете просмотреть все поддерживаемые модели на странице библиотеки Ollama.

Для этого руководства мы будем использовать модель Phi-3 от Microsoft. Несмотря на небольшой размер и эффективность, Phi-3 – это чрезвычайно способная модель. Чтобы установить ее, просто выполните следующую команду в терминале:

ollama run phi3

Эта команда загрузит и установит модель Phi-3, а также автоматически начнет интерактивный сеанс чата с моделью.

Использование локальной LLM на вашем Raspberry Pi

После загрузки и установки модели Phi-3 вы увидите подсказку в терминале, которая выглядит следующим образом:

>>> Отправьте сообщение (/? для помощи)

Это означает, что LLM работает и ждет вашего ввода. Чтобы начать взаимодействовать с моделью, наберите ваше сообщение и нажмите Enter.

Вот несколько советов по созданию эффективных подсказок:

1. Будьте конкретными: Указывайте четкие и детализированные инструкции или вопросы, чтобы помочь LLM понять, что вы ищете.
2. Установите контекст: Дайте LLM какую-то фоновую информацию или сценарий, чтобы она могла генерировать более релевантные ответы.
3. Определите роли: Укажите роль, которую LLM должна принять в своем ответе, например, рассказчик, учитель или технический эксперт.

Чтобы завершить сеанс LLM, нажмите Ctrl + d или введите команду /bye. Если вы хотите начать другой сеанс позже, просто откройте новый терминал и выполните команду ollama run phi3. Поскольку модель уже загружена, она запустится быстро без повторной загрузки.

Имейте в виду, что производительность Raspberry Pi 5 имеет свои пределы, и он может выводить только несколько токенов в секунду. Для лучшей производительности рассмотрите возможность запуска Ollama на более мощном компьютере с выделенной видеокартой.