Come Eseguire il Tuo LLM Locale su un Raspberry Pi

Dalla sorprendente uscita di ChatGPT 3 di OpenAI alla fine del 2022, i Modelli di Linguaggio di Grandi Dimensioni (LLM) hanno catturato l’immaginazione del mondo dimostrando capacità straordinarie, dalla scrittura di saggi alla risposta a domande complesse.

Tuttavia, non è necessario fare affidamento su aziende come OpenAI, Google o Anthropic e condividere potenzialmente dati personali per sfruttare il potere degli LLM. Con un semplice e conveniente Raspberry Pi, puoi impostare il tuo assistente AI locale basato su chat. Questa guida ti mostra come fare.

Indice

• Cosa Ti Serve
• Installa Ollama
• Scarica ed Esegui un LLM
• Utilizzare un LLM Locale sul Tuo Raspberry Pi

Cosa Ti Serve

Per impostare il tuo LLM su un Raspberry Pi, ci sono alcuni componenti essenziali di cui avrai bisogno:

• Raspberry Pi: Poiché gli LLM richiedono molte risorse, è meglio utilizzare il Raspberry Pi più potente disponibile per prestazioni ottimali. Al momento della scrittura di questo articolo, il Raspberry Pi 5 con 8 GB di RAM è la scelta raccomandata.
• Scheda microSD con Raspberry Pi OS: Per massimizzare le prestazioni, considera di utilizzare la versione lite di Raspberry Pi OS, poiché un’interfaccia utente grafica non è necessaria per eseguire un LLM (puoi interagire con esso da remoto usando un terminale e SSH). Tuttavia, se stai usando il tuo Raspberry Pi per altre attività o come computer principale, puoi utilizzare la versione regolare di Raspberry Pi OS. La nostra guida su come impostare Raspberry Pi OS su un Raspberry Pi può aiutarti a iniziare.
• Componenti aggiuntivi: Oltre al Raspberry Pi e a una scheda microSD veloce, avrai bisogno di un’alimentazione affidabile (si consiglia quella ufficiale), una tastiera, un mouse e un monitor per la configurazione iniziale (opzionale se stai usando SSH), e una connessione a Internet per scaricare il software e i modelli necessari.

Con questi componenti a disposizione, sei pronto per iniziare a impostare il tuo LLM sul tuo Raspberry Pi.

Installa Ollama

Il primo passo per impostare il tuo LLM su un Raspberry Pi è installare il software necessario. Attualmente, le due scelte più popolari per eseguire LLM localmente sono llama.cpp e Ollama.

• llama.cpp è un’implementazione leggera in C++ del LLaMA (Large Language Model Adapter) di Meta, che può essere eseguita su una vasta gamma di hardware, incluso il Raspberry Pi. È stato sviluppato da Georgi Gerganov e pubblicato a marzo 2023.
• Ollama, d’altra parte, è costruito attorno a llama.cpp, offrendo diverse funzionalità user-friendly. Gestisce automaticamente i modelli di chat secondo il formato atteso da ciascun modello e carica e scarica i modelli su richiesta in base alla richiesta del cliente. Ollama gestisce anche il download e la memorizzazione in cache dei modelli, inclusi i modelli quantizzati, quindi puoi richiederli per nome.

Per questa guida, utilizzeremo Ollama per la sua facilità d’uso e le funzionalità extra.

Per installare Ollama sul tuo Raspberry Pi, apri una finestra di terminale. Se stai utilizzando SSH, connettiti al tuo Raspberry Pi con il tuo client SSH preferito. Quindi, inserisci il seguente comando nel terminale:

curl -fsSL https://ollama.com/install.sh |sh

Questo comando scarica ed esegue lo script di installazione dal sito ufficiale di Ollama. Lo script installerà automaticamente le dipendenze necessarie e configurerà Ollama sul tuo Raspberry Pi.

Scarica ed Esegui un LLM

Con Ollama installato, è il momento di scaricare un modello di linguaggio di grandi dimensioni. Se stai utilizzando un Raspberry Pi con 8 GB di RAM, puoi eseguire modelli con fino a 7 miliardi di parametri (le impostazioni che l’AI utilizza per determinare i propri output).

Alcune scelte popolari includono Mistral (7B), Gemma (7B o 2B), Llama 2 censurata (7B) o il Phi-3 di Microsoft (3.8B). Puoi visualizzare tutti i modelli supportati sulla pagina della libreria di Ollama.

Per questa guida, utilizzeremo il modello Phi-3 di Microsoft. Nonostante le sue dimensioni contenute ed efficienza, Phi-3 è un modello estremamente capace. Per installarlo, esegui semplicemente il seguente comando nel terminale:

ollama run phi3

Questo comando scaricherà e installerà il modello Phi-3 e avvierà automaticamente una sessione di chat interattiva con il modello.

Utilizzare un LLM Locale sul Tuo Raspberry Pi

Dopo aver scaricato e installato il modello Phi-3, vedrai un prompt nel terminale che appare così:

>>> Invia un messaggio (/? per aiuto)

Questo significa che l’LLM è in esecuzione e aspetta il tuo input. Per iniziare a interagire con il modello, digita il tuo messaggio e premi Invio.

Ecco alcuni suggerimenti per creare prompt efficaci:

1. Sii specifico: Fornisci istruzioni o domande chiare e dettagliate per aiutare l’LLM a capire cosa stai cercando.
2. Imposta il contesto: Dai all’LLM alcune informazioni di base o uno scenario per aiutarlo a generare risposte più pertinenti.
3. Definisci i ruoli: Specifica il ruolo che l’LLM deve assumere nella sua risposta, come un narratore, un insegnante o un esperto tecnico.

Per terminare la sessione dell’LLM, premi Ctrl + d o inserisci il comando /bye. Se desideri iniziare un’altra sessione più tardi, basta aprire un nuovo terminale e eseguire il comando ollama run phi3. Poiché il modello è già stato scaricato, si avvierà rapidamente senza bisogno di essere scaricato nuovamente.

Tieni presente che le prestazioni del Raspberry Pi 5 hanno i loro limiti, e può emettere solo alcuni token al secondo. Per prestazioni migliori, considera di eseguire Ollama su un computer più potente con una scheda grafica dedicata.

Immagine credito: Unsplash. Screenshot di David Morelo.