Raspberry Pi 5でローカルLLMを動かす:軽量モデルと量子化でつくる「手のひらAI」の実用度
出典: ThisIsEngineering / Pexels
巨大なデータセンターのGPUで動作する大規模言語モデル(LLM)を、クレジットカードサイズのシングルボードコンピュータで動かすことはできるのか。かつてのRaspberry Pi 4では荷が重すぎたこのタスクだが、ハードウェアスペックが大幅に進化した「Raspberry Pi 5(RAM 8GB版)」と、AIコミュニティが培ってきたモデルの[量子化](https://ja.wikipedia.org/wiki/%E9%87%8F%E5%AD%90%E5%8C%96_%(E6%83%85%E5%A0%B1%E5%87%A6%E7%90%86%29)技術の恩恵により、ついに「実用レベルのローカル推論環境」が手のひらの上で実現するようになった。
本記事では、Raspberry Pi 5上で軽量LLMを動かす具体的な手順と、応答速度のベンチマーク、電子工作やオフラインAIへの実用的な応用例を紹介する。
なぜ Raspberry Pi 5 でLLMが動くのか
Raspberry Pi 5は、2.4GHzクアッドコアの64bit ARM Cortex-A76プロセッサを搭載し、前世代と比べてCPU性能が2〜3倍向上している。さらに、RAMには高速なLPDDR5-4267を採用しており、LLMの推論速度の最大のボトルネックである「メモリ帯域幅」が強化された。
しかし、そのまま数GB〜数十GBもある生モデル(16bit浮動小数点)を動かすことはできない。そこで役立つのが、モデルのパラメーターの精度を4bitなどに圧縮する**「GGUF形式(量子化)」**モデルだ。
GGUFは、CPU推論に高度に最適化された推論エンジン「llama.cpp」用に開発された形式であり、メモリ容量の少ないシングルボードコンピュータでも、モデルの精度劣化を最小限に抑えつつメモリ消費量を劇的に削減して実行できる。
導入手順:Llama.cppで「手のひらAI」を動かす
セットアップは驚くほどシンプルだ。Linuxのコマンドラインから以下のステップで実行できる。
- 推論エンジンのビルド:
git clone https://github.com/ggerganov/llama.cpp cd llama.cpp make -j4 # CPUの全4コアを使って並列コンパイル - モデルの選定とダウンロード:
Raspberry Pi 5(8GBモデル)で快適に動作するモデルは、パラメーター数が**1.5B(15億)〜3B(30億)**のものだ。今回は、日本語の追従性も高く軽量な「Llama-3-8B」の派生や「Qwen2.5-3B-Instruct」の4bit量子化(Q4_K_M)モデルなどをHugging Faceからダウンロードして
models/ディレクトリに置く。 - 推論の実行:
./llama-cli -m models/qwen2.5-3b-instruct-q4_k_m.gguf -p "Raspberry Piについて3行で説明してください。" -n 128
ベンチマーク:生成速度と実用性
実際にQwen2.5-3B(4bit量子化)を実行したところ、トークン(文字)の生成速度はおおむね 5〜8 tokens/second (t/s) 程度となった。
これは人間が読む速度と同等か、やや遅い程度であり、「チャットボットとしてリアルタイムでやり取りする」のには十分実用に耐える数値だ。モデルを1.5Bまで軽量化すれば、12〜15 t/sに達し、さらに滑らかな応答が可能になる。逆に、8B(80億)モデルを動かすと 1〜2 t/s 程度に落ち込み、実用には厳しくなる。
エッジAIとしての応用先
この「完全スタンドアロンかつオフラインで動くAI」は、以下のような電子工作やスマートホームの用途で真価を発揮する。
- スマートスピーカーの脳: 音声認識・合成ソフトと組み合わせ、ネットが切れても家族の呼びかけに答える家電制御AIを作る。
- センサーデータの状況要約: 温湿度やカメラの判定結果などのログを入力し、「部屋の乾燥状態が続いています」といった人間に分かりやすいアドバイスを完全ローカルで自動生成する。
- プライバシー重視のパーソナル・アシスタント: 個人情報を含むテキストの分析や日記の自動生成を、クラウドにデータを1バイトも送らずにPi 5の内部で処理する。
Raspberry Pi 5は、ただの学習ボードを超えて、実用的な「エッジ推論デバイス」に進化した。眠っているPi 5があれば、ぜひお試しあれ。
お役立ち情報
- GitHub - ggerganov/llama.cpp
- CPUでのLLM推論を極限まで高速化したオープンソースエンジン。Raspberry Piローカル実行の基盤(英語)。
- Hugging Face - Qwen/Qwen2.5-3B-Instruct-GGUF
- Raspberry Pi 5での動作に最適な、軽量かつ高性能な中国・アリババ開発のLLMのGGUF配布ページ(英語)。
- Qiita - Raspberry Pi 5 に Llama.cpp を導入してローカルLLMを動かす
- Pi 5へのOS書き込みからllama.cppの動作確認、日本語チャットの実行までを画像付きで解説した日本語ブログ記事。