PDF + Image ローカルRAG実行キット (Apple Silicon, Ollama一本化)

M1 Max 64GBで動作検証した、PDFと画像をひとつのChromaに入れてOpen WebUIからチャットで引ける形のローカルRAG実行キット。

setup.shでOllamaモデルを自動取得して、start-all.shでFastAPIとOpen WebUIを起動するだけ。クラウドにデータを送らないPDF + 画像のナレッジ検索が手元で動く。

■同梱物

・setup.sh - venv作成・依存導入・Ollamaモデル自動取得

・start-rag-api.sh - FastAPI ゲートウェイ起動 (OpenAI互換)

・start-openwebui.sh - Open WebUI を Docker起動

・start-all.sh - 一発起動

・ingest.sh - PDF/画像の再インジェスト

・app/ - FastAPI + Chroma + VLM中継の本体

・scripts/ - テスト用PDF/画像生成スクリプト + LLM-jp用の修正済みModelfile

・pitfalls.md - 自前構築時のハマりどころ詳細

・README.md - フルセットアップ・使い方ガイド

・requirements.txt - Python依存

■動作確認環境

機能の説明、使い方など…・M1 Max 64GB / macOS Darwin 25.3

・Python 3.12 / 3.13

・Ollama (gemma3:12b + qwen2.5vl:7b 自動取得)

・Docker Desktop (Open WebUI起動時のみ)

・検証日: 2026-05-02

Apple Silicon Macのみ対応。Intel Mac / Windows / Linuxでは未検証。

■何を肩代わりしてくれるか

自前で組むと踏むハマりどころを、設定ファイルとスクリプトで全部回避済み。

・FastAPIを 0.0.0.0 でbindしないとDocker版Open WebUIから繋がらない

・CLIPのモダリティギャップで画像が常にテキストより下に沈む → モダリティ別取得で合成

・llama-server + Ollama を並走させるとMetalを取り合ってOllamaが死ぬ → Ollama一本化

・LLM-jp 4-8Bの公式GGUFはOllamaに入れるとchat templateが空でsystemロールが破棄される → 修正Modelfile同梱

・Embeddingモデル切り替え時のChroma次元エラー回避

■詳細記事

https://lilting.ch/articles/local-pdf-rag-llamacpp-build-log

■サポート方針

実行環境の提供のため、個別サポートはできません。紹介記事を読んだ上でご自分で試せる方のみご購入をお願いします。

配布物自体に明らかなバグがあった場合はBoothのメッセージから連絡をいただければ修正版を配布します。

■ライセンス

個人利用と改造はOK。再配布(無料・有料問わず)はNG。商用利用は事前に相談を。