ローカルAIがPCで動く仕組み
ローカルAIは、あなたの入力が「ランタイム」という実行ソフトを通り、選んだ「モデルファイル」を「CPU/GPU/メモリ」で処理して、出力に至る一連の流れです。それぞれの役割を分けると、なぜ動いたり重くなったりするかが見えます。
視覚図
- 1 入力 画面や他アプリからのテキスト・指示。
- 2 ランタイム モデルを実際に動かす実行ソフト(LM StudioやOllama等が内包)。
- 3 モデルファイル AIの知識を持つ重みデータ(GGUF等)。あなたが選ぶ。
- 4 CPU / GPU / メモリ 計算を担うCPU・GPUと、モデルを載せるRAM/VRAM。
- 5 出力 生成されたテキストが手元に返る。
各ステップを選ぶと短い説明が表示されます。図は装飾で、テキスト同等物は下にあります。
図のテキスト説明
押さえておく用語
- ランタイム
- モデルファイルを読み込み、計算して出力する実行ソフト。GUIアプリやコマンドツールがこれを内包しています。
- モデルファイル
- AIの振る舞いを決める重みデータ。形式やサイズで必要なメモリが変わります。
- CPU / GPU / RAM / VRAM
- CPUとGPUが計算を担い、RAMとVRAMがモデルや計算途中のデータを載せます。GPUのVRAMは大きいモデルほど影響しやすいです。
- 量子化
- モデルを軽く保つ手法の一つ。容量と速度に影響し、品質とのバランスをとります。
- コンテキスト長
- 一度に扱える入力の長さ。長いほど使用メモリが増えやすいです。
注意点
- 特定のモデルが「必ず動く」とは言えません。CPU・GPU・メモリ・モデル形式・量子化の組み合わせで動作が変わります。
- GPUが「必須」とも言えません。CPUだけでも動くモデルはありますが、速度や扱えるサイズの目安が変わります。
- RAMだけで動作を判定できません。VRAM・モデルサイズ・量子化・コンテキスト長も関係します。
- 正確な性能表は環境依存です。自分のPCで試すのが一番確かです。
詳しく知りたいときは Local AI Compass へ
確認した主な情報源とこのページの範囲
- llama.cpp 公式リポジトリ — https://github.com/ggerganov/llama.cpp
- LM Studio 公式ドキュメント — https://lmstudio.ai/docs
- Ollama 公式ドキュメント — https://github.com/ollama/ollama
ローカルLLMの実行において、ランタイム・モデルファイル・CPU/GPU/メモリがどう関わるかを概念レベルで整理しています。動作保証となる数値は環境依存です。
詳細な手順・最新仕様は、各公式ドキュメントおよび Local AI Compass を参照してください。