ローカルAIのメモリの見方
メモリを一つの数字にせず、重み・runtime・KV cache・VRAM・RAMに分けて「どこに何が乗るか」を図解します。簡易見積りで目安を確認できます（詳細は Loop 3）。
視覚図
モデル重みparameters × bits / 8 の目安
runtime領域実行に必要なバッファ
KV cacheコンテキスト長で増える
GPU VRAMGPU上に乗る分
システムRAMCPU offload / その他
図は装飾です。メモリを役割ごとに分けています。テキスト同等物は下を参照してください。
図のテキスト説明
- モデル重み：parameters × bits / 8 が目安（総メモリの保証ではない）。
- runtime領域：モデル実行に必要なバッファ。
- KV cache：コンテキスト長が長いほど増える。
- GPU VRAM：GPU上に乗る分。
- システムRAM：CPUへのoffloadやその他アプリ分。
押さえておく用語
- VRAM
- GPUに搭載されたメモリ。モデルをGPUで動かす際の主戦場。
- RAM
- システムメモリ。CPU offload時に使う。
- KV cache
- 推論中の途中状態を保持する領域。コンテキスト長に応じて増える。
注意点
- parameters × bits / 8 は目安であり総メモリを保証しない。
- コンテキスト長を増やすとメモリが増える（Ollama公式参照）。
詳しく知りたいときは Local AI Compass へ
確認した主な情報源とこのページの範囲
- Ollama 公式ドキュメント（Context length） — https://docs.ollama.com/context-length
- llama.cpp 公式リポジトリ — https://github.com/ggml-org/llama.cpp
- A Systematic Evaluation of On-Device LLMs (arXiv:2505.15030) — https://arxiv.org/abs/2505.15030
メモリを重み・runtime・KV cache・VRAM・RAMに分けて整理。parameters×bits/8 は目安であり総メモリを保証しない点を明示。コンテキスト長増加でメモリが増える点はOllama公式を根拠に。
詳細な手順・最新仕様は、各公式ドキュメントおよび Local AI Compass を参照してください。