ブラウザー内でローカルLLMを動かす仕組み
ブラウザーを使うローカルAIでも、モデルが動く場所は同じとは限りません。Chromeが管理するモデルAPI、WebGPUでタブ内推論するWebアプリ、localhost上のモデルをブラウザーから操作する構成、デスクトップアプリの4経路を、推論場所とモデル管理の違いで見分けます。
視覚図
| 経路 | モデルの管理・準備 | 推論が行われる場所 |
|---|---|---|
| Chrome内蔵AI API | ChromeがGemini NanoなどのモデルとAPIを管理 | Chromeが提供する端末内のモデル実行環境 |
| WebGPU対応Webアプリ | アプリが推論エンジンと対応モデルを選ぶ | 開いているWebページ内。WebLLMではWebGPU対応ブラウザーが必要 |
| ブラウザーUI + localhost | PC上の別サービスがモデルを読み込む | PC上のローカル実行サービス。ブラウザーは操作画面 |
| デスクトップアプリ | アプリまたは連携するローカル実行ソフトが扱う | アプリが接続したPC上の実行環境 |
表は装飾です。役割の違いを比べています。テキスト同等物は下を参照してください。
図のテキスト説明
- Chrome内蔵AI API:ChromeがモデルとAPIを管理します。APIの提供段階や端末ごとの利用可否が異なり、初回利用時にモデルの取得が必要な場合があります。
- WebGPU対応Webアプリ:アプリ側がエンジンとモデルを選び、対応する方式では推論をタブ内で行います。WebLLMはWebGPU対応ブラウザーを必要とし、モデルデータをCache APIやIndexedDBへ保存できます。
- ブラウザーUI + localhost:ブラウザーはローカルサービスへ接続する画面です。推論はタブ内ではなく、PC上の別の実行ソフトで行われます。OpenJarvisの構成例はLocal AI Compassで確認できます。
- デスクトップアプリ:アプリや連携するローカル実行ソフトがモデルを読み込みます。LM StudioとOllamaの操作・設定は既存の比較ガイドで扱います。
押さえておく用語
- WebGPU
- WebページからGPU計算を利用するAPIです。対応ブラウザーや端末に差があり、利用にはsecure context(通常はHTTPS)が必要です。
- Chrome内蔵AI API
- ChromeがモデルとAPIを管理し、Webサイトや拡張機能が翻訳・要約などのタスクで呼び出す仕組みです。提供段階や利用条件はAPIごとに変わります。
- localhost
- 同じPC上のアプリやサービスへ接続するときに使うホスト名です。ブラウザーで操作していても、推論処理が別サービス側で行われる構成があります。
注意点
- WebLLMの公式資料はWebGPU対応ブラウザーを必要条件としており、MDNはWebGPUを全ブラウザーで使える標準機能とはしていません。ブラウザー、GPU、ドライバー、アプリ、モデルの組み合わせを利用時点の資料で確認してください。
- モデルやページの取得にネット接続を使う構成があります。モデルをブラウザーにキャッシュできても、推論後のWebアプリが外部へ通信しないことまでは意味しません。送信先や処理内容はアプリごとに確認してください。
- Chrome内蔵AIは開発者向けAPIとして案内されています。APIの提供段階、端末要件、利用可否は変わるため、現在のChrome公式資料とAPIのavailabilityを確認します。
詳しく知りたいときは Local AI Compass へ
確認した主な情報源とこのページの範囲
- 組み込みのAI — Chrome for Developers — https://developer.chrome.com/docs/ai/built-in?hl=ja
- Get started with built-in AI — Chrome for Developers — https://developer.chrome.com/docs/ai/get-started
- Getting Started with WebLLM — MLC AI — https://webllm.mlc.ai/docs/user/get_started.html
- Advanced Usage: model artifact caching — MLC AI — https://webllm.mlc.ai/docs/user/advanced_usage.html
- WebLLM — MLC AI official repository — https://github.com/mlc-ai/web-llm
- WebGPU API — MDN — https://developer.mozilla.org/en-US/docs/Web/API/WebGPU_API
- OpenJarvisとは?WindowsでOllamaと使うlocal-first AIの始め方 — Local AI Compass — https://localaicompass.kawaii-girl.com/articles/openjarvis-local-first-windows-guide/
Chrome内蔵AIはChromeが管理するモデル/APIの経路、WebLLMはWebGPU対応ブラウザーでモデルをWebアプリ内から実行する例として整理しています。WebGPU対応、APIの提供段階、端末要件は更新されます。モデルやページの取得で通信する場合があり、推論が端末内でもWebアプリ全体が通信しないとは限りません。ブラウザーUIからlocalhostへ接続するOpenJarvisの例は、タブ内推論とは異なる構成として示しています。
詳細な手順・最新仕様は、各公式ドキュメントおよび Local AI Compass を参照してください。