ローカル画像生成AIの処理の流れ
ComfyUIの基本的な画像生成では、ワークフローがモデル・指示文・潜在画像をつなぎ、サンプラーがノイズから画像の下地を作り、デコード後に画像として保存します。ここではローカルで動かすtext-to-imageの代表的な流れを見ます。
視覚図
- 1 ワークフロー ノードと接続で、画像を作る順番や各処理のつながりを表す。
- 2 生成モデル 選んだモデルを対応するノードへ読み込む。必要な部品はモデルやworkflowで異なる。
- 3 指示文と潜在画像 プロンプトで描きたい内容を伝え、潜在画像ノードで生成する画像の枠を用意する。
- 4 サンプリング サンプラーがプロンプトに沿ってノイズを段階的に取り除き、潜在画像を作る。
- 5 画像にデコード VAEが潜在画像を、画面で見られるピクセル画像へ変換する。
- 6 プレビュー・保存 結果を確認し、ローカル実行ではComfyUIのoutputフォルダーへ保存する。
各ステップを選ぶと短い説明が表示されます。図は装飾で、テキスト同等物は下にあります。
図のテキスト説明
- ワークフロー:ノードと接続で、画像生成を構成する処理の順番を表します。
- 生成モデル:選んだ画像生成モデルを読み込みます。モデルの種類によって必要な部品やノードは変わります。
- 指示文と潜在画像:プロンプトで生成内容を伝え、潜在画像ノードで画像の枠を用意します。
- サンプリング:サンプラーがノイズを段階的に取り除き、潜在画像を作ります。
- 画像にデコード:VAEが潜在画像をピクセル画像へ変換します。
- プレビュー・保存:生成結果を確認して保存します。ローカル実行ではComfyUIのoutputフォルダーが使われます。
押さえておく用語
- ワークフロー
- ノードと接続を組み合わせ、モデル読込から画像保存までの処理を表す図です。
- チェックポイント
- 画像生成に使うモデルデータをまとめたファイルです。対応する構成や読込方法はモデルごとに確認します。
- 潜在画像
- 生成途中の画像を圧縮した表現です。サンプラーがこの表現を更新し、VAEが最終画像へ変換します。
- サンプラー
- ノイズから潜在画像を段階的に作る処理です。設定やworkflowによって手順は変わります。
- VAE
- 潜在画像とピクセル画像の変換を担う部品です。モデルによって同梱・分離や指定方法が異なります。
注意点
- 図はComfyUI公式の基本text-to-image例を簡略化したものです。公式資料の例はSD1.5向けで、他のモデルではノードや必要ファイルが異なります。利用するモデルの公式workflowと対応資料を確認してください。
- ComfyUIのコアはローカル・オフラインで動かせますが、任意のAPIノードや外部サービスを使うworkflowは通信する場合があります。画像やプロンプトを入力する前に、workflowに含まれるノードの処理先を確認してください。
- VRAMや生成時間に共通の固定目安はありません。モデル、画像サイズ、workflow、設定によって変わるため、PC適合性は利用モデルの現行要件で判断してください。
詳しく知りたいときは Local AI Compass へ
確認した主な情報源とこのページの範囲
- ComfyUI Text to Image Workflow — ComfyUI Docs — https://docs.comfy.org/tutorials/basic/text-to-image
- ComfyUI — Official repository — https://github.com/Comfy-Org/ComfyUI
- ローカルLLMとは?ChatGPTとの違い・できること・始め方 — Local AI Compass — https://localaicompass.kawaii-girl.com/articles/what-is-local-llm/
基本フローはComfyUI公式のSD1.5 text-to-image例を簡略化しています。ComfyUIは複数の画像生成モデルや部品を扱うため、必要なノードとファイルはモデル・workflowごとに公式資料で確認してください。コア機能はローカル・オフラインで動作しますが、任意のAPIノードは外部通信を行う場合があります。Local AI CompassのローカルAI入門は画像生成を広い利用領域の一つとして説明しており、このページはComfyUIの処理フローに範囲を絞ります。
詳細な手順・最新仕様は、各公式ドキュメントおよび Local AI Compass を参照してください。