画像が生成される仕組み
大雑把ですが、画像生成AIの仕組みです。
画像生成AIは、
- ユーザーと対話画面（通常はブラウザ）
- 画像生成モデル（画像と画像を説明した文章を膨大な数読み込んで学習した脳にあたる部分）
- チェックポイント（特定の画風を集中的に学習させた手にあたる部分ーアニメ風、実写風）
で構成されます。
フロントエンド（受付）:
ブラウザでのUI（ユーザー・インターフェース）を提供し、テキストを入力してモデルに送信します。
画像生成工場:
画像生成AIの脳に該当する部分です。プロンプトを受け取ると、
１．プロンプト処理エンジン
トークナイザー：文章を単語に分解
テキスト・エンコーダー:単語を数値化
２．チェックポイントの読込み
チェックポイント（作成マニュアル）でモデルに画風を与える。
３．モデルの主要コンポーネント
数値から元画像（ノイズの塊）を作成し、ノイズを除去して画像にする。
４．画像をブラウザへ送信
出来上がった画像をユーザーのブラウザへ送信します。
画像生成AIの用語
画像生成モデル:
単にモデルとも呼ばれる。画像と画像の説明を読込みトレーニングした脳。
例:
Stable Diffusion（1.5系、2系、SDXL系、3.5系）
Flux
チェックポイント:
特定の画風を学習させたモデルに組み込む脳の一部分。アニメ風、実写風など学習に使用した画風にするためにモデルに読み込ませる。選択できるチェックポイントはひとつ。
例:
手塚治虫チェックポイント→手塚治虫風の画像になる。
鳥山明チェックポイント→鳥山明風の画像になる。
チェックポイントでの画像の違い
同じプロンプトを使いチェックポイントのみ変更すると以下のように画風が変わります。
A young, beautiful Japanese woman working at her desk in a modern office setting. She is attentively operating a computer, with long, flowing hair and wearing a professional yet stylish outfit. The scene captures her focused expression as she works in a well-lit, contemporary office environment.
良くある質問
- Q同じチェックポイントで同じプロンプトだと同じ画像になりますか？
- A
画像を生成する際に、シード値（元になる数字）から計算を始めます。シード値が違えば、違う画像が生成されます。
画像生成モデル、チェックポイント、プロンプト、シード値まで同じですと同じ画像が生成されます。
- Qチェックポイントなしで画像生成はできますか？
- A
画像生成AIによりますが、Adobe Firefly、Midjourny、ImageFXなどチェックポイントを選択できないモデルもあります。
このコースでは、Stable Diffusionがベースのサービスを使用しますので、必ず選択していただきます。
まとめ
画像生成AIは、モデルとチェックポイントがプロンプトを理解して画像を生成する。画風はチェックポイントによって変わる。
コメント