沢山のControlNetあるけど、どれ使うの？
本来、ControlNetは、「プリプロセッサ」と「プリプロセッサモデル」の組合せで使います。「プリプロセッサ」を選択すると選択できる「プリプロセッサ・モデル」は候補からの選択となります。
問題は「プリプロセッサ」が沢山あり、どれを選択するのが良いのかが分からないことです。
ControlNetは作成される画像の設計図を画像生成AI（Stable Diffusion）に渡します。「プリプロセッサ」が設計図を作り、「プリプロセッサ・モデル」が画像作成時に情報を与えます。
その設計図は、基になる画像から特徴を抽出したもので「プリプロセッサ」は、どんな特徴を取り出すのかにより決めます。
プリプロセッサの種類
SeaArtで使えるControlNetは以下の16種類です。(下図はクリックで拡大)
| プリプロセッサ名 | 説明（簡単に） |
|---|---|
| Canny | エッジ検出（輪郭取り） |
| OpenPose | 骨格を取得 |
| Lineart | 線画を解析 |
| Lineart anime | アニメ風に線画を解析 |
| Depth | 画像の奥行き推定 |
| Normal BAE | モデリング解析 |
| Segmentation | 物体ごとに色分け |
| 超高画質の再描画 | 高解像度化 |
| MLSD | 直線検出（建物や部屋向け） |
| Scribble | 落書き線から生成 |
| HED | ソフトなエッジ検出 |
| Color Grid | マス毎に色を抽出して再描画 |
| Shuffle | 様々な特徴を抽出してランダムに入替 |
| 参考生成 | 類似する画像を生成 |
| Recolor | 画像の再着色 |
| IP Adapter | 2つの画像を融合させる |
分類してみる
抽出する特徴で分類
プリプロセッサが抽出する特徴を、「線」、「面」、「深度」、「その他」で分類しました。
| 分類 | 役割 | プリプロセッサ例 |
|---|---|---|
| 線を捕らえる | 輪郭やエッジ検出で形を指定 | ✅ Canny ✅ Scribble ✅ HED ✅ Lineart (リアル＆アニメ) |
| 面を捕らえる | セグメンテーション（領域分け）で指定 | ✅ Segmentation (ADE20K) ✅ MLSD (直線検出) |
| 深度を捕らえる | 奥行きや立体感を解析 | ✅ Depth (MiDaS) |
| その他 | 人体・顔のパーツ指定など特殊処理 | ✅ OpenPose (骨格指定) |
目的別で分類
使用する目的で分類しました。
| 目的 | プリプロセッサ名 | 説明・用途 |
|---|---|---|
| ポーズ指定 | OpenPose | 人や動物の骨格・ポーズを指定（Vtuber・イラストポーズ向け） |
| 線画から生成 | Canny | エッジ検出（輪郭線から生成） |
| HED | 柔らかめのエッジ検出（人物写真向け） | |
| Lineart / Lineart Anime | 線画抽出（特にアニメ向け） | |
| Scribble | 手描きのラフスケッチから生成 | |
| 奥行き・立体感指定 | Depth (MiDaS) | 画像の深度マップを生成（遠近感表現） |
| エリア指定 | Segmentation | 物体ごとに色分けして領域指定（背景・小物など分類） |
| 直線構造指定 | MLSD | **直線構造（建物や部屋）**を検出して構図指定 |
| 同じような画像を作成 | 参考生成 | キャラの特徴を持たせる |
| 部分修正・塗り替え | Recolor | 指定部分を塗りつぶして再生成 |
| 解像度アップ補助 | 超高画質の再描画 | 低解像度→高解像度補完 |
| 特殊用途 | ip adapter | 2つの画像の特徴を融合 |
実際、どう選べば良い？
同じ構図にしたい
同じ構図にしたい場合には、作成したい画像と元画像にもよりますが、以下を選択します。
- 線画
- Canny
- Lineart
- Lineart anime
- MLSD 直線しか抽出しません。
- Scribble_head
- Head safe
- 深度
- Depth
- Normal BAE
- 面
- Segmentation
同じ雰囲気の画像を作成したい
同じ雰囲気の画像を作成したい場合には、
- Color Grid
- 元画像を小さなマスにワケ、マスにある主な色を抽出して新しい画像を作成
- Shuffle
- 元画像から取り出した特徴をランダムに入替えて、新しい画像を作成
- 参考生成
- 元画像のキャラなどを参考に新しい画像を作成
- ip adapter
- 2枚の背景画像から、特徴を取り出し合成する
目的が明確
使用する目的が以下の場合には、一択です。
- 人物のポーズを指定する
- Openpose
- 元画像を再着色する
- Recolor
まとめ
ControlNetを使い元画像の特徴を抽出した設計図から新しい画像を作成する。
どんな設計図を作成するのかは「プリプロセッサ」で決まる。
プリプロセッサは、目的で選択する。
コメント