ControlNet

ControlNet は、Stable Diffusion などの拡散モデルによる画像生成に、「文章以外の指示」を加える仕組みです。2023年に研究論文として発表され、画像生成の現場で広く使われるようになりました。

なぜ必要か

「右手を上げて笑っている女性が、画面の左寄りに立っている」といった構図は、文章だけで伝えても毎回違う結果になりがちです。プロンプトでは細かい形や配置を制御しにくいという弱点を補うために生まれたのが ControlNet です。

しくみ

元の画像生成モデルの重みは固定したまま、条件を受け取るための追加のネットワークを横に付けて学習します。条件には、参考画像から取り出した情報を使います。主な種類は次のとおりです。

• エッジ（輪郭線）：線画や写真の輪郭を守って描く。
• ポーズ：人の骨格を表す棒人間のような図から、同じ姿勢の人物を描く。
• 深度（奥行き）：手前と奥の位置関係を保つ。
• 落書き・セグメンテーション：ざっくりした色分けの配置図から画像を作る。

生成時は、プロンプトに加えて条件画像を渡し、条件をどれだけ強く効かせるかを調整できます。

具体例

• 手描きのラフスケッチを、色や質感を変えながら仕上げ絵にする。
• 建物の写真の形を保ったまま、夜景や別の画風に変える。
• キャラクターに指定のポーズを取らせ、同じポーズで衣装だけ変えた画像を並べる。

使うときの注意・よくある誤解

• 条件を強くしすぎると、元画像に引きずられて不自然な絵になり、弱いと無視されます。強さの調整が必要です。
• 元のモデルの系統（バージョン）に対応した ControlNet を選ぶ必要があり、系統が違うとそのままでは使えません。
• 他人の作品の線画やポーズを条件にすると、元の作品に酷似した画像ができることがあります。著作権や利用規約への配慮が必要です。
• 主にローカル環境の Stable Diffusion 系のツールで使われます。サービスによっては同様の機能が別名で提供されており、実装の細部は異なります。

関連する考え方

画像の一部だけを描き直すインペインティングや、シード値による再現性の確保と組み合わせると、狙った絵に近づけやすくなります。基盤となる拡散モデルの理解があると、仕組みが把握しやすくなります。