sd-webui-controlnetのPreprocessorの一つ

Input output

なにをしているか？

入力画像と同じような画像を作る手法として、inpaintを使う方法がある

参考にする画像を左に、同じ大きさの空白を右に配置した画像を用意する

右側をすべて塗りつぶしてマスクにする

Masked content : fill / Resize to : 1024 512

inpaintはその周りを参考に画像を生成するので、なんとなく似た画像が作れる

面白い手法なのだけれど、画像を並べてるので生成画像が歪んだり、そもそも成功率が低かった

これを独立した画像でできるようにしたのがReference-Only Control

内部ではどうなっているのかな？

使い方

ControlNetの入力に、参考したい画像を入れる

Preprocessorを reference_onry に

なんとなくそれっぽいプロンプトを入れる

全く違うプロンプトを入れてスタイルミックスみたいな使い方もでてくるかもしれないので、要研究

Enableにして Generate

とてもすごい

動作原理が全然違うとはいえ、UnCLIPよりよっぽど使えそう

https://www.reddit.com/r/StableDiffusion/comments/13lla5c/a_deep_dive_into_the_new_reference_controlnets/新しいreference controlnetsを深堀りする