ControlNet 1.1
code.*control_v11p_sd15_canny
control_v11p_sd15_mlsd
control_v11p_sd15_depth
control_v11p_sd15_normalbae
control_v11p_sd15_seg
control_v11p_sd15_inpaint
control_v11p_sd15_lineart
control_v11p_sd15s2_lineart_anime
control_v11p_sd15_openpose
control_v11p_sd15_scribble
control_v11p_sd15_softedge
control_v11e_sd15_shuffle
control_v11e_sd15_ip2p
control_v11u_sd15_tileStable Diffusion 2.1用のControlnetがない。。。
ControlNet 1.0との差分
body
face
hand
full
Lineart
Shuffle
入力画像をごちゃごちゃにしてから、プロンプトに合うように再構成する
使い方をあまり良く分かってない
InstructPix2Pixのデータセットで学習させたControlNet
Inpaint
Tile(未完成)
control_v11u_sd15_tileを使っている人はcontrol_v11f1e_sd15_tileへ更新してください
4k画像を作る手法として画像をタイルに分割させて、それぞれをimg2imgで拡大させるのが主流
名前ついてますか？知りたいです
SD upscaleがこの手法ですね
が、すべてのタイルに同じプロンプトを使うので、例えば空しか表示されていないタイルにも
1girl のようなものが適用されてしまうControlNet Tileではそのタイルになにが表示されているかを認識してプロンプトの影響力を調整する
prompt1girl with black hair,wearing fur jacket,upper body,Backlight,simple blue eyes,eyelash,looking at viewer,gray eye shadow,textile shading左 : Ultimate SD upscale 右 : Ultimate SD upscale + ControlNet Tile
通常(左)は分割したタイルごとに1girlやらなんやらを適用しているので心霊写真みたいになってしまう
高解像度化手法なのかー
プロンプトを画像内の部分部分で最適に動くように調整して描き込むのが本質で、高解像度化は相性の良い使い方の一つといったほうが正解かもしれない
ので、Control ModeをMy prompt is more importantにすると、構図を保ったまま違う絵にできたりする
逆を言えば、余計なものも描き込むので実際の写真のアップスケールにはあまり向いていない
cf. https://www.reddit.com/r/StableDiffusion/comments/14dpcmi/turn_your_pet_into_any_animal_with_controlnet/ペットを別の動物に変身させる
前処理の変更
Depth Map
ZoeDepthが追加
MiDaSよりも高性能
Normal Map
Normal Baeに変更
ちょっと触った
ComfyUIだとワークフローを一枚で見られるのは便利かもしれない
わかりやすいとは言っていない