generated at
ControlNetモデル
SD1.x
openposeの代わりにMediaPipeを使って学習させたモデル
https://huggingface.co/ioclab/control_v1u_sd15_illumination_webuicontrol_v1u_sd15_illumination_webui【WIP】
ライティング

SD2.x

SDXL 1.0

Illustrious-XL

Flux
by jasperai

Stable Diffusion 3.5
blur / canny / depth

>以下ControlNet 1.0 (旧)
SD1.x

SD2.x
SD2.x系で動かすにはまた別途学習する必要がある
要出典
SD2.x系はテキストエンコーダーの出力形状が違うので同じControlNetは使えない。
この辺りはLoRAも同じで何がどこまで互換性を持っているかしっかり調べたいnomadoor
学習にトライしている人が何人かいらっしゃる
salt(waifu diffusion開発チーム)
>ControlNet for Stable Diffusion 2.1 768を公開しました。現段階では、限りなく機能は限られていて、Picasso Diffusion をOpenPoseでちょっと制御できるかなぐらいです。完全にPoCなので、あ、一応、動くもんなんだな、程度に思ってください。
>WDでもかすかに使える
らしい
まさかのWaifu Diffusion 1.5向けのControlNetモデルが出てしまった
Updated
canny、depth、hed、openpose
color、ZoeDepth
Normal Map (BAE) 🎨
Segmentation (ADE20K) 🧩
LineArt 🖼️
Openpose with hands 🖐️ and face 🙂
SD2.1を抜いて小さくしたもの
openpose
[] by YouJ
SDXL 1.0
https://huggingface.co/kohya-ss/controlnet-lllite/ kohya_controllllite_xl_depth_anime
https://huggingface.co/kohya-ss/controlnet-lllite/ kohya_controllllite_xl_canny_anime
https://huggingface.co/kohya-ss/controlnet-lllite/ kohya_controllllite_xl_scribble_anime
https://huggingface.co/kohya-ss/controlnet-lllite/ kohya_controllllite_xl_openpose_anime
https://huggingface.co/kohya-ss/controlnet-lllite/ kohya_controllllite_xl_openpose_anime_v2