ControlNet試す
ControlNetを試す
いくつか方法があるみたい
It is available via the Unprompted extension
使えないという話もあり後述のMikubill/sd-webui-controlnetがスレッドでおすすめされていた
>This extension is for AUTOMATIC1111's Stable Diffusion web UI, allows the Web UI to add ControlNet to the original Stable Diffusion model to generate images. The addition is on-the-fly, the merging is not required.
AUTOMATIC1111版Stable Diffusion web UIでextensionをinstall
ControlNetを使う
ControlNetを使うためにはモデルが必要
モデルはHugging Faceにアップロードされている
>All models and detectors can be downloaded from our Hugging Face page. Make sure that SD models are put in "ControlNet/models" and detectors are put in "ControlNet/annotator/ckpts". Make sure that you download all necessary pretrained weights and detector models from that Hugging Face page, including HED edge detection model, Midas depth estimation model, Openpose, and so on.
https://huggingface.co/lllyasviel/ControlNet からダウンロードする
タスクごとにモデルが別れているので必要なものだけダウンロードする
そして、ControlNet models (.pt, .pth, .ckpt or .safetensors) をsd-webui-controlnet/modelsに配置する
今回は手描きをイラストにしたいのでscribblesをダウンロードして配置する
ControlNet/models/control_sd15_scribble.pth
>The ControlNet+SD1.5 model to control SD using human scribbles. The model is trained with boundary edges with very strong data augmentation to simulate boundary lines similar to that drawn by human.
>Currently it supports both full models and trimmed models. Use extract_controlnet.py to extract controlnet from original .pth file.
この一文はよくわからなかった。pthしかないのでそれをそのまま置いたら普通に動いた
モデルを配置するパスはここ
\stable-diffusion-webui-docker\data\config\auto\extensions\sd-webui-controlnet\models $ \stable-diffusion-webui-docker\data\config\auto\extensions\sd-webui-controlnet\modelsここまででUIは立ち上がった。しかし画像が出ない。
まだエラーが出た
zsh# wd1-4_anime_e1.ckpt
webui-docker-auto-1 | RuntimeError: mat1 and mat2 shapes cannot be multiplied (77x1024 and 768x320)
# sd v1-5-inpainting.ckpt
webui-docker-auto-1 | RuntimeError: Given groups=1, weight of size [320, 4, 3, 3], expected input[1, 9, 64, 64] to have 4 channels, but got 9 channels instead
# sd v1-5-pruned-emaonly.ckpt
// no error入力欄が複数あって紛らわしい
Good setup
NG setup
relusts error
results monotone illusts(not color)
Download model from Hugging Face
zsh# Set the URL of the model
MODEL_URL="https://huggingface.co/andite/pastel-mix/resolve/main/pastelmix-better-vae-fp32.ckpt"
# Set the name of the file to save the downloaded model
MODEL_FILE="pastelmix-better-vae-fp32.ckpt"
# get a token from https://huggingface.co/settings/tokens
# Set the bearer token for authentication
BEARER_TOKEN=
# Download the model using curl with the bearer token in the request header
curl -H "Authorization: Bearer $BEARER_TOKEN" -L $MODEL_URL -o $MODEL_FILEdownload speed is too slow in WSL2(why?)
zsh % Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
100 1159 100 1159 0 0 1489 0 --:--:-- --:--:-- --:--:-- 1489
0 4067M 0 22.8M 0 0 889k 0 1:18:00 0:00:26 1:17:34 981kin windows11, download may end in a few minutes.
試した
scribble
写真や画像から姿勢を同じにする
openpose
落書きを完成させる
canny
細部の線画まで同じにする
user review
>@matsu_vr: Stable Diffusion WebUIのExtensionsに入れるControlNet、動いた気がする。左がぱくたそのフリー素材の写真、右がControlNetでOpenposeしてポーズ推定してから作られたはずの1girl。i2iよりも全然きれいに行くので、これは捗る
>
Colab
>@shion_ai_create: ①ダウンロード方法
>以下のコードをwebuiダウンロード後（git cloneした後）辺りに入れておけばOKです。
>%cd /content/stable-diffusion-webui/extensions
>!git clone https://t.co/XZWwfyNqNY
>!wget https://t.co/UzDim3TvS2 -O ./sd-webui-controlnet/models/control_openpose-fp16.safetensors