https://github.com/huchenlei/ComfyUI-layerdiffusionhuchenlei/ComfyUI-layerdiffusion

LayerDiffusionを実装するComfyUIカスタムノード

参考 : sd-forge-layerdiffusion

SD1.5も対応

RGBA画像生成

🟩LayeredDiffusionApplyノードで透過画像を生成するためのLoRAを追加している

AttentionとConvが選べるが、基本的にAttentionの方が良い結果になる

🟪VAEDecodeをして出てくるのは灰色の背景を持ったもののため、RGB画像とマスクにデコードしたのち、JoinImageWithAlphaノードで透過画像にする

🟨LayeredDiffusionDecodeRGBAノードは🟪の部分をひとつのノードにまとめたもの

前景を元に背景を描く

うまくいかないので保留

背景を元に前景を描く

🟩LayeredDiffusionCondApplyノードに入力するlatentとKSamplerに入力するlatentのサイズは全く同じにしないとエラーが出る

そのため画像サイズを取得して、EmptyLatentImageノードに繋いでいる

背景を元に前景を描くときは Background に

背景の特徴を元に絵を描いてくれるはずだけど、完全に無視して描いてる気がする

🟨layer_xl_bgble2fg.safetensors

背景と生成した合成画像から、前景のみを取り出す

合成画像を作る時と、前景を取り出す時の設定が全く同じだとなぜかアーティファクトがでるのであえてseed値を変えているけど多分おかしい

なぜこんなややこしい手順なのかアーキテクチャを理解してないので分かりません