🦊IC-Light
🏚️/🦊雑に学ぶComfyUI
前/🦊LaMa
次
リライトといってもいくつか種類がありますが、IC-Lightは背景に合わせて前傾のライティングを自動で調整します
画像生成AIを使わない人にも、合成した絵を背景に溶け込ませるときに役に立つ技術ですね
準備
🪢カスタムノード
どちらも同じ動作をするので今回は直感的でわかりやすいkijaiさんの方をメインに使うのですが、重要なノードが一つ足りないのでhuchenleiさんのカスタムノードもインストールしてください
モデルのダウンロード
https://huggingface.co/lllyasviel/ic-light/tree/mainlllyasviel/ic-light
iclight_sd15_fbc.safetensors
iclight_sd15_fcon.safetensors
$ path\to\ComfyUI\models\unetに配置、ic-lightというフォルダを作ってその中に置いたほうが便利ですね
fbcは背景に合わせて前景をリライトするとき用
fconは背景を生成して、それにあわせて前景をリライトするとき用です
fcというモデルもありますが、fconがfcのほぼ上位互換です
💡背景にあわせて前景をリライト
🟦前景の切り抜きをします
なんでもいいですが今回はBiRefNetで
最初から透過画像を入力する場合は必要ありません
🟥透過部分を灰色で埋めます
仕様ですが、これをしておかないと背景の色が暗くなってしまいます
このノードのためにhuchenleiさんのカスタムノードをインストールしています
画像のリサイズ
IC-LightはStable Diffusion 1.5がベースになっています
つまり生成する画像サイズも512px ~ 768px程度にしておかないと破綻してしまいます
背景のリサイズ
前景の画像のサイズを取得して、背景を同じ大きさにリサイズ・クロップします
🟩IC-Lightの設定
つなぎ方はControlNetに近いですかね
IC-Lightのモデルを読み込みますが、今回は背景ありなので iclight_sd15_fbc.safetensors を使います
🔦元画像を劣化させずにリライトする
元画像をなるべく変化させず色だけ買えるのがIC-Lightの強みですが、それでもStable Diffusionを使っている以上劣化します
image2imageなら仕方なく諦めるところですが、色情報だけ抜き取って元の画像に合成しなおすことで劣化なしのリライトをやってみましょう
https://openart.ai/workflows/nomadoor/fixing-degradation-with-ic-light/wcVu79MVWZVXGgcdceVvic-light_restore2.json
🟪Kijai版のカスタムノードにはDetailTransferノードというものがあり、これに"元の前景画像"と"リライトした画像"を入力することで、全く劣化していない画像を作ることができます
入力される画像は全く同じサイズである必要があるのでリサイズします
🟨背景はリライト関係ないので、元の画像と置き換えるだけでOKですね
🕯️背景を生成してリライト
別でtext2imageして🦊IC-Light#66cd4fbbe2dacc0000f88242のworkflowの背景として入力したら良くない？と感じますが、おそらくLayerDiffusionの技術で、前景に合うような背景を生成してリライトしています
自信はない
🟩iclight_sd15_fcon.safetensors モデルを使います