🏠/🦊雑に学ぶComfyUI

新しいチェックポイントモデルを作る方法は主に3つあります

0から作る、既存のモデルをファインチューニングする、そして今回行うマージです

やっていることは基本的にシンプルで、本当に上のイラストのように複数のモデルをごちゃごちゃに混ぜ合わせます

ComfyUIでは、その場でモデルをマージして、マージしたモデルをそのまま使って画像生成することができます

🟨好きなチェックポイントを2つ用意

🟩ModelMergeSimpleノードで比率を設定

0.5で1:1です

🟪バイパスしていますが、良さげなモデルができたらCheckpointSaveノードにつなげることで、新しいモデルとして保存することができます。あら簡単

ただ混ぜただけですが、リアル系とアニメ系を半分ずつ混ぜるとちゃんと2.5次元っぽくなるのが面白いところです

今回はただ2つのモデルをマージしましたが、マージしたモデルに対して更に新しいモデルをマージして、さらに…と、無限に遊べます(沼とも言う)

🚨注意点

モデルのサイズは固定なので、例えばモデル1とモデル2を1:1でマージすると、モデル1、2それぞれ性能の半分を捨てることになります

ドリンクバーでジュースを混ぜたことがある皆さまならご存知だと思いますが、ただ適当にジュースを混ぜても出来上がるのは大抵まずい汁です

オレンジジュースのビタミンCだけぶどうジュースに添加して、ハイパー健康に良いぶどうジュースを作れないものでしょうか？

結論からいえば狙っては出来ないんですが、多くの人が色々実験をした結果なんだかいけそうな手法を見つけました

私もよく理解していないので扱ってきませんでしたが、Stable Diffusionのデノイズを担当する部分はU-Netといいます

見ての通りUの字に階段を下って登ります

そして画像にはそれぞれの階段にIN 0 や MID、OUT11と名前がついていますね

先ほど行ったマージは、このU-Netを一つとみなして均一に混ぜましたが、階層マージではこの階段ひとつひとつに対して細かく設定していきます

しかし、これに意味があるんでしょうか？

意味はあるっぽいが、なんでうまくいくのかは分かっていない

U-Netの階層毎にどんな効果があるのかちゃんと調べた研究はなかったはずですが、P+のような研究で示されているとおり、例えばU-Netの浅いレイヤーでは"色"のトークンが強い影響を及ぼし、深いレイヤーでは"形"を表すトークンが影響力を持っているらしいです

と、いうことは深いレイヤーにあるブロックだけマージすれば、ベースモデルの絵柄には影響を与えずに新しいオブジェクトが描けるようになるんじゃない？というのが階層マージの考え方です

🟩上で見た図ではブロックが23個ありましたが、デフォルトにあるModelMergeBlocksノードでは、IN/MID/OUTという荒い区分でしか階層マージできません

OUT層だけマージしてみましたが、効果があるのかな？これは…

Stable Diffusion web UIでは23層それぞれを設定することができますが、ComfyUIでそれをやるカスタムノードは今のところ知らないです

→ https://github.com/LykosAI/ComfyUI-Inference-Core-NodesLykosAI/ComfyUI-Inference-Core-Nodes

ちなみにFLUX.1の階層は61層ある

LoRAはちっちゃいチェックポイントみたいなものなので同じようにマージできます

というより、LoRAを複数個適用しているときの動作は、LoRAをマージしているときと同じです(多分おそらくきっと)

我々は普段からLoRAのマージをしていたわけですね

ComfyUIに関して言えばLoraをマージしてそのまま保存すればLoraマージ済みモデルを作れる(作風を変えるタイプのものなら有効な手段)

LoRA Block Weightを使えば階層マージも普通にできる。

Pony Diffusion V6 XL系列のMomoiro Ponyとかは独自学習Loraをオリジナルに階層適用したものらしい

ただの混ぜ合わせや、階層マージなんて職人技じゃなくて、もっといけてる混ぜ方を探そうということで、TIESやDAREといったマージ手法に関する研究はいくつかあります

ComfyUIにも実装されているので紹介しますが、使っている人を見たことありませんね…

https://github.com/ntc-ai/ComfyUI-DARE-LoRA-Mergentc-ai/ComfyUI-DARE-LoRA-Merge