ContrelNetとT2I-Adapterの比較
from T2I-Adapter
ContrelNetとT2I-Adapterの比較
>T2I-Adapter、ControlNetと似てるけど、ControlNetが「U-Netのfine tuning+独自の追加ネットワークで構成、オリジナルのU-Netのmid+upblockに影響する」に対して「独自の追加ネットワークで構成、オリジナルのU-Netのdown blockに影響する」という違いがあるみたいだ。 Kohya Tech
ControlNetはこれ
この図だと上の説明が読み取れないな
🙇♂️
この違いがあるとどう言う応用が生まれるんだろ
>Anything-4.0やhttps://civitai.com/ のモデルなど、同じテキストから画像へのカスタムモデルを微調整したものであれば、カスタムモデルでもそのまま使用することが可能です。
ControlNetと違って、モデル毎に新しくモデルを作らなくても良い…？
ものすごい勘違いをしている気がする
ControlNetと違って追加のネットワークをステップごとに計算する必要がないので生成が早いよ。
最終成果物もかなり小さい
どちらを選ぶべきか？
より詳細な制御を求める場合や、多様な種類の画像をガイドとして利用したい場合は、ControlNetが適しています。
学習コストを抑えたい場合や、生成速度を重視する場合は、T2I-Adapterが適しています。
T2I-AdapterとControlNetを併用することで、それぞれのメリットを活かした、より柔軟な制御が可能になります。
参考資料
A quick comparison between Controlnets and T2I-Adapter: A much more efficient alternative to ControlNets that don't slow down generation speed. : r/StableDiffusion - Reddit: https://www.reddit.com/r/StableDiffusion/comments/11don30/a_quick_comparison_between_controlnets_and/
T2I-Adapter を使ってみる - ジャコ Lab: https://zako-lab929.hatenablog.com/entry/20240322/1711111463
ControlNet and T2I-Adapter Examples | ComfyUI_examples: https://comfyanonymous.github.io/ComfyUI_examples/controlnet/