ComfyUI IPAdapter plus
https://github.com/cubiq/ComfyUI_IPAdapter_pluscubiq/ComfyUI_IPAdapter_plus
>ComfyUIのやり方に従ったIP-Adapterの実装です。このコードはメモリ効率がよく、高速で、Comfyのアップデートで壊れることはありません。
2024/3/23
IPAdapter V2へのアップデートに伴い古いワークフローが動かなくなった
使う
ノード
パラメータのnoiseとはなにか？
>IP-AdapterはConditioningのために2つの画像を送る。1つはリファレンスで、もう1つは（あなたには見えないが）ネガティブなコンディショニングのようなものだ
>私がやっているのは、空の画像の代わりに非常にノイズの多い画像を送ることです。
0.01で最も多いノイズ、1.0ではほぼノイズが除去される
>0.01がオススメ
IPAdapterEncoderノードと組み合わせて複数枚の画像を入力にする
標準のImageBatchノードを使っても複数枚入力はできる
(IP-Adapterに限らず)Clip Visionは224×224の正方形にエンコードされる
長方形の画像で参照したい部分が横にズレていたりするとIP-Adapterの効きが悪くなるため、これでちょうどよい感じにクロップする
CLIPが正方形しか扱えない問題をタイリングによって回避する
weight_type : composition
任意のIP-Adapterモデルで使える
ip-adapter-plus-face or LoRAとの組み合わせが良いらしい
https://github.com/cubiq/ComfyUI_IPAdapter_plus/issues/195作者によるIP-Adapter face系モデルの比較
どのチェックポイント、IP-Adapterモデルの組み合わせが良いかを定量的に調べてくれている
PuLIDに対応
>これはScaling on Scalesの論文にインスパイアされたものですが、実装は少し違います。
>（ピクセル空間の画像の代わりに）エンベッドをタイリングすることで、小さなディテールをキャッチしようとします。