🦊ComfyUI-Impact-Pack
前/
ComfyUI-Impact-PackはComfyUIに最も貢献しているカスタムノードのひとつです
殿堂入りのComfyUI Managerも同じltdrdataさんによって作られています。すごい
こんなにいろいろ作ってるのにチュートリアルが充実してるし、初心者の質問にも優しく答えてくれる聖人。こうなりたいね
物体検出からのマスク・Detailer、Tilingアップスケールまで担う壮大なカスタムノードですが、それゆえ独自概念がしばしば登場し理解しにくい部分があります
本格的に使う前に、ある程度ポイントを整理しましょう
SEGS
>SEGSは、マスク、bbox、クロップ領域、confidence、label、ControlNet情報など、Detailerの操作に必要な情報を含む包括的なデータフォーマットです。
これが躓く一つの要因だとは思いますが、いろんなデータをまとめて送っているpipeのようなものです
Detailerを行うには、マスクだけでなく位置情報やサイズ等も必要なため、それらをまとめて送るためこのように設計されています
詳しくは → 🦊SEGS
Detector
物体検出・セグメンテーションを扱います
詳しくは → 🦊Detector
Detailers
Detectorで検出したBBOXの範囲・もしくはマスクの範囲でクロップしてinpaintingします
Stable Diffusion web UIではAfter Detailerと呼ばれていたものです
詳しくは → 🦊Detailer
pipe
これはImpact-Packに限らない概念ですが、いくつかの入出力を一つのノードにまとめます
DetailerHook
Impact-Packで追加されるKSamplerには処理を繰り返すCycleという機能がある
出力された画像をそのまま同じ設定でN回サンプリングする
このHookを使うと一回目からN回目にかけてパラメータを推移させることができる
e.g. Denoise 0.5 → 0.3
PixelKSamplerHook (PK_HOOK)
上に同じ
https://github.com/ltdrdata/ComfyUI-extension-tutorials/blob/Main/ComfyUI-Impact-Pack/tutorial/TwoSamplers.mdTwoSamplersForMask
image2imageの際、マスクした部分とそのほかの部分で別の設定を使ってサンプリングします
使っている人を見たことがない
SDXLのlatentをピクセルにデコードしてSD v1.5に変換、もしくはその逆をするノード
多分SD v1.5の生成画像にSDXLのRefinerをかけてみるを手軽にやるためのノードだと思うけれどVAEDecode → VAEEncodeが一つにまとまるだけなのであまり楽にはならないかな
参考