🏠/🦊雑に学ぶComfyUI

前/🦊アルファチャンネルの扱い

次/

画像から特定のオブジェクトだけ切り抜いたり、背景除去したりするタスクです

細かいこというと別物なんですが面倒くさいのでまとめて"切り抜き"と呼びます

🦊アルファチャンネルの扱いの復習ですが、ComfyUIでは透過画像は"RGB画像 + マスク"で構成されます

そしてマスク画像は黒背景に白で描かれ、白い部分がマスクされ(残り)ます

🚨混乱ポイント

JoinImageWithAlphaノードを使うと"RGB画像 + マスク画像"を透過画像に変換できるのですが、ややこしいことにマスクの白と黒の役割が逆です

実装ミスだと思っているけれど正しい動作なんだろうか？

そもそも透過画像ロードしたときにできるマスクの白黒が逆じゃない？

投げてみたけれど優先度は低そうだ

なんにせよ、InvertMaskノードを使ってマスクを反転させることで、正しい透過画像を得られます

切り抜きというのはこのマスク画像をいろんな方法で作るという作業です

やはり頼れるのは己の手のみ

画像を右クリックして出てくるメニューの Open in MaskEditor をクリックするとエディターが出てきます

ペンで描いて右下の Save to node をクリックするとマスクとして保存されます

isnetやu2netなど背景除去をする技術があり、まとめてRembgとしてパッケージングされています

🪢カスタムノード

🟩Image Rembg (Remove Background)ノードでRembgを使います

u2netやisnet-animeの中からよさそうなものを選びます

🟦このノードに関しては透過画像を出力してしまい使いづらいので、SplitImageWithAlphaノードでRGB画像 + マスクに変換します

Rembgよりもちょっと性能が良いです

🪢カスタムノード

Rembgは"背景"というとてもざっくりとしたものをマスクにします

マスクを反転しても、前景と背景の二種類どちらかしか切り抜きできません

もっと自由に好きな部位のみのマスクとかしたいですね

そこでSegment Anything Model(SAM)を使います

🪢カスタムノード

画像を右クリックして出てくるメニューの Open in SAM Detecter を押すとEditorが出てきます

SAMは物の形を潜在的に理解しているので、髪に点を打ては髪全体が、追加で顔に点を打てば頭全体がマスクになります

左クリックでマスクにしたい部位、右クリックでマスクにしたくない部位に点を打ちます

テキストで指示すると、画像内のそのオブジェクトを選択してくれるGround DINOと SAMの進化版であるHQ-SAMを組み合わせます

🪢カスタムノード

dog と入れれば犬が、 cup と入れればカップのみが切り抜きされます

🟩SAMModelLoader (segment anything)ノードで呼び出せるSAMモデルはいくつかあるのですが、もちろん容量が大きい方が性能がよく、かつ sam_hq_vit のようにhqとつくものはHQ-SAMで細部の切り抜き精度がグンと上がります

めちゃめちゃ使う

統合VLMであるFlorence-2はOCRやVQAなどいろんなことができるんですが、Ground DINOと同じように、テキストで指示した物体の位置をBBOXで教えてくれる物体検出をすることもできます

🪢カスタムノード

Florence2Runノードの text_input 欄に検出した物体名を入れ、 task を caption_to_phrase_grounding にします

検出した物体が２つ以上会った場合(e.g. 上の画像ではfaceが2つある)

Florence2toCoordinatesノードの index に0 ~ nの数値を入れて指定します

全部まとめて一つのマスクとして出力したいときはどうしたらいいんですか…？

Segment Anything Model 2の真価は動画で目的のオブジェクトを追跡してセグメンテーションできるところにあります

上のFlorence-2 + Segment Anything Model 2を動画へ拡張してみましょう

ImageFromBatchノードで動画の一番最初のフレームを取得します

🟪Florence-2で最初のフレームから(今回は)"human"で物体検出します

🟩あとは動画用のSAM2ノードに繋いでいくだけですが、DownloadAndLoadSAM2Modeノードの segmentor を video にするのを忘れずに

SAM2は動画の最初のフレームで位置を指定してあげれば、2フレーム目からは自動で追跡してくれます

Florenceを使わずに手動で位置を指定する方法もありますが、まだPointsEditorノードの使い勝手が悪いので保留

CLIPの知識を使って任意の言葉でセグメンテーションします

🪢カスタムノード

とても粗いので切り抜きとして使うことはほとんどありません

YOLOの代わりに物体検出として使うことがあります