🏠/🦊雑に学ぶComfyUI

前/

次/🦊LaMa

face swap(顔の入れ替え)はdeepfakeとして何年も前から存在します

ただし当時は同じ人間の顔が何百枚と必要でした

しかし、今では性能を多少犠牲にする代わりに数枚、もしくは1枚でface swapが行えるようになりました

1枚の画像でのface swapはInsightFaceという技術が現在ベースラインになっています

それを使いやすくしたのがroop、そのroopが開発を終了してしまったため、それを引き継いだのがこのReActorです

🪢カスタムノード

InsightFaceは128 × 128というかなり低解像度の画像を生成します

(256×256、512×512も存在するが、社会的な影響を考え開発者によって封印されている)

そのため、GFPGANやCodeFormerといった顔特化のアップスケーラーで解像度を上げるのですが、顔のディテールが減りかなりのっぺらとしてしまいます

🦊IP-Adapterは画像を渡して、それを参考に絵を描いてもらう手法のひとつですが、顔に特化させたモデル・技術があります

顔に特化したIP-Adapterモデルip-adapter-plus-face

上のInsightFaceを取り入れたIP-Adapter-FaceID

その技術と取り入れたPhotoMaker、InstantID

正確にいえばこれらは、渡された画像と同じ顔の画像を生成するものですが、顔のみのinpaintingを行えば実質face swapとして扱うことができます

😚deepfake以外の使い方