ReActorはreference一枚でFace Swapできるが、髪で顔が隠れていたり、そもそも低品質だったりすると失敗する

そこで、reference複数枚の画像からInstantIDを使ってスキンヘッドのポートレートを生成

これをReActorに送ることで品質を安定させる

リストで処理したものをバッチに変換している都合上、reference画像が二枚以上ないとエラーが出ます

入力画像を顔でセグメンテーション

最初の画像をllava-v1.6-mistral-7bに送り、プロンプトを生成

それらをInstantIDに入力

顔の向きを正面にしているけれど、立体感をReActorに教えるには斜めのほうが良いかもしれない

ReActorへ

← 入力画像そのまま | ReActor用ポートレート →

今回は入力画像が綺麗だったのでどっちがいいかは正直良くわからない

このままReActorでFace SwapしたあとにInstantIDを使ってリファインするに流してもいいよ！