Imagicを試す

Colab: https://colab.research.google.com/github/ShivamShrirao/diffusers/blob/main/examples/imagic/Imagic_Stable_Diffusion.ipynb#scrollTo=K6xoHWSsbcS3

Input Image(src, CC-BY)

Prompt: "A girl with flower."

あー、girlとしか指定しなかったら指定にない猫耳や髪の色の特徴は無視されちゃうのか

Original Prompt + "with flower"

今度は背景色しか変わってない

GradioでGUIが立ち上がるのか、すごいな。

Promptの強度がデフォルトでは0.9になっていた。

1にしてもあまり変化はなく2にしたらかなり壊れたので刻んでみる。

1.5

1.75

2.0

これとか元の画像の特徴を残しつつ、指示通り花をつけていると言えそう

ワンポイントの花飾りを期待してた

耳毛を花と解釈するとは思わなかった

まあでも、そういう飾り方をするかもしれないなぁ、という感じ

興味深い点

元の画像はNovelAIで作られている

Imagic自体はStable Diffusion 1.4 ベース

結果的にStable Diffusion単体ではなかなか難しいはずのアニメ絵でNovelAIのサービス上ではできない表現ができている

追記

NovelAI img2img "flower" strength 0.7 noise 0.2

noise 0

stength 0.6

これが期待していたものに近い

negative promptに"{{3d}}"を入れたままだったことに気づいたので外してみたが大きな差はないな

2つめはseed違い