🏠/🦊雑に学ぶComfyUI

前/

次/🦊LoRA

Textual Inversionは数枚の画像をモデルに渡して、共通する概念を覚えてもらう技術です

ただしDreamBoothやLoRAとは違い、もともとのモデルが描けないものは何千枚使ってTexual Invertionしても描けるようにはなりません

有名なものにはeasy negativeやbadhandv4があります

出来の悪い画像や、間違った生成をして手を集めて、"画像生成で出来てしまう失敗した画像"の概念を覚えさせたものです

少しややこしいのですが、Textual Inversionで作ったものをembeddingsといいます

🦊ComfyUIで使ってみる

embeddingsのダウンロード

試しにPorsche 911 Turboを使ってみましょう

ダウンロードして \ComfyUI_windows_portable\ComfyUI\models\embeddings に置きます

プロンプトに書く

CLIP text Encoderに embedding:ファイル名 のように書くことでembeddingsを呼び出します

e.g. embedding:porsche911_ti.pt ( .pt は無くても良い)

注目度記法も使えます

🧪実践的な話

学習が早いという利点はありますが、ほぼ完全上位互換のLoRAがあるのでembeddingsはあまり使われなくなりました

上であげたeasy negativeやbadhand v4も、モデル自体の性能が上がってきたので基本必要ありません

ただし、チェックポイントやLoRAの作者が併用するためにembeddingsも一緒に配布していることがあります

モデルの性能を完全に引き出すには正しいプロンプトを入れる必要がありますが、利用者が従ってくれるとは限りませんし、なにより面倒くさい

embeddingsを作ってある程度モデルの出力を制限することで、そのモデルの良さを引き出すことができるわけです

関連