🦊LoRA
Textual Inversionは生成する絵の方向性をある程度決めるだけで、モデルが描けないものを書かせることはできません
モデルにまったく新しい知識を与えて、描けるものを増やそうと思ったとき、従来はDreamBoothのような技術でモデルを全部ファインチューニングする必要がありましたが、これにはかなりの計算コストと時間がかかります
そこで引っ張り出されたのがLLMですでに使われていたLoRAという技術です
>物事を単純化するために、これらのモデルを大きくて複雑なレゴの城と想像してみよう。さて、この城の何かを変更したいとしよう。例えば、新しい塔を追加したいとしよう。通常であれば、城の大きな部分を注意深く分解して作り直す必要があるが、これには長い時間がかかり、かなり難しい。
>では、レゴブロックをいくつか外して、新しいレゴブロックをあちこちに貼り付けるだけで変更ができるとしたらどうだろう。城の他の部分には一切手を加える必要はない。そうすれば、もっと簡単で手っ取り早いでしょう？
🦊ComfyUIで使ってみる
LoRAモデルのダウンロード
ドット絵LoRAを使ってみましょう
ダウンロードして
\ComfyUI_windows_portable\ComfyUI\models\loras に置きます
キャンバスをダブルクリックして
LoadLoRA と検索、ノードを追加しますレゴという例えの通り、Checkpointノードに直列にがっちゃんこします
lora_nameの欄をクリックして、好きなLoRAを選択、strengthを調整して生成します
🧪実践的な話
modelとclipのstrength、2つ入力する場所があるんですが…
Stable Diffuison web UIでは同じ値が入力されていましたが、ComfyUIでは別々のものを設定できるようななっています
基本的に同じ値を入れておけばよいですが、実験をしてみるとなにか面白い発見があるかもしれません、見つかったら教えてください
strengthはどのくらいの強さをかければよいか
0.8が良い、というより0.8でかけた時うまく生成できるようにLoRAを作る人が多いです
ケースバイケースなのでいろいろ試しましょう
複数個LoRAをかけると生成画像がおかしくなる
🦊CFG#6597a142e2dacc0000d7c947のようなな感じになることです
複数個以外でもLoRAを1以上に強くかけると現れたりしますが、原因はわかっていません
これを回避するためにLoRA Block WeightやKSamplerAdvancedノード#659f1ddae2dacc000089d5b1のようなテクニックがあります
ComfyUI-Custom-Scriptsを入れていると、右クリックからの
Add LoRA で簡単に追加できます