🏠 | 🦊雑に学ぶComfyUI

👈 | 🦊切り抜き

👉 | 🦊FLUX.1 Tools

FluxはStability.aiのメンバーが独立して立ち上げたBlack Forest Labsが発表したStable Diffusion 3と似たようなアーキテクチャの画像生成モデルです

SDXLとの違いとしてUNetがtransformerに置き換えられていることと、プロンプトを理解する部分にT5というLLMが使われていることがありますが、ありがたいことにComfyUIIではあまり気にしなくても使えます

モデルのダウンロード

CLIPとT5

https://huggingface.co/comfyanonymous/flux_text_encoders/tree/maincomfyanonymous/flux_text_encoders

clip_l.safetensors

t5xxl_fp16.safetensors or t5xxl_fp8_e4m3fn.safetensors

FLUX

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/mainflux1-dev.safetensors

https://huggingface.co/black-forest-labs/FLUX.1-schnell/tree/mainflux1-schnell.safetensors

devのほうが高性能ですが、その分マシンパワーが必要です

Flux.1-dev/schnellはCFGを蒸留したため1.0に固定、つまりNegaitve Promptがありません

ただし、モデルがどの程度条件に従うかのパラメータは欲しいので、ComfyUIではFluxGuidanceというパラメータで似たようなことができます

Negative Promptに関しては、FluxはT5というLLMでプロンプトの理解力を上げているので、書かせたくないものは"not 〇〇"という風に書かせれば良いということになっています

が、ChatGPT相手ですら否定形のプロンプトはやめろとOpenAIが言っている(出典忘れた)ので、多分あまり意味ないです

Stable Diffusionと同じ様にweight/CLIP/vaeをcheckpointにまとめて、KSamplerを使ったシンプルなworkflowで推論できるようにしたのがこちら

モデルのダウンロード

https://huggingface.co/Comfy-Org/flux1-dev/tree/mainflux1-dev-fp8.safetensors

https://huggingface.co/Comfy-Org/flux1-schnell/tree/mainflux1-schnell-fp8.safetensors

LLMで使われていた技術ですが、これをFluxに応用してSDXL-Turboのように高速・計量で画像生成できるようにします

→ ComfyUI-GGUF

重すぎるのでGGUFと併用

対応しているのはInstantXから出ているモデルのみ

https://huggingface.co/InstantX/FLUX.1-dev-Controlnet-UnionInstantX/FLUX.1-dev-Controlnet-Union

XLabs AI版のモデルは非対応

inpainting/outpainting (ControlNet Inpaint)

ControlNetモデル

基本的には🦊outpainting#65a1174ae2dacc0000312207と同じ形

🟦ただし、ControlNetInpaintingAliMamaApplyノードという、このControlNetモデル専用のノードを使う

🟨BiRefNetで作ったマスクを少し拡張してControlNetとSet latent Noise Maskノードに接続

ControlNetが異常に強く効くので end_percent を0.1にしているけれど、これが正しい動作かは自信ない