https://github.com/city96/ComfyUI-GGUFcity96/ComfyUI-GGUF

FLUX(に限らず)のGGUFモデルをサポートするためのComfyUIカスタムノード

GGUFモデル

https://huggingface.co/city96/FLUX.1-dev-ggufcity96/FLUX.1-dev-gguf

https://huggingface.co/city96/FLUX.1-schnell-ggufcity96/FLUX.1-schnell-gguf

に保存

モデルをUnetLoaderGGUFノードで読み込む以外は基本的なtext2imageのworkflow

テキストエンコーダのT5もGGUFに置き換えることができる

T5のGGUFモデル

https://huggingface.co/city96/t5-v1_1-xxl-encoder-ggufcity96/t5-v1_1-xxl-encoder-gguf

worklfow

🟨DualCLIPLoader (GGUF)ノードを使用

q8で試したが、fp16と生成時間がほとんど変わらなかった

LLM以外でもggufにできるんだ…

UNetじゃなくてDiTだからいける

SD3でも多分いける