diffusers
Stability.ai社がHuggingFace社と共同で導入した新しい形式
🤗 Diffusersは、画像、オーディオ、さらには分子の3D構造を生成するための最先端の事前学習済み拡散モデルのための主要ライブラリです。シンプルな推論ソリューションを探しているか、自分の拡散モデルを訓練したいか、🤗 Diffusersは両方をサポートするモジュラーなツールボックスです。
私たちのライブラリは、パフォーマンスよりも使いやすさ、簡単さよりもシンプルさ、抽象化よりもカスタマイズ可能さに重点を置いて設計されています。
このライブラリは3つの主要なコンポーネントで構成されています：
ほんの数行のコードで推論ができる最先端のdiffusion pipelines
生成速度と品質の間のトレードオフをバランスさせるための交換可能なノイズスケジューラー。
ビルディングブロックとして使用でき、スケジューラーと組み合わせることで、独自のエンドツーエンドの拡散システムを作成するためのPretrained models
>In a nutshell, Diffusers is built to be a natural extension of PyTorch.
>Hugging FaceのDiffusersライブラリで使用されることを意図している
redditのゴタゴタでprivateになってる...
>ついに１時間前にDiffusersのmainブランチにControlNetがマージされたぞい！（https://github.com/huggingface/diffusers/pull/2407） これが何を意味するかというと、Blender用のSDプラグインのDream Textures（https://github.com/carson-katri/dream-textures/issues/565） やUE用SDプラグインのStableDiffusionTools（https://reddit.com/r/StableDiffusion/comments/1165ep9/controlnet_normal_maps_in_unreal_engine/） にもControlNetが来そうという事
ckpt との違い
safetensors との違い