generated at
2/13/2025, 1:27:36 AM
Stable Diffusionは3次元空間を理解している
https://yc015.github.io/scene-representation-diffusion-model/
Project
https://arxiv.org/abs/2306.05720
Beyond Surface Statistics: Scene Representations in a Latent Diffusion Model
Stable Diffusion
は深度情報などは与えず、二次元画像だけで学習させたにも関わらず
3Dジオメトリ
に関する
線形表現
を持っていることが分かった
linear probing
を使った検証
Text-to-Image Generation with Interventionによる検証
通常の画像生成(上部)でlinear probingで前景マップ(db)を取得
>
(db)を使用して中間活性化を変更し、ピクセルの前景と背景のプロパティが新しい前景マップd’bに一致するように変更する
GAN
も同様の能力をもっていることはすでに示されているらしい
https://gwern.net/face#suzuki-et-al-2018