NeRF
F_\thetaが Radiance Fieldsを表すNeural Network
rayを飛ばして、pixelの色を計算する
>Radiance Fields はこの直線上の各点について色と密度を返してくれるので、この直線に沿って Radiance Fields を積算してやれば一つの色を得ることができますhttps://blog.albert2005.co.jp/2020/05/08/nerf/
RGBAが返されるイメージ
その色が与えられた画像と一致するようにLossの最小化をする
NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
2020
>We present a method that achieves state-of-the-art results for synthesizing novel views of complex scenes by optimizing an underlying continuous volumetric scene function using a sparse set of input views.
DeepL：入力ビューの疎なセットを用いて、underlyingの連続的なボリュームメトリックシーン関数を最適化することにより、複雑なシーンの新しいビューを合成する手法を提案。SOTA
>Our algorithm represents a scene using a fully-connected (non-convolutional) deep network, whose input is a single continuous 5D coordinate (spatial location (x,y,z) and viewing direction (θ,ϕ)) and whose output is the volume density and view-dependent emitted radiance at that spatial location.
本アルゴリズムは、完全結合型（非畳み込み型）deep networkを用いてシーンを表現する
入力：単一の連続した5次元座標（空間位置（x，y，z） + 視野方向（θ，φ））
出力：空間位置における
ビュー依存の放射輝度
>We synthesize views by querying 5D coordinates along camera rays and use classic volume rendering techniques to project the output colors and densities into an image.
カメラ光線に沿った5次元座標を問い合わせることでビューを合成し、古典的なボリュームレンダリング技術を使って、出力下色と密度を画像に投影する
>Because volume rendering is naturally differentiable, the only input required to optimize our representation is a set of images with known camera poses.
ボリュームレンダリングは当然微分可能であるため、我々の表現を最適化するために必要な唯一の入力は、既知のカメラポーズを持つ画像セットである。
>We describe how to effectively optimize neural radiance fields to render photorealistic novel views of scenes with complicated geometry and appearance, and demonstrate results that outperform prior work on neural rendering and view synthesis.
複雑な形状と外観を持つシーンのフォトリアリスティックな新しいビューをレンダリングするために、どのようにニューラル放射場（NeRF）を効果的に最適化すればいいか説明する
ニューラルレンダリングとビュー合成について先行研究を上回る結果を実証する
>View synthesis results are best viewed as videos, so we urge readers to view our supplementary video for convincing comparisons.
ビュー合成の結果は動画で見るのが最適であるため、読者は説得力のある比較のために補足の動画を見ることを強く勧める。
解説
作例
>@lileaLab: 自由視点で見れるポートレート出来た。
>これからはポートレートも3Dで残す時代？
>せきぐちあいみさんとその空間をデジタルアーカイブ。
>撮影した約30枚の写真からNeRFで生成。
>艶や内部拡散反射ある肌も再現出来る分､実在感ある。
動画あり
>@nunta512: 動画からのNeRFデキター！
動画あり
from お絵かきAIが受容されるとき