generated at
NeRF


概要



あるポイントの空間位置(x,y,z) とカメラの方向 (\theta,\phi)を入力、その位置におけるボリュームの放射輝度と密度 (RGB\sigma)を出力としたFully-connected network
(事前にカメラの位置が推定された)画像から、各ピクセルにおいてレイを飛ばし、出力されたボリュームをレンダリングし、各輝度値とピクセルとを比較・ロスを計算し学習させる
画像からカメラの位置推定を行うのは、colmapを用いて特徴点抽出・推定を行っているらしい

関連手法
Mip-NeRF
RawNeRF
動的シーンに対応したnerf
MERF

関連技術・作品など
静的シーンにしか対応していないので、動き回る入館者がいるあたりがノイズになっている
ローカルでデータセット作成・学習・レンダリング・カメラアニメ・動画書き出しまで出来るツール
学習に用いる手法も選べるし、学習後にポリゴン出力も可
AEで使えるNeRF&Gaussian splattingプラグイン