https://huggingface.co/Zhengyi/LLaMA-MeshZhengyi/LLaMA-Mesh

llmで3DCGモデルを作るプロダクト

残念ながら非商用ではあるが…

どゆこと？と思うかもしれないが、OBJ形式など多くの3DCGモデルデータは「中身はポリゴン座標の書かれたテキスト」なのでLLMで生成できる…(しよう)と言うやつ

要するに多くの(全てではないが)3DGCフォーマットはHTMLやSVG見たいな構造になってるのでLLMで理論上はかける、ということ。

特にCOLLADA形式は文字通りXMLなので上記のHTMLやSVGと根本的には同じと言うこと

objがここでは選ばれているが、トークン数の都合なるべくフォーマットがシンプルなものを選択したのだろう

Llama 3.1ベースで言語機能もある程度残している。

この方式のメリットは理屈上は様々なメタデータ、COLLADA形式などであればボーン情報などを持たせれる可能性があること、モデルを突っ込んで自然言語で修正したりモーションつけたり…が可能になる可能性がある。(このモデル自体はボーンやモーションデータを持たないobj形式の生成なのでそれらのメリットは当然無いが)

デメリットはコンテキストサイズに縛られるためハイポリが作れないこと(今の128kクラスだと3000ポリゴン扱えるか扱えないか位)、テクスチャも現時点では作れないことだろうか。

拡散モデルベースの3DCGデータと得手不得手がちょうど真逆(拡散モデルベースだとポリゴン数が増えすぎる、テクスチャは作れるが今のところテクスチャ以外のメタデータは持てない等)

BlenderをPythonで操作するよりは性能高いのかな？