MLモデルを使用してテキストから3Dアセットを生成するにはいくつかのアプローチがありますが、フィールドはまだ初期段階にあります。
 * 1つのアプローチは、セグメンテーションまたはエッジマップで特定のオブジェクトクラスと条件でモデルをトレーニングすることです。このアプローチは、Dengなどの「PIX2PIX3D」モデルによって実装されています。このモデルは、instant-ngpが提供するツールなどのツールを使用してメッシュに変換できるnerfを生成します。
 *もう1つのアプローチは、PooleなどのDreamFusionで撮影された2D拡散モデルを使用してNERFを最適化することです。上記と同じアプローチを使用して、必要に応じてこのnerfを従来の3Dモデルに変換するために使用できます。
There are several approaches to generating 3d assets from text using ML models, however, the field is still in its infancy:
 * One approach is to train a model on a specific object class and condition on a segmentation or edge map. This approach is implemented by the "Pix2pix3D" model by Deng, et al. The model yields a NERF which can be converted to a mesh with tools such as those provided by Instant-NGP.
 * Another approach is to optimize a NERF using a 2d diffusion model as a prior as is taken in DreamFusion by Poole, et al. The same approach as above could be taken to convert this NERF into a traditional 3d model if desired.