AI时代的3D内容生产工具

3DAINPC等功能；MeshyAI3D图形速度快；Unity6预计带来高性WebGPU图形后端。风险因素：宏观经济波动风险、MR设备市场销量不及预期风险目录一、短期AI+3D产业催化汇总 4二、DUSt3R 4三、谷歌：DreamFusion 5四、英伟达：GET3D和Magic3D 6五、OpenAI：Shap-E 7六、阿里巴巴：ObjectDrawer 8七、商汤科技：格物、琼宇 9八、普利斯顿大学：InfinigenAI 10九、Adobe：DMV3D 十、EpicGames：MetaHuman 8十一、Unity：Muse、SentisMeshy（插件）和Unity6 13十二、风险因素 16图目录图1：英伟达GTC发布会上Omniverse适配VisionPro展示 4图2：Sora的效果展示 4图3：TripoSR的效果展示 5图4：DUSt3R的效果展示 5图5：DUSt3R的算法结构 6图6：DreamFusion的效果展示 7图7：DreamFusion算法架构 7图8：GET3D的效果展示 8图9：GET3D的算法结构 8图10：Magic3D的效果展示 9图11：Magic3D的算法结构 9图12：Shap-E的效果展示 10图13：ObjectDrawer的效果展示 图14：NeRF技术原理示意 图15：琼宇的效果展示 12图16：琼宇的技术储备 12图17：InfinigenAI的效果展示 13图18：InfinigenAI的技术特点 14图19：DMV3D的效果展示 14图20：DMV3D的算法结构 15图21：MetaHuman的效果展示 16图22：UnityMuse的效果展和特点 17图23：UnitySentis的效果展示和特点 18图24：Meshy的效果展示 18图25：Unity6官方预热 19一、短期AI+3D产业催化汇总CEONVIDIA3DOmniverseCloudVisionPro。在英伟达的GTCAICEONVIDIA3DOmniverseCloudVisionPro3DAppleVisionOmniverseCloudsAPIGraphicsDeliveryNetwork（GDN）图1：英伟达GTC发布会上Omniverse适配VisionPro展示资料来源：英伟达官网，3DSoraOpenAI2SoraSora3DSoraTransformer3D图2：Sora的效果展示资料来源：OpenAI官网，SiiyAIAI生成DRSiiyAI与ioAIiR，3DGPUMITStabilityAI和AI3D3D图3：TripoSR的效果展示资料来源：StabilityAI官网，二、DUSt3RDUSt3R（DenseandUnconstrainedStereo3DReconstruction）Naver3D图4：DUSt3R的效果展示资料来源：naverlabs官网，ShuzheWang等《DUSt3R:Geometric3DVisionMadeEasy》，DUSt3RAI3DDUSt3R2D3D3D3DDSR还采用了tPT和a同款的sorer网络架构。基于标准的TransformerDUSt3R3DDUSt3R图5：DUSt3R的算法结构资料来源：naverlabs官网，ShuzheWang等《DUSt3R:Geometric3DVisionMadeEasy》，DUSt3RDUSt3R3D3DDUSt3RAI3D三、谷歌：DreamFusion2021DreamFusionUCBerkeleyAIImagen（NeRF）3D图6：DreamFusion的效果展示资料来源：DreamFusion官网，DreamFusionSDSNeRF3DDreamFusion方法和NeRFSDSDreamFusion（DreamFusion3D图7：DreamFusion算法架构资料来源：DreamFusion官网，DreamFusion生成的3D模型几何表现优异，但在分辨率和纹理表现上尚具有进步空间。DreamFusion生成的度观看，并且能够在不同照明条件下重新点亮，甚至可以被合成到其他三维环境中。这一系列特点标志着DreamFusionDreamFusion3D3DMip-NeRF360的场景渲染模型的可扩展性不佳。四、英伟达：GET3D和Magic3D20229GET3D3D3D2DGET3D3D3D图8：GET3D的效果展示资料来源：英伟达官网，GET3D3D从SDF3DGET3D2DRGB2DRGBGET3DGPUGET3D3D3D3D图9：GET3D的算法结构202323DMagic3DMagic3D403D网3D为游3D图10：Magic3D的效果展示资料来源：英伟达官网，Magic3D3D3DMagic3D2D图像，并优化为NeRF图11：Magic3D的算法结构Magic3D对比谷歌的DreamFusion，Magic3D速度提升了两倍。除了速度优势外，Magic3D还能根据提示词编辑已创建的3D模型，用户可以通过修改基础提示词和低分辨率的3D模型来改变生成的模型。五、OpenAI：Shap-E202356OpenAI3DShap-EGithub3D（texturedmeshes）（NeRF）3D3DShap-EShap-E功能图12：Shap-E的效果展示资料来源：HeewooJun,AlexNicho《Shap-E:GeneratingConditional3DImplicitFunctions》，Shap-E3D3D（Shap-E3DShap-E3D3DShap-E3D模型，支持在CPUGPU上运行，并且易于通过JupyterNotebook3D3DShap-E3DShap-E六、阿里巴巴：ObjectDrawer2021ObjectDrawerAPPObjectDrawer3D3D（NeRF10000倍（20MB3D图13：ObjectDrawer的效果展示资料来源：阿里云，ObjectDrawerNeRFNeRFObjectDrawerObjectDrawer3D3D粗模亦可导入CAD图14：NeRF技术原理示意资料来源：阿里云，ObjectDrawer3DObjectDrawer七、商汤科技：格物、琼宇20237720233DSenseSpace（NeRF），3D图15：琼宇的效果展示资料来源：商汤科技，3D3D3D3D图16：琼宇的技术储备资料来源：商汤科技，3D3DSenseNovaAI3DAI八、普利斯顿大学：InfinigenAIInfinigenAICVPRBlenderInfinigenAI图17：InfinigenAI的效果展示资料来源：Infinigen官网，AIInfinigenInfinigenInfinigenInfinigen3D/Infinigen3DInfinigenAI3DInfinigenAIInfinigen图18：InfinigenAI的技术特点资料来源：Infinigen官网，九、Adobe：DMV3DAdobe研究院与澳大利亚国立大学和斯坦福大学的研究人员合作，共同开发了DMV3D（DiffusionModelfortransformer3DA100GPU30图像。这DMV3D3DVRAR图19：DMV3D的效果展示资料来源：DMV3D、YinghaoXu等《DMV3D:DenoisingMulti-ViewDiffusionusing3DLargeReconstructionModel》，DMV3D的技术核心在于它是一个单阶段的扩散模型，将3DNeRF重建和渲染集成到其降噪器中，以端到端的方式进行训练，无需直接3D监督。这种方法避免了单独训练用于潜在空间扩散的3DNeRF编码器和繁琐的对DMV3D3D图3DNeRF3D图20：DMV3D的算法结构资料来源：DMV3D、YinghaoXu等《DMV3D:DenoisingMulti-ViewDiffusionusing3DLargeReconstructionModel》，尽管Adobe-DMV3D在高效率生成高保真3D图像方面表现出色，为3D视觉和图形领域带来了新的视角和可能性，它也面临一些挑战，特别是在数据集规模小、维数高、非结构化等条件下。截至目前，DMV3D的实际应用潜力和性能优化仍然是研究和开发的关键方向。十、EpicGames：MetaHumanEpicGamesMetaHumanAI3D3D3DMetaHumanCreator3D3DUnrealEngine图21：MetaHuman的效果展示资料来源：MetaHuman官网，MetaHumanCreator是一个基于云的MetaHumanIdentityMetaHumanDNA5LOD（LevelofDetail）MetaHumanCreator3D3DGames十一、Unity：Muse、Sentis、Meshy（插件）和Unity6Unity3DAI3D了积极的探索和创新。它推出了多款与AI3D。这些工具包括UnityMuse、UnitySentis、Meshy以及即将到来的Unity6版本，展现了UnityAI技3DUnityMuseUnityAI（NLP）生成3D2D和3DMuse3D图22：UnityMuse的效果展示和特点资料来源：Unity官网，UnitySentis是UnityONNXAI模型接入UnityRuntime，从而AINPCSentis为游戏AI图23：UnitySentis的效果展示和特点资料来源：Unity官网，Meshy是可以在Unity中使用的AI插件，它提供了多种AI功能，如AITexturing（Beta）、Textto3D（Beta）和Imageto3D（Alpha）2D3DMeshyPBRUnityUnity些AIMeshy3D图24：Meshy的效果展示资料来源：Meshy官网，Unit