腾讯InstantMesh实测——Feeoo使用测评报告(多图版)

InstantMesh号称能够在10秒内创建各种3D资产。但是实际使用情况是怎么样的呢?今天小编就为大家来测评下InstantMesh,顺便与清华团队的Unique3D对比看看。

前提介绍:InstantMesh一种用于从单个图像中即时生成3D网格的前馈框架,具有最先进的生成质量和显着的训练可扩展性。通过协同利用基于LRM架构的现成多视图扩散模型和稀疏视图重建模型的优点。InstantMesh为了提高训练效率和利用更多的几何监督,例如深度和法向,将可微的等值面提取模块集成到框架中,并直接对网格表示进行优化。

InstantMesh团队声称:在公共数据集上的实验结果表明,InstantMesh在质量和数量上均显著优于其他最新的图像到3D基线。(暂不评价,此点需要论证后才知道…)InstantMesh团队发布了InstantMesh的所有代码、权重和演示文稿,旨在为3D生成式人工智能社区做出重大贡献,并赋予研究人员和内容创作者权力。

首先第一步:在HuggingFace官网上搜索InstantMesh,进入InstantMesh的github项目页,在底部找到InstantMesh的demo link。(自己找不到的伙伴看这里↓↓↓↓↓)

InstantMesh官方demo: InstantMesh – a Hugging Face Space by TencentARC

进入页面后上传想要生成3D模型图片,无特殊需求默认已经设置好,直接点击一键生成键就好。小编测试了3款图片,第一款水果(草莓),第二款真人图片(半身照),第三款卡通人物(小丸子),跟上次测评清华团队的Unique3D一样(Unique3D测评网址: Unique3D实测——Feeoo使用测评报告(多图版) – 人工智能前沿站)。这样对比起来会更直观,可以看到腾讯InstantMesh和清华Unique3D的区别。

SHOW TIME:(白底为腾讯InstantMesh,黑底为清华Unique3D)

第一款水果(草莓),腾讯InstantMesh和清华Unique3D都表现的不错,在识别图片物种和模型精细度上都相差不多,草莓的蒂叶和种籽孔都相当的生动。认真对比下,腾讯InstantMesh的蒂叶更加合理贴近现实,而清华Unique3D的蒂叶就略显草率了,并且贴图有漏色的情况。但是清华Unique3D的草莓颜色明度和饱和度更鲜亮,腾讯InstantMesh的草莓翻到背面会发现怎么烂掉了,也就是AI在生成时更偏向了阴影还原光源,却没考虑到阴影在贴图上的融合度,清华Unique3D则是干脆就去掉了大部分阴影。

第二款真人图片(半身照),腾讯InstantMesh和清华Unique3D的模型都出现了不同程度的崩坏,五官细节都太过简陋堪比人机,然后贴图诡笑的诡笑,秃头的秃头,一言难尽各有各的短板。但是人物模型生成实属意料之内,毕竟人物模型属于高精度模型,按照现在开源的AI模型来说,还是太勉强了。只能期待后续算法迭代,有更好的人物AI模型。

第三款卡通人物(小丸子),在二次元图片的生成上,腾讯InstantMesh和清华Unique3D的模型也都出现了不同程度的崩坏。然而整体来说清华Unique3D在这方面略胜一筹,至少能理解图片人物和意图,虽然模型手背想象力不足导致残肢,还有底部看不见的贴图偷工减料,却能猜中80%的模型形状,已经挺不错的了。纵观腾讯InstantMesh的小丸子,纸片人胚胎发育失败,二维展三维只生了半个后脑勺,还有很大的进步空间啊。

总结下腾讯InstantMesh和清华Unique3D的优劣:腾讯InstantMesh在生成速度上更快,确实达到了10秒快速出模型的效果,而清华Unique3D基本上要等待1-5分钟,复杂模型要10分钟左右。腾讯InstantMesh生成的模型更接近真实,无论是模型还是贴图。清华Unique3D生成的模型更加理想和卡通化,在二维纸片人的生成上,对比腾讯InstantMesh有明显的优势。

腾讯InstantMesh:InstantMesh——腾讯开源图生3D技术 – 人工智能前沿站 (feeoo.fun)
清华Unique3D:Unique3D——清华团队开源的2D生3D模型 – 人工智能前沿站 (feeoo.fun)
清华Unique3D实测:Unique3D实测——Feeoo使用测评报告(多图版) – 人工智能前沿站



本站的信息资源大部分源自公共网络,由于信息来源众多故不特标注来源网址和原作者,如果有疑惑请及时联系站长,站长对建议做出相应调整,感谢。

类似文章

发表回复