MultiPly——从单目视频中重建多个人物主体框架

MultiPly 是由苏黎世联邦理工学院开发的一个框架，可以从自然环境中的单目视频中重建多个3D人物。该方法使用分层神经表示来分离个人和背景，实现详细且时间一致的3D重建。它结合了实例分割、信心引导的优化和光度目标来优化人类的姿势和形状。MultiPly在处理遮挡和多样化的服装风格等挑战时表现出色。

给定一张图像和 SMPL估计，根据 SMPL主体的边界框和基于 NeRF++ 的背景点，沿着相机光线采样人体点。通过逆向变形将采样的人体点变形为标准空间，并评估特定于人的隐式网络以获得 SDF 和亮度值。然后应用逐层体绘制来学习图像中的隐式网络。通过使用进化的人类模型动态更新 SAM 的提示来建立实例分割的闭环精炼。 最后，制定一个基于置信度的优化算法，该算法只对不可靠的帧优化姿态参数，对可靠的帧联合优化姿态和隐含网络。

官方网址：MultiPly: Reconstruction of Multiple People from Monocular Video in the Wild (eth-ait.github.io)

---

本站的信息资源大部分源自公共网络，由于信息来源众多故不特标注来源网址和原作者，如果有疑惑请及时联系站长，站长对建议做出相应调整，感谢。