现在，各大厂商的旗舰手机相继配备了具备AR深度追踪的摄像头；所以，是时候计算机也开始改进他们的动作追踪技术了。近日，相关人员研发了一种新的机器视觉系统，能够“脱掉”人们的衣服，直接看穿他们的动作。虽然听起来还蛮吓人的，但是它的确有一定的用途。
在电影或AR游戏等场景里，由于人们通常穿着衣服，所以系统捕捉他们的动作时，会有一种模糊感；这是现有技术面临的最基本问题。这也就是为什么那些动作演员要紧身衣的缘故。
裙子、背包、夹克等身外物同样会对动作捕捉造成一定的影响。简单来说，除非你裸奔，否则电脑无法非常准确地捕捉到你的身体动作。
这一“透视”技术将会在盐湖城的CVPR活动上进行展示，其将深度数据与智能假设想结合，能够预测身体的构成和动作。通过类似于X射线的视觉系统，该技术能够透视衣着下的人类身体动作。即使实验对象正在进行跳舞之类的高速运动，这一技术也同样有效。
这一技术是建立在两种已有的解决方案上，即动态融合（DynamicFusion）和身体融合（BodyFusion）。前者通过单摄像机的深度数据，预测人体的定点动作，但其无法在高速运动或是有遮挡物的情况下运行；后者主要运用的是人体的骨骼数据，但在高速运动的条件下仍会失真。研究人员主要是结合了这两种解决方案，打造一种“双融合”技术（DoubleFusion），从深度数据中创建了一个人体骨骼，然后进行距离收缩，为其覆盖上一层皮肤。
如上图所示，其对应的分别是动态融合、身体融合，以及双融合。
结合后的技术方案会比任何的单一方案都要出色。
连帽衫、耳机、宽松的大衣…无论你穿什么，都无法逃出双融合技术的视线。
但是，这个技术仍有短板。当一个人穿了很多衣服的时候，系统没办法分辨这个人到底是肥胖，还是衣着过多；另外，如果一个人与单个物体接触时（比如桌子，或是游戏遥控器），系统也没办法识别，其可能会认为你的手脚特别长。团队计划会在未来解决这些问题。
这项技术论文的第一作者是来自清华大学的陶宇（音译Tao Yu），北航、谷歌、南加州大学也参与了开发研究。
作者在论文结语中写道：“我们相信，我们这一方案的鲁棒性和准确性将使许多应用成为可能，尤其是在AR/VR、游戏、娱乐等领域。通过双融合技术，用户将能够真正地第一次把自己彻底数字化。”
技术
