由 dawei 虚拟试验室技术的工作原理
多年来，“先试后买”策略一直是服装店行之有效的客户互动方法。现在，这种策略能够以虚拟试衣间的形式存在。根据调研机构《财富商业洞察》预测，到2027年，全球虚拟试衣间市场规模有望达到100亿美元。
为了更好地理解虚拟试衣间技术的工作原理和技术逻辑，将以MobiDev公司近日开发的一个关于增强现实 (AR) 鞋类试衣间开发的项目为例。虚拟试衣间的工作方式如下：
将输入视频分割成帧，并用深度学习模型进行处理，该模型估计一组特定试衣者腿部和双脚关键点的位置。
根据检测到的关键点来放置鞋类的3D模型。
渲染3D鞋类模型，以便每个帧显示逼真的纹理和光线。
MobiDev公司在使用ARKit(苹果设备的增强现实框架)时，发现它存在渲染限制。从发布的视频中可以看出，其跟踪精度太低，无法用于鞋类定位。这种限制的原因可能是在忽略跟踪精度的同时保持推理速度，这对于实时工作的应用程序可能至关重要。
另一个问题是ARKit 算法对身体部位的识别效果不佳。由于该算法旨在识别试穿者整个身体，如果处理后的图像仅包含身体的一部分，它不会检测任何关键点。这正是鞋类试衣间所面临的情况，而算法应该只处理试衣者的腿部。
其结论是，虚拟试衣间应用程序可能需要附加功能以及标准AR库。因此，建议让数据科学家参与开发自定义姿势估计模型，该模型应该只检测帧中一只脚或双脚的关键点并实时操作。
虚拟试验室解决方案
虚拟试衣间技术可以提供配饰、手表、眼镜、帽子、衣服等产品的试穿功能。以下了解这些解决方案中是如何在幕后工作的。
(1)手表
AR-Watches应用程序就是试戴虚拟手表的一个很好的例子，它允许用户试戴各种手表。该解决方案基于ARTag技术，利用印在表带上的特定标记，将表带佩戴在用户的手腕上以代替手表，以便开始虚拟试戴手表。计算机视觉算法仅处理帧中可见的那些标记，并识别摄影头相对于它们的位置。之后，需要正确渲染手表3D图像，虚拟摄影头应放置在同一位置。
总的来说，该技术有其局限性。但是，如果它与业务用例相匹配，那么创建要使用的正确3D图像并不困难。
(2)鞋类
Wanna Kicks和SneakerKit应用程序很好地展示了AR和深度学习技术如何应用于鞋类。
从技术上来说，这种解决方案利用了基于深度学习的足部姿态估计模型。该技术可用于全身3D姿态估计模型的特殊情况，该模型直接或通过将检测到的2D关键点的位置推断为3D坐标，来估计3D维度中所选关键点的位置。
3D足部姿势估计
一旦检测到试穿者足部的3D关键点的位置，就可以用于创建足部的参数化3D模型，并根据参数化模型的几何特性对鞋类3D模型进行定位和缩放。
在检测到的足部参数化模型上定位鞋类的3D模型
与全身/面部姿态估计模型相比，足部姿态估计仍然存在一定的挑战。主要问题是缺乏模型训练所需的3D注释数据。
但是，避免这一问题的最佳方法是使用合成数据，该数据假设渲染具有关键点的逼真3D足部模型并使用该数据训练模型;或者使用摄影测量法，它假设从多个2D视图重建3D场景，以减少需要标记的数量。
这种解决方案在技术方面要复杂得多。为了使其解决方案推出市场，需要收集足够大的足部关键点数据集(使用合成数据、摄影测量或两者的组合)，训练定制的姿态估计模型(即将结合足够高的准确性和推理速度)，测试其在各种条件下的稳健性并创建足部模型。从技术上来说，这是一个中等复杂度的项目。