3DV-TON（Textured 3D-Guided Consistent Video Try-on via Diffusion Models）是一种基于扩散模型的视频虚拟试穿技术，旨在解决传统虚拟试穿中动态不一致和纹理失真的问题。这项技术由阿里巴巴达摩院于2024年5月24日发布，其核心创新在于通过显式的逐帧纹理3D引导，结合可动画的3D网格，实现了高保真、时间一致性的视频试穿效果。
技术原理与特点
- 纹理3D引导：3DV-TON引入了纹理3D引导的概念，即为视频中的目标服装生成一个“穿着目标服装的移动人体参考”，从而在动态过程中保持服装纹理的一致性。这种方法解决了传统方法中因外观过度关注而导致的运动伪影和纹理不连贯的问题。
- 扩散模型与3D建模结合：该技术采用扩散模型生成视频帧，并利用先进的几何与纹理建模技术，将视频帧中的服装纹理映射到3D网格上。通过这种方式，实现了服装纹理在时间维度上的连续性和一致性。
- 动态一致性：3DV-TON通过自适应的3D引导流程，选择关键帧进行初始图像试穿，然后重建并动画化纹理3D网格，使其与原始视频的姿态动态对齐。这一过程确保了服装纹理在不同帧之间的连贯性。
- 多场景适配性：该模型能够处理多种服装类型和身体姿态，适用于电子商务展示、虚拟试衣游戏、AR/VR输入等多种场景。
- 用户友好性：3DV-TON提供了API和可视化工具，用户可以通过简单的文本或图像提示快速生成虚拟试穿效果，同时支持多视角编辑和个性化定制。
核心架构
- 第一阶段：关键帧选择与初始图像试穿
系统首先从输入视频中选择关键帧，然后利用扩散模型生成初始图像试穿结果。 - 第二阶段：动画化纹理3D网格重建
利用初始图像试穿结果，系统重建并动画化纹理3D网格，使其与原始视频的姿态动态对齐。这一过程通过显式的纹理引导确保了服装纹理在时间维度上的连续性。 - 第三阶段：扩散模型生成视频帧
基于动画化纹理3D网格，系统生成与原始视频动态一致的视频帧，确保服装纹理与动作同步。 - 动态遮罩策略：为了进一步提升效果，系统引入了一种动态矩形遮罩策略，用于消除因人体动态变化导致的纹理错位问题。
应用场景
- 电子商务与时尚：通过虚拟试穿技术，消费者可以在购买前直观地看到服装在自己身上的效果，从而提高购物体验和满意度
- 虚拟现实与元宇宙：该技术为虚拟现实中的角色定制服装提供了新的可能性。
- 影视与动画制作：在影视制作中，可以利用该技术快速生成角色的服装效果。
- 个性化营销：品牌可以通过生成定制化的虚拟试穿内容进行精准营销。
技术优势
- 高保真度：相比现有方法，3DV-TON在视觉质量和时间一致性方面表现更优。
- 灵活性与扩展性：支持多种服装类型和复杂场景，同时提供API和可视化工具以满足不同用户需求。
- 开源支持：部分代码和预训练模型已开源，方便用户扩展和定制。
未来展望
综上，3DV-TON是一种革命性的视频虚拟试穿技术，通过结合先进的扩散模型、纹理引导和3D建模技术，解决了传统方法中的动态不一致和纹理失真问题，为电子商务、时尚、虚拟现实等领域带来了全新的用户体验
声明：文章均为AI生成，请谨慎辨别信息的真伪和可靠性！