DaS（Diffusion as Shader） 是一种创新的视频生成控制模型，旨在通过3D感知的扩散过程实现对视频生成的多样化控制。该技术由中国香港科技大学等多所高校的研究团队提出，发表于2025年，并在多个领域展示了其强大的应用潜力。以下将从定义、核心原理、主要功能、应用场景、技术优势等方面详细介绍 DaS。
一、什么是 DaS（Diffusion as Shader）？
DaS 是一种基于3D感知的视频扩散模型，它通过引入3D跟踪视频作为控制输入，使视频生成过程具备3D感知能力，从而实现对视频内容的多样化控制。与传统的2D控制信号不同，DaS利用3D点云轨迹来引导视频生成，从而提升生成视频的时间一致性和空间一致性。
DaS 的核心思想是：视频本质上是动态3D内容的2D渲染，因此，为了实现更精细的控制，必须引入3D控制信号。通过将3D跟踪视频作为条件输入，DaS能够实现对视频生成的多任务控制，包括网格到视频生成、相机控制、运动迁移、对象操作等。
二、DaS 的核心原理
1. 3D跟踪视频作为控制信号
DaS 的关键创新在于使用3D跟踪视频作为控制输入。3D跟踪视频包含3D点的运动轨迹，这些点的颜色由其在第一帧中的坐标决定。通过这种方式，3D跟踪视频可以表示视频的3D运动状态。扩散模型则根据这些3D运动状态生成视频。
2. 扩散模型的结构
DaS 基于CogVideoX 模型，这是一个基于Transformer的视频扩散模型。它接受一个输入图像和一个3D跟踪视频作为条件，生成视频。在训练过程中，3D跟踪视频被编码为潜在特征，并通过可训练的去噪DiT（Denoising Diffusion Transformer）进行处理。
3. 微调过程
为了优化生成效果，DaS 支持模型微调。通过使用3D跟踪视频作为额外条件，模型可以更精确地控制生成视频的风格和内容。微调过程通常在H800 GPU上进行，仅需几天时间即可达到高质量的控制效果。
三、DaS 的主要功能
1. 网格到视频生成
DaS 可以将简单的3D网格动画转换为高质量的视频。例如，从一个静态的3D人物模型生成行走动画视频。
2. 相机控制
通过生成3D跟踪视频，DaS 可以控制相机的视角和运动轨迹。例如，在图书馆场景中，可以自由切换相机位置和视角。
3. 运动迁移
DaS 能够将一个物体的运动迁移到另一个物体上。例如，将熊的运动迁移到机器人上，生成逼真的动画。
4. 对象操作
DaS 支持对视频中对象的精确操作，如移动咖啡杯、调整物体位置等。生成的视频在多视角下保持一致性和真实感。
5. 时间一致性增强
由于3D跟踪视频提供了帧间的关联，DaS 生成的视频在时间上具有更高的一致性，避免了传统方法中常见的帧跳变或不连贯问题。
四、DaS 的应用场景
1. 短视频创作
DaS 可以用于短视频制作，用户只需提供简单的3D网格或动画，即可生成高质量的视频内容。
2. 广告制作
在广告制作中，DaS 可以帮助设计师快速生成动态广告视频，提升创意效率。
3. 影视特效
DaS 的多任务控制能力使其在影视特效制作中具有广泛应用。例如，可以控制镜头运动、对象位置、动画效果等。
4. 虚拟现实（VR）
DaS 生成的视频可以用于虚拟现实场景，提供更真实的沉浸式体验。
5. 教育与培训
DaS 生成的视频可以用于教育和培训，例如模拟手术操作、机械维修等场景。
五、DaS 的技术优势
1. 3D感知能力
DaS 通过3D跟踪视频实现3D感知，使视频生成过程更加自然和真实。
2. 多任务控制
DaS 支持多种视频控制任务，包括网格到视频生成、相机控制、运动迁移、对象操作等，满足多样化需求。
3. 高效性与低功耗
DaS 的训练和推理过程相对高效，适合在移动设备上运行。
4. 数据效率高
DaS 仅需少量数据（如几千个视频）和几天的微调时间，即可达到高质量的控制效果。
5. 开源与易用性
DaS 是开源项目，用户可以直接使用或进行二次开发。
六、DaS 的局限性
尽管 DaS 在视频生成控制方面表现出色，但仍存在一些局限性：
- 输入兼容性：如果输入图像与3D跟踪视频不兼容，生成的视频可能不自然。
- 无跟踪区域的控制：在3D跟踪点覆盖不到的区域，DaS 可能生成不一致的内容。
- 依赖3D跟踪视频：DaS 的性能高度依赖于高质量的3D跟踪视频，如果跟踪视频质量差，生成效果也会受到影响。
七、DaS 的未来发展方向
- 学习生成3D跟踪视频：未来的研究可以探索如何通过扩散模型自动生成高质量的3D跟踪视频，从而减少对人工标注的依赖。
- 多模态融合：结合文本、图像、音频等多种模态信息，进一步提升视频生成的控制能力。
- 实时生成：优化模型结构，使其能够在移动设备上实现实时视频生成。
八、总结
Diffusion as Shader（DaS） 是一种基于3D感知的视频生成控制模型，通过引入3D跟踪视频作为控制信号，实现了对视频生成的多样化控制。它在多个领域展现出强大的应用潜力，包括短视频创作、广告制作、影视特效、虚拟现实等。尽管存在一些局限性，但 DaS 的高效性、多任务控制能力和开源特性，使其成为未来视频生成技术的重要发展方向