什么是CoDance

CoDance 是由香港大学 (HKU)、蚂蚁集团 (Ant Group)、华中科技大学 (HUST)、清华大学及北卡罗来纳大学教堂山分校等联合研发的开源人工智能项目。该项目旨在解决现有单人动画生成技术在多主体、多空间场景下的局限性，提供一种能够处理复杂场景的动画生成框架。

项目核心介

CoDance 采用了创新的“解绑-重绑 (Unbind-Rebind)”范式。它的主要目标是让 AI 能够理解“谁在动”以及“该动的动”，从而生成更加真实且可控的多主体动画。

技术细节与创新点：

1. 解绑 (Unbind)：
   • 通过引入随机扰动（Pose Shift），打破传统模型对姿态和主体之间严格的空间绑定关系。
   • 这种方法迫使模型学习“位置无关”的运动表示，解决了人物位置变化导致的动画错误问题。
2. 重绑 (Rebind)：
   • 使用语义引导 (Semantic Guidance)（文本提示）和空间引导 (Spatial Guidance)（主体蒙版），精确控制运动应作用于哪些特定人物。
   • 这意味着即使有多个角色在画面中，模型也能明确知道“这个动作应该给左侧的角色”还是“右侧的角色”。
3. 适用场景：
   • 能够处理任意数量、任意类型的人物角色（比如主角、配角、背景人物）。
   • 支持参考图与动作姿态之间存在空间错位的情况（例如人物在画面左侧但姿态是右侧的动作）。
4. 开源计划：
   • 项目代码、预训练模型以及一个名为 CoDanceBench 的多主体动画评估基准数据集将会开源。

项目合作背景

该项目的研发跨越了多个顶尖科研机构和企业：

• 香港大学 (HKU)
• 蚂蚁集团 (Ant Group)
• 华中科技大学 (Huazhong University of Science and Technology)
• 清华大学 (Tsinghua University)
• 北卡罗来纳大学教堂山分校 (University of North Carolina at Chapel Hill)

这一跨机构合作体现了学术界与工业界在前沿AI技术（尤其是AI生成内容 AIGC）上的深度结合。

获取方式

你可以通过以下渠道获取更多关于 CoDance 项目的详细信息与资源：

• 学术论文：该项目的详细技术原理和实验结果已在预印本服务器 arXiv 上发布，论文题为 "CoDance: An Unbind-Rebind Paradigm for Robust Multi-Subject Animation"。
  • 链接: https://arxiv.org/abs/2601.11096
• 项目主页：项目的官方演示和资源页面（可能包括视频演示、下载链接等）。
  • 链接: https://lucaria-academy.github.io/CoDance/
• GitHub 仓库：项目的源代码、模型权重及 CoDanceBench 数据集将托管于 GitHub，供研究人员和开发者直接使用。

小结

CoDance 并非一款普通的舞蹈生成工具，而是一套面向“复杂世界”的多主体动画生成框架。它的出现标志着从“只会动一个人”向“懂得多人互动”的 AI 动画生成迈出了重要的一步，并且它是由中国顶尖高校与全球知名企业联合研发的开源项目。

注：以上信息均基于最新公开的学术资料和项目公告，若需获取最新的开源代码和数据集，请访问项目的 GitHub 页面或 arXiv 论文链接。