昆仑万维正式发布SkyReels-A3模型:照片可根据语音对口型

AI资讯 16小时前 硕雀
2 0

昆仑万维于2025年8月11日正式发布了其最新技术成果——SkyReels-A3模型,该模型是一款基于DiTDiffusion Transformer)视频扩散模型的音频驱动数字人创作工具。SkyReels-A3的发布标志着数字内容创作领域的一大进步,它能够实现任意时长的全模态音频驱动数字人创作,为用户带来全新的体验。

SkyReels-A3的核心功能是让静态图像或视频“活”起来,通过上传人像图片和相应的语音,即可使图片中的人物按照语音内容开口说话或唱歌。此外,该模型还支持创作新的视频内容,用户只需提供人像图片、语音和文字提示,即可生成按照要求状态进行表演的视频。SkyReels-A3还能够为现有视频“改台词”,自动匹配新的口型、表情和表演,保持画面连贯。

在技术实现上,SkyReels-A3结合了DiT视频扩散模型、插帧模型、基于强化学习的动作优化以及可控运镜技术,能够实现任意时长的全模态音频驱动数字人创作。SkyReels-A3还引入了3D变分自编码器(3D-VAE)进行隐空间表征学习,以降低计算复杂度并确保关键视觉特征的完整性。此外,SkyReels-A3还支持基于ControlNet结构的镜头控制模块,预设了8种常见的运镜参数,用户可以根据需要选择相应运镜,并且每个运镜的强度可0–100%连续调节。

SkyReels-A3的发布不仅为广告、直播带货等商业应用提供了强有力的技术支持,也为音乐MV、电影片段或演讲视频等艺术创作提供了更多可能性。SkyReels-A3的推出,预示着声音与影像的深度融合将成为现实,为个性化、交互式内容的创作提供了前所未有的高效与便捷。

SkyReels-A3的发布标志着昆仑万维在AI视频生成领域的持续创新和布局,进一步巩固了其在AI技术领域的领先地位。

来源:www.aiug.cn
声明:文章均为AI生成,请谨慎辨别信息的真伪和可靠性!