大连理工大学的IIAU团队提出CharacterFactory

大连理工大学的IIAU团队提出CharacterFactory，无需参考图片，仅需2.5GB显存即可在10分钟内训练，且能在3秒内无限制地端到端采样出一致性角色。

CharacterFactory结合了动作、背景、风格等文本提示，实现一致性图像生成，无需微调即可插入视频或3D生成。该工作解决了文本到图像生成领域中生成模型随机特性导致的一致性问题，通过主体驱动的方法，利用GAN采样出在不同上下文中具有一致性的身份词向量，实现身份一致的角色图片生成。

实验结果表明，CharacterFactory在人脸相似性、可编辑性、可信人脸多样性和图像质量上表现优异，且与Stable Diffusion无缝集成，能够与ControlNet、视频、3D等模型结合，实现即插即用，为故事插图等应用提供了创新解决方案。该方法仅需10分钟训练，推理速度快，能够生成无限新角色，具有重要的应用价值。

Demo: https://huggingface.co/spaces/DecoderWQH666/CharacterFactory

Github: https://github.com/qinghew/CharacterFactory（代码已经开源）

Project Page: https://qinghew.github.io/CharacterFactory/

Paper: https://arxiv.org/abs/2404.15677