划重点:
⭐️ 该项目致力于从文本指令自动生成卡通角色的纹理设计。
⭐️ 提出了 Make-It-Vivid 方法,通过 UV 空间中的文本生成高质量的纹理贴图。
⭐️ 实验表明该方法在纹理生成方面优于当前方法,可实现高效角色着色和信实的生成。
站长之家(ChinaZ.com)4月3日 消息:在创造生动的3D动画角色时,面临着这样的挑战,除了要满足特定领域的高要求比如角色需要有独特风格和丰富细节,还缺乏高质量的数据支撑。现有方法通常无法生成具有丰富细节,和过度自然的纹理,使得角色看起来不真实,不够生动。
因此,来自上海交通大学的海AI实验室和清华大学的研究团队,研究着眼于基于输入指令为卡通角色自动生成纹理设计。为了解决领域特定需求和高质量数据不足的挑战,他们提出了 "Make-It-Vivid" 方法,这是首次尝试从文本中在 UV 空间生成高质量纹理。
这个框架能够根据文本描述自动生成高质量的3D纹理。该方法通过使用视觉问答代理生成了详细的文本 - 纹理配对数据,为3D 角色准备了数据。然后,他们定制了一个预训练的文本到图像模型,以模板结构生成纹理地图,同时保留自然的2D 图像知识。此外,为了增强细粒度细节,他们提出了一种新颖的对抗学习方案,缩短了原始数据集与真实纹理领域之间的域差。
大量实验证明,他们的方法优于当前的纹理生成方法,实现了高效的角色纹理处理和根据提示生成忠实的结果。此外,他们展示了各种应用,如域外生成和纹理风格化。他们还提供了一个高效的生成系统,用于自动文本引导的纹理角色生成和动画。
这一方法接受一对数据作为输入,包括一个纹理地图、相应的文本描述 P 和网格模型 M。他们对预训练的文本到图像扩散模型的低秩适配器∆θ 进行微调,以生成高质量 UV 纹理。为了提高合成纹理的质量和感知保真度,他们引入了对抗训练来增强纹理细节。他们利用由 ControlNet 生成的渲染深度条件的合成可信图像作为指导,引导这种对抗性训练。
该项目的代码即将发布,项目入口:https://top.aibase.com/tool/make-it-vivid
(举报)