项目概述: 图像翻译是近年发展迅速的计算机视觉新颖技术,其一般是通过深度神经网络,将图像转移到另一个域,或编辑图像中部分特征。图像去雾、去雨、去噪,图像清晰化、彩色化,人脸属性编辑,风格迁移等重要视觉任务都是该技术的一部分应用。图像翻译模型的主要的优势在于:模型推理快速,任务应用广泛,视觉效果真实。我们提出的基于合成数据的快速收敛图像翻译模型在保持原本优势的同时,克服了其数据依赖高,模型训练慢的局限性。图像翻译框架一般是利用人工收集的具有分类信息的图像数据,通过梯度下降的方式,来训练随机初始化后的神经网络模型提取和生成图像特征,通过不断地迭代优化,最终达到翻译的目的。我们在摆脱人工数据依赖,以及加速模型训练等方面均取得了突出成果。数据上,我们利用低成本的合成数据代替高昂的人工数据,并在高清翻译任务中取得了大幅超越以往先进模型的效果;模型上,我们利用了在其他任务中具有先验信息的生成模型并进行了简单的结构改造和平滑的训练迁移,取得了比以往先进模型快10倍以上的训练速度,将10241024高分辨率图像翻译模型的训练时间缩短至1天内。在这之前,我们还在图像特征解耦、模型多样性和扩展性上做出了坚实探索,首次提出了利用分层风格解耦实现单模型对多种不同任务的统一解决,并实现了对于每个单属性特征的解耦提取、生成和编辑。这些成果已初步具备产业化的要求,并即将应用于国内头部图像处理公司的软件内。

(图像翻译系统)
应用范围: 我们的方案可以广泛应用于各种图像翻译任务,尤其是人脸相关的翻译任务,包括超分辨率、去噪、填充、彩色化、风格迁移(例如各种写实或虚拟的艺术风格的自动生成)以及属性编辑(例如生发、年龄篡改、表情编辑)等。
效益分析: 我们提出的基于合成数据的快速收敛图像翻译模型,因为其无人工数据依赖,快速训练的特点,是目前高清图像翻译领域最先进的模型之一。我们在该领域的其他解决方案对应的论文已经被录取在了计算机视觉顶尖会议论文CVPR中并进行了口头报告。随着计算机视觉,计算机图形学和视觉艺术等学科的交叉延伸和综合发展,我们的方案会在视觉特效产业中极大地帮助相应产品。
合作方式: 技术转让、联合推广。
所属领域: 计算机视觉。
项目概述: 图像翻译是近年发展迅速的计算机视觉新颖技术,其一般是通过深度神经网络,将图像转移到另一个域,或编辑图像中部分特征。图像去雾、去雨、去噪,图像清晰化、彩色化,人脸属性编辑,风格迁移等重要视觉任务都是该技术的一部分应用。图像翻译模型的主要的优势在于:模型推理快速,任务应用广泛,视觉效果真实。我们提出的基于合成数据的快速收敛图像翻译模型在保持原本优势的同时,克服了其数据依赖高,模型训练慢的局限性。图像翻译框架一般是利用人工收集的具有分类信息的图像数据,通过梯度下降的方式,来训练随机初始化后的神经网络模型提取和生成图像特征,通过不断地迭代优化,最终达到翻译的目的。我们在摆脱人工数据依赖,以及加速模型训练等方面均取得了突出成果。数据上,我们利用低成本的合成数据代替高昂的人工数据,并在高清翻译任务中取得了大幅超越以往先进模型的效果;模型上,我们利用了在其他任务中具有先验信息的生成模型并进行了简单的结构改造和平滑的训练迁移,取得了比以往先进模型快10倍以上的训练速度,将10241024高分辨率图像翻译模型的训练时间缩短至1天内。在这之前,我们还在图像特征解耦、模型多样性和扩展性上做出了坚实探索,首次提出了利用分层风格解耦实现单模型对多种不同任务的统一解决,并实现了对于每个单属性特征的解耦提取、生成和编辑。这些成果已初步具备产业化的要求,并即将应用于国内头部图像处理公司的软件内。

(图像翻译系统)
应用范围: 我们的方案可以广泛应用于各种图像翻译任务,尤其是人脸相关的翻译任务,包括超分辨率、去噪、填充、彩色化、风格迁移(例如各种写实或虚拟的艺术风格的自动生成)以及属性编辑(例如生发、年龄篡改、表情编辑)等。
效益分析: 我们提出的基于合成数据的快速收敛图像翻译模型,因为其无人工数据依赖,快速训练的特点,是目前高清图像翻译领域最先进的模型之一。我们在该领域的其他解决方案对应的论文已经被录取在了计算机视觉顶尖会议论文CVPR中并进行了口头报告。随着计算机视觉,计算机图形学和视觉艺术等学科的交叉延伸和综合发展,我们的方案会在视觉特效产业中极大地帮助相应产品。
合作方式: 技术转让、联合推广。
所属领域: 计算机视觉。