[01354100]基于深度学习的唐卡图像修复研究

1.课题来源与背景 随着图像采集设备的快速发展,尤其是数码相机、扫描仪、移动设备等不断更新,图像获取的方式越来越便利。然而大多数采集的图像需要一定编辑才能更好的满足用户的需求,如去掉图像中的日期、水印等。利用图像编辑软件去除这些目标物,比较费时费力,因此采用图像修复技术自动去除这些目标物,有着巨大的市场需求。去除图像中的目标物是数字图像修复所做的工作,对图像修复的研究具有重要的应用价值。结合目前图像修复领域遇到较大的瓶颈,传统的修复方法无法实现图像的语义修复,而当前深度神经网络在图像处理、模式识别、语音、文字等应用方法取的了巨大的成绩,而采用深度神经网络修复图像,还处在初级阶段,已提出的图像修复方法,还没有很好的解决修复模糊、伪影等复杂问题。因此提出深度神经网络图像修复方法具有很大研究意义和应用价值,考虑图像应用的复杂性,本课题用唐卡图像作为研究对象,解决破损唐卡的修复。在这种图像修复的需求下,提出了“基于深度学习的唐卡图像修复研究”。 2.技术原理及性能指标 1)提出了“一种唐卡破损区域的分割方法”,其原理是求图像的局部均值、局部复杂度、局部清晰度,然后求局部颜色脱落度,得到初始分割结果,去除过分割区域,就可以得到最终的分割结果。分割的性能指标分割准确达到81%,过分割度为23%。 2)利用对抗网络模型,提出了图像修复模型,主要是对破损区域的周围信息进行约束,提高了图像的修复质量。修复指标采用主观评价,能够实现人脸的缺失修复。 3)另外在项目实施过程中,通过对多分辨率图像进行分层修复,取得了不错的效果,获得一项发明专利“一种基于分层引导策略的样本块图像修复方法”,提出的修复技术丰富了图像修复理论。其原理是根据图像分层后,从顶层逐层修复,然后把修复的结果引导下层修复,直到最终的图像修复完毕。修复指标采用主观评价,很大实验图像能够得到满意的修复结果。 4.技术的创造性与先进性 1)提出的“一种唐卡破损区域的分割方法”,首次提出采用多种方法结合的形式,实现图像修复,达到国内先进水平。 2)对抗网络模型修复人脸,实现了图像的缺失修复,根据块修复的原理,利用了图像的填补与周围信息进行相关性这一原理,提高了图像修复质量。处于国际上主流修复策略。 3)采用金字塔修复,分层引导修复,提高了修复质量。处于国际上主流修复策略。 5.技术的成熟程度,适用范围和安全性 目前实际应用还缺少成熟性,主要原因是图像复杂多变,只是解决了部分修复问题,还有很多复杂情况下的修复,无法取得满意的结果。适用于比较简单的图像修复和编辑工作。 6. 应用情况及存在的问题 目前在图像修复应用方法,还没有展开,初步采用修复软件,满足用户基本需求,后期与专业图像编辑软件合作,提供修复应用。基于深度学习的图像修复,还需要解决用户引导下的修复,加入用户的参与,其目的更好的完成图像修复。训练的网络比较复杂,还需要考虑小样本学习、以及无监督学习的训练、网络压缩等。