[01303867]基于动态纹理合成的视频编码技术研究

纹理合成是计算机视觉合成领域中的一个热门研究领域。在纹理合成研究中,动态纹理序列被看作是在一定范围内空间上具有重复性、时间上具有相关性的具有丰富纹理信息的图像序列。这类图像序列组成的动态景观在现实世界中广泛存在,比如火焰、烟幕、流动的河流、随风摆动的树叶或者多个目标对象（如：一群鸟、一群蜜蜂、一群鱼、公路上的车辆或人群）的整体运动。它在视频制作、虚拟仿真、虚拟漫游、图像压缩中具有重要的应用价值。对于图像而言,纹理是指平稳随机过程的一个实现。此平稳随机过程在空间域上具有统计不变性。对于视频序列（时变纹理）而言,每帧图像显然不是由某个平稳随机过程得到的相互间独立的实现,因为视频序列还存在时间域的一致性。因此,Doretto 等人提出的动态纹理模型将视频序列看作一个线性动态系统样本的衍生统计模型,充分利用序列的固有动态特性,可有效合成无限长度的动态纹理序列。 传统动态纹理模型求解方法采用前面若干帧图像的平均值作为合成图像的基准值,使得合成的虚拟帧表现的是一段时间内图像的整体运动趋势。该方法合成的图像虽然主观效果较好,但是由于合成图像与当前待预测帧的相关性较低,降低了帧间预测效率。虽然有学者提出了改进的求解方法,但是为了保证编解码端的数据匹配而省略噪声项,使得动态纹理模型没有了噪声驱动项,理论上导致模型无法驱动。针对这一问题,本申请提出一种改进的动态纹理模型求解方法,通过引入伪随机函数作为模型驱动项,采用逐帧更新迭代的方法使得合成的虚拟帧具有更小的图像合成误差值。在此基础上,在编码端提出一种虚拟帧算法,改善了现有多参考帧预测技术对于非线性运动、背景光照变化时预测效率不高的影响;在解码端提出一种帧级错误掩盖方法,改善了整帧丢失情况下传统错误掩盖算法对于复杂运动场景恢复效果不佳的影响。 基于动态纹理建模的虚拟帧时域预测算法,利用了合成图像在某些情况下比真实参考图像具有更好的相似性的特点,将纹理建模方法用于编/解码端的参考帧模块。在纹理建模方法上对传统算法进行改进,利用伪随机数的实现方式保留了噪声驱动项,从而保证了模型的完整性。 针对现有视频编解码框架中多参考帧预测技术对于非线性运动、背景光照变化序列预测效率不佳的问题,形成了一种基于动态纹理合成的虚拟帧预测技术。在编码端通过动态纹理模型合成出一帧虚拟参考图像,引入参考图像列表,和传统H.264/AVC 标准相比提高了多参考帧预测的效率。 针对整帧丢失时传统帧级错误掩盖技术对具有非线性运动的出错图像恢复效果不佳的问题,在运动矢量外推方法基础上进一步考虑参考帧的影响,在解码端通过动态纹理模型合成出一帧虚拟参考图像,将其作为候选参考图像之一供错误掩盖模块使用,形成了改进的帧级错误掩盖算法,和传统基于运动矢量外推的错误掩盖算法相比提高了解码图像的恢复效果。 本项目的研究方法为：首先在宏观上设计总体编码框架,然后再对编解码框架中的基于动态纹理建模的虚拟帧预测、基于局部时空纹理模型的帧间预测、基于彩色 JND模型的残差滤波三个方面逐个研究突破。通过仿真试验在算法效率方面进行测试,根据结果对关键算法进行修正。最后将各个部分在 H.264/AVC 的参考软件平台 JM12.4 上进行实现,在实际编解码环节中检验理论研究成果的有效性。这种循序渐进的研究方法是可行和合理的。 以基于学习的超分辨率重建算法为基础,项目中引入了在线字典训练方法训练超完备字典,提出了一种精确的字典训练方法,可以得到最优的超完备字典,也能用于不确定训练集和大规模训练集,但是字典学习时间和图像重建时间过长,影响了算法的实时应用。后续研究中可以对图像块分类后再进行超分重建,并设计适合本算法的重建模型,进一步提高单幅图像的超分辨率重建效果。