[01391032]三维自由视点电视关键技术研发及在世博会中国馆中的应用

三维自由视点电视技术是本世纪初迅速发展起来的新的视频技术,其特点是立体感和交互性。国际标准化MPEG组织2001年开始对三维电视（Three dimensional TV, 3DTV）进行标准化工作,极大地推进了三维视频和立体显示技术的发展,大力发展3D视频技术已成为国际共识。 本成果是在科技部支撑计划-上海世博专项、国家自然科学基金、上海市科委攻关项目和上海市曙光计划等的资助下获得的,具体课题来源如下： 1、国家科技支撑计划-上海世博专项2项：上海世博会中国馆3D自由视点电视应用系统（2010BAK69B31）,上海世博会开幕式3D自由视点电视应用系统（2010BAK69B32）; 2、国家自然科学基金项目4项：自由视点多视视频编码及3D立体显示基础理论与关键技术（60832003,重点）,3DAV中的多视点视频编码及解码端视点绘制研究（60672052）,多视点/三维视觉的分析与合成研究（60202015）,降低多视点编码复杂度的优化模型与方法研究（60902085）; 3、上海市科委科技攻关项目：3D立体视频节目制作与显示系统（09511503700）; 4、上海市曙光计划：基于光线空间的自由视点的表示与重现（06SG43）。 3DTV从获取到显示的处理链包括3D视频获取、编码传输、解码合成以及立体显示等关键技术模块。国内外研究大多注重于单个模块,缺乏成熟的系统解决方案,尤其匮乏以3D视频内容生成与制作为核心的成功应用案例,不利于3DTV向实用化发展。本课题综合研究3DTV各模块关键技术,着力于从整体上提高性能,取得了一批具有国际影响力的富有创造性的理论成果;在此基础上着力开发以3D视频内容生成与制作为核心的3DTV应用系统,研制了多种规格、包括103英寸及85英寸超大屏幕在内的自由立体显示应用系统,在上海世博会中国馆、开幕式彩排及上海国际工业博览会上成功应用。 关键技术创新点有： （1）自主设计、构建了8相机的3DTV实时采集系统,并提出了实用的多相机标定和多视点图像校正方法,图像失真小、视差控制准、稳定性好,有利于3DTV实时处理。 （2）首创混合分辨率的立体视频编码方法并构建系统,在国内率先突破了与MPEG可兼容的立体视频编码传输的瓶颈,受到国内外关注。 （3）在多视点视频编码高效编码方面,在预测结构、多视频编码、可分级编码和码率控制等方面取得突破性进展,为今后面向应用建立了基础。 （4）针对不同立体显示的要求,提出一批解码端高效的新视点绘制方法,可获得质量优良的新视点图像。 （5）针对汇聚式相机阵列的多视点采集/立体显示系统,推演出视点绘制质量与多视点编码端的相机阵列设置之间的关系模型,对采集与重现进行优化。 （6）在3DTV实验平台和立体显示研究上,首次推出对采集的摄像机数、立体视角、立体显示的分辨率三者关系的优化,用于指导3DTV采集和显示系统进行参数优选。根据双目视差融合原理,提出非对称视差立体图像优化重建显示方法,使得可通过正负视差的调节来调整立体图像深度,降低重影,以适应人眼观看特性。 （7）将上述部分成果结合实验平台开发“自由视点多视频节目制作与自由立体显示系统”,在上海世博会中国馆应用和展示,并连续两年在上海国际工业博览会上展出。 在世博会应用系统中： ①通过高效的2D-3D转换技术、多通道3D动画技术、独特的视差调控技术、以及参数化播放控制技术,显著提高了3D视频内容制作的质量。 ②开发的103英寸和85英寸自由视点电视应用系统是当时国内外尺寸最大的和首台制备成功的9视点光栅式、最佳观看距离为3-8米的、立体感和景深可调控、疲劳感和不舒适感可调节、屏前凸出和屏后纵深可分别独立调节、不出现发散视差或负视差较大所造成的观看不舒适感的裸眼自由视点电视应用系统。 ③首次开发将3D自由视点电视系统与布展环境融为一体的虚拟现实技术,创建了将3D自由视点电视技术与布展环境融为一体的应用新形式。并首次将3D自由视点电视系统与声控、触控、光控、电控等交互触发系统结合,实现交互式3D自由视点电视系统。 ④首次将拼屏技术与裸眼多视点立体显示结合,实现N×M矩阵拼屏式的大尺寸超高清裸眼立体显示阵列（单台分辨率1920×1080p）,并能实现N×M系统多屏同步播放。 ⑤首次实现了3D自由视点电视无人值机式应用系统,能够定时启动、自动播放与关闭立体软硬件系统。 本成果的应用系统在世博会中国馆经历连续1年多的高密度、高强度的展示应用,充分证明了本成果的3D立体电视技术及其应用系统性能稳定、可靠、安全,可为各种大型展览展示会提供商业服务而创造经济效益。本项目的3D视频内容制作技术可在3D影视制作、3D游戏制作、3D广告,3D电子阅报栏等领域有巨大的应用市场。