通过多尺度目标检索算法,进行图像内容检测与识别,并采用多特征(CNN全局特征和视点不变局部特征)融合方法解决识别鲁棒性差的问题。CNN全局特征结合实时目标检测算法可以快速识别图像内容和粗定位,而视点不变局部特征可以准确定位目标在图像中的精细位置。通过该合作项目保证2D图像识别效果业界领先,同时确保运行速度,能在华为手机上实时运行。
项目成熟度:由2018年起,项目在华为手机上完成了局部、全局特征提取以及检索。
应用范围:构建一个运行在华为NPU手机上的实时图像内容检测与识别程序,同时能够估计目标与手机摄像头之间的相对姿态,从而为进一步增强现实提供外参。
生产条件与经济效益评估:本项目属于华为创新研究计划。
合作方式:校企合作。其中,华为企业为项目提供人工智能芯片技术支持,厦门大学实现PC端特征提取、目标检测和识别技术往NPU的移植。