联系人:王文博
所在地:广东深圳市
技术成果介绍:
本系统提出了一种全新的基于结构化Peer-to-Peer网络Chord的面向遥感和影像应用的分布式异构大数据处理架构DHPS,它具有良好的横向拓展能力,在实现数据共享的同时彻底解决了遥感和影像数据的迁移问题,并且实现遥感影像数据的计算共享。本设计给出了基于云平台的具体的实现方案,涉及到大数据计算框架Spark, HDFS数据存储,Chord网络,任务处理,系统构建,消息通信,负载均衡,Hadoop及PG的高可用等,并且在实践中实现了索引速度在微秒级可以查询到图像影像信息,在计算耗时保证在秒级完成,极大的增加了遥感和影像数据的计算速度。
主要技术指标及优势:
该平台采用了云计算大数据技术来存储和处理遥感和影像图片,有以下优点:
1. 存储和计算的可拓展性强,可以增加存储节点,并且存储成本较低,支持元数据的高可用机制;
2. 查询速度采用多索引查询计算,可在微秒级的时间内查询到需要的图片;
3. 计算采用流式和批处理,即可以满足离线计算也可以满足实时计算的需求,并且计算快,实时计算可以 保证秒级计算速度;
4. 采用消息队列的方式提供服务,可保证服务供多人同时使用,解决服务堵塞等问题,支持多租户共享;
5. 能保证在多个不同的异构集群中同时透明使用系统,运行方便,适合移植。
知识产权:
1. 专利名称:一种面向某遥感数据索引方法、系统及电子设备,申请号:CN2019102****1.8
2. PCT名称:一种面向某遥感数据索引方法、系统及电子设备,申请号:PCT/CN2019/1****6
3. 专利名称:某监测方法、系统以及电子设备,申请号:CN2019106****6.5
4. 专利名称:关系型数据库数据分析能力扩展方法、系统及某设备,申请号:CN2018109****9.6
5. 专利名称:一种基于某多源遥感大数据处理方法及装置,申请号:CN2019112****9.5
6. 专利名称:一种基于某异构集群数据处理方法、系统,申请号:CN2019112****4.2
7. 专利名称:某多集群遥感方法、系统及电子设备,申请号:CN2019112****2.8
8. 专利名称:基于遥感大数据的某终端及存储介质,申请号:CN2019110****7.4
主要应用领域:
电子与信息技术,遥感图像处理
市场前景及经济效益预测:
主要的市场前景在两个方面,一方面是在农业上的应用,一种是对生态环境方面的应用。在农业上,该系统可以对部分区域的植被覆盖,旱灾产生几率进行预测与预警,随后可以对该区域做出相应的反馈,可以减少区域的农产物损失,减少数以千计的经济损失。而在生态环境当中,该系统可以对一个区域的生态水平做一些评估,计算相关的水文指数,综合判断该区域的发展策略。也可以为一些企业的选址提供服务,计算该范围内会产生什么样的结果。