[00230675]一种在线管理Hadoop集群资源的方法和装置
交易价格：
面议
所属行业：
分析仪器
类型：
发明专利
技术成熟度：
正在研发
专利所属地：中国
专利号：CN201310646044.7
交易方式：
技术转让
技术转让
技术入股
联系人：
中国科学院深圳先进技术研究院
进入空间
所在地：广东深圳市
- 服务承诺
- 产权明晰
-
资料保密
对所交付的所有资料进行保密
- 如实描述
技术详细介绍
本发明公开了一种在线管理Hadoop集群资源的方法和装置，以根据作业在线运行的特点动态地调整所需虚拟资源，避免资源的浪费。所述方法包括对生产环境集群中用户所提交作业运行情况进行监控；获取在生产环境集群中使用k台运行代价最小的虚拟机中的任意一台作为虚拟资源时m个map任务的槽平均处理速度和r个reduce任务的槽平均处理速度；根据保存的运行代价最小的虚拟机的性能特征、MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间，重新确定在生产环境集群中运行用户所提交作业需要运行代价最小的虚拟机的数量knew；若knew和k不等，则将生产环境集群中运行代价最小的虚拟机调整至knew台。本发明使得用户所提交作业能够按时按需完成，提高了用户使用虚拟机的性价比。
本发明公开了一种在线管理Hadoop集群资源的方法和装置，以根据作业在线运行的特点动态地调整所需虚拟资源，避免资源的浪费。所述方法包括对生产环境集群中用户所提交作业运行情况进行监控；获取在生产环境集群中使用k台运行代价最小的虚拟机中的任意一台作为虚拟资源时m个map任务的槽平均处理速度和r个reduce任务的槽平均处理速度；根据保存的运行代价最小的虚拟机的性能特征、MapSlotSpeed、ReduceSlotSpeed和用户对所提交作业的期望完成时间，重新确定在生产环境集群中运行用户所提交作业需要运行代价最小的虚拟机的数量knew；若knew和k不等，则将生产环境集群中运行代价最小的虚拟机调整至knew台。本发明使得用户所提交作业能够按时按需完成，提高了用户使用虚拟机的性价比。
