【摘要】 本发明公开一种基于管道通信的MapReduce编程框架运算方法，该方法在Map任务和Reduce任务之间实现管道通信，避免将中间结果写入分布式文件系统，并使Map任务和Reduce任务并行化执行；该方法还提供了容错策略，Reduce任务将收到的数据存储到临时缓冲区，Map任务失败时，忽略它从管道发来的所有数据；Map任务将其发出去的数据暂时保存，Reduce任务失败时，将这些数据重新发送给复制的Reduce任务。本发明成果能节省布式文件系统的维护代价，大幅度缩短作业的执行时间，且具备健壮的容错性。 【专利类型】发明申请 【申请人】南京财经大学 【申请人类型】学校 【申请人地址】210003 江苏省南京市铁路北街128号 【申请人地区】中国 【申请人城市】南京市 【申请人区县】鼓楼区 【申请号】CN201010556513.2 【申请日】2010-11-24 【申请年份】2010 【公开公告号】CN101996079A 【公开公告日】2011-03-30 【公开公告年份】2011 【发明人】伍之昂; 曹杰; 王有权 【主权项内容】一种基于管道通信的MapReduce编程框架运算方法，其特征在于该运算方法利用SOCKET编程在Map任务和Reduce任务之间实现管道通信，具体步骤如下：1)Map任务初始化时打开SOCKET与Reduce任务建立通信管道，Map任务开始执行后，边执行边将输出的中间结果通过管道发给Reduce任务；Reduce任务同步接收于Map任务的数据，将这些数据存储到内存缓冲区中，Reduce在收到的部分数据的情况下，一旦满足其执行条件，Reduce基于部分输入数据开始执行；此时，Map任务尚未完成，Map任务和Reduce任务并行化执行；2)当所有Map任务都执行完毕时，Reduce任务合并于同一Map任务的数据，并继续执行直至完毕；若Reduce任务产生的中间数据还需要被下一轮的Map任务所使用，则Reduce任务将中间数据通过管道传送给Map任务；若Reduce任务产生的数据是最后结果，则Reduce任务将结果写入DFS。 【当前权利人】南京财经大学 【当前专利权人地址】江苏省南京市铁路北街128号 【专利权人类型】公立 【统一社会信用代码】123200004660071678 【被引证次数】9 【被他引次数】9.0 【家族被引证次数】9

未经允许不得转载：http://www.zhongzhencnc.com/1785708626.html