400-650-7353

精品课程

MapReduce编程原理 MapReduce编程原理是什么?

发布: 大数据培训 发布时间:2021-08-06 14:30:46

推荐答案
品牌型号:联想 YOGA 14c/系统版本:windows7

MapReduce是采用一种分而治之的思想设计出来的分布式计算框架,主要被应用于搜索领域,解决海量数据的计算问题。MapReduce由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce()两个函数,即可实现分布式计算。

1、Map阶段

map task的map()函数以key-value对作为输入,产生一系列kv对作为中间输出写入本地磁盘。

2、Reduce阶段

reduce()函数通过网络将map的输出(kv对)作为输入,产生另一系列kv对作为最终输出写入到hdfs,这时的key-value对是计算结果。

MapReduce的优点:

1)易于编程

MapReduce只需简单地实现一些接口,就可以完成一个分布式程序,这个分布式程序可以分布到大量廉价的PC机上运行。

2)良好的可扩展性

当计算机资源得不到满足的时候,可以通过简单的增加机器来扩展它的计算能力。

3)高容错性

比如一台机器挂了,可以把它上面的计算任务转移到另一个节点上运行,不至于整个任务运行失败,而且这个过程不需要人工干预,完全由hadoop内部完成。

4)高吞吐量

能对PB量级以上海量数据进行离线处理,适合离线处理而不适合实时处理。
 

其它答案
冰阔落2020-06-22 18:56:36

MapReduce执行步骤:

1、map任务处理

(a)读取输入文件内容,解析成key、value对。对输入文件的每一行,解析成key、value对。每一个键值对调用一次map函数。

(b)写自己的逻辑,对输入的key、value处理,转换成新的key、value输出。

2、reduce任务处理

(a)在reduce之前,有一个shuffle的过程对多个map任务的输出进行合并、排序。

(b)写reduce函数自己的逻辑,对输入的key、value处理,转换成新的key、value输出。

(c)把reduce的输出保存到文件中。

上一篇:dns服务器地址

下一篇:dns查询方式

中公旗下IT培训品牌

  • 中公教育品牌

     中公教育是一家中国领先的全品类职业教育机构,提供超过100个品类的综合职业就业培训服务。公司在全国超过1000个直营网点展开经营,深度覆盖300多个地级市,并正在快速向数千个县城和高校扩张。

  • 完善就业体系

    通过阶段性授课机制,和每阶段的定期考核,先让学员能够学会所学内容,才能找打合适工作。最后一个阶段为就业课程,从技术和面试两个方面加深就业能力,并且还有不定期的双选会供大家选择。

  • 全程面授+实战技术

    线下课程全程是师资面对面教学,不会存在上课只对着大屏幕上课的情况,有问题都可以在课上得到解答。并且优就业通过自主研发大纲和学习路线,并且定期更新课程所学技术,让大家所学技术不落伍。

中公优就业专业职业规划老师

为您详细答疑解惑,更能领取免费课程

相关问题

更多课程

专业课程老师将第一时间为您解答

立即答疑
修改
优就业:ujiuye

关注中公优就业官方微信

  • 关注微信回复关键词“大礼包”,领80G学习资料