博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
MapReduce 学习(一)
阅读量:6875 次
发布时间:2019-06-26

本文共 467 字,大约阅读时间需要 1 分钟。

   首先我们先来欣赏一下MapReduce的执行过程吧,如下图,自己看,不解释了。

Map 和 Reduce 的处理都是基于Key/Value来进行的,在Map中对文件的每一行进行处理,有两个输入参数,KeyInput,ValueInput,然后有两个输出,KeyOut,ValueOut,在Map执行之后有个Combiner,负责把多个Map传过来的Key相同的Value生成一个Iterable接口的集合,也可以自己指定一个Combiner,可以提高性能,要慎用,经过Combiner处理之后,就把处理过的内容传给Reduce,这是个一对一的过程,Reduce的输出也是KeyOut,ValueOut,最后是输出到文件,这里还有一个Partitiner,实现它可以把输出分别写到多个文件上,否则将会把所有reduce产生的文件输出到一个文件当中,好,我们来看一下下面这个图,大家就可以有一个更直观的感受了!

 

好啦,理论就讲到这里。

转载于:https://www.cnblogs.com/cenyuhai/p/3224218.html

你可能感兴趣的文章
如何成为架构师的建议
查看>>
代码生成器----xml自解析生成StringBuffer
查看>>
OVIRT重装恢复备份数据库练习
查看>>
centos java安装
查看>>
mysql 互为主从(主主)配置
查看>>
C#的初级知识小结6之类成员
查看>>
Oracle DBA面试题
查看>>
需要熟记的英语单词
查看>>
桌面客户端
查看>>
exchange online 用户许可证迁移常见问题
查看>>
ELK调优
查看>>
mysql性能优化2
查看>>
【Java】Java 实现导出excel表 POI
查看>>
如何在Pycharm中设置python版本
查看>>
【笔记】进制转换和经度纬度
查看>>
做一个纯粹的人
查看>>
socketserver端支持多线程完整示例代码:
查看>>
我的友情链接
查看>>
TP中的模型关联的多对多关系
查看>>
linux-用户和组管理详解
查看>>