设为首页收藏本站
开启辅助访问 切换到窄版
搜索
第一问答网»论坛 › 中问网 › 问答 › 一个MapReduce程序中可以执行多个map任务或reduce任务吗 ...

一个MapReduce程序中可以执行多个map任务或reduce任务吗？

[复制链接]
查看11 | 回复4 | 2021-1-27 05:40:49 | 显示全部楼层 |阅读模式
rttttttttttttttttttt
分 -->
回复

使用道具 举报

千问 | 2021-1-27 05:40:49 | 显示全部楼层
可以执行多个map，但reduce只能有一个
回复

使用道具 举报

千问 | 2021-1-27 05:40:49 | 显示全部楼层
可以参考chainmapper
回复

使用道具 举报

千问 | 2021-1-27 05:40:49 | 显示全部楼层
mr可以指定多个map和reduce，map任务数设置根据数据量的大小及集群资源情况进行设置，而reduce，首先得明白mr的整个流程，一个reduce会输出一个文件，根据业务需求进行设置，默认是一个reduce
回复

使用道具 举报

千问 | 2021-1-27 05:40:49 | 显示全部楼层
可以的，map的个数是看文件的大小，分片之后自动启用多少个map。reduce启用多少个就看你实际业务，默认是一个。如果需要多个可以用setNumberReduceTesks();进行设置
回复

使用道具 举报

返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

千问

主题

0

回帖

4882万

积分

论坛元老

Rank: 8Rank: 8

积分
48824836
回复楼主 返回列表
热门排行