Hadoop 关闭推测执行的办法

显示全部楼层 · 2021-1-27 06:11:03

RT，最近在运行任务的时候遇到了这个问题。在集群上最好是关闭掉Hadoop的推测执行，要么对集群的性能影响是比较大的。
现在问题的关键是在mapred-site.xml中添加了
mapred.map.tasks.speculative.execution
false
Iftrue,thenmultipleinstancesofsomemaptasks
maybeexecutedinparallel.

mapred.reduce.tasks.speculative.execution
false
Iftrue,thenmultipleinstancesofsomereducetasks
maybeexecutedinparallel.
之后，重启集群，然后重新运行job的时候，还是会出现一个任务attempt两次的情况，也就是推测执行并没有关闭，不知道是什么原因。
然后hadoop的版本是：hadoop-0.20.2+737
分 -->

千问 · 2021-1-27 06:11:03

加final=true，不然客户端是可以修改并覆盖这个参数的。

Hadoop 关闭 推测执行 的办法

Hadoop 关闭推测执行的办法