hadoop计算节点数与效率问题

显示全部楼层 · 2021-1-27 05:30:06

假如我某个算法，在单机上需要花10分钟
我想在hadoop花1分钟运行这个算法，那么这个hadoop集群的计算节点数应该不止10个吧
请问那篇文章或那本书提到了这个问题，我记得看到过，但是找不到了
分 -->

千问 · 2021-1-27 05:30:06

就算分解的好也要超过10个，
一般达到计算能力和的80%已经是非常高的水平了，按80%就至少需要12.5台

千问 · 2021-1-27 05:30:06

我用spark计算，单节点跑72秒的脚本，在5个节点的情况下还是72秒！我弄错了什么地方了吗？