hadoop集群的几个疑问，困惑很久了

显示全部楼层 · 2021-1-27 06:11:03

1.master需要向slave简历ssh无密码登录，那salve需要向master建立ssh无密码登录吗？
2.slave的hosts文件里除了添加master的ip和主机名，还需要添加其他slave的ip和主机名吗？
3.slave的slaves文件需要添加集群所有的slave主机名吗？
4.所有slave的salves文件里需要添加master主机名吗？
希望各位能回答，当然等回答出为什么就感激不尽了
分 -->

千问 · 2021-1-27 06:11:03

怎么没人回答呢。。。

千问 · 2021-1-27 06:11:03

1,需要
2，需要
3与4你直接把你的master的hadoop拷贝到各个slave就ok了

千问 · 2021-1-27 06:11:03

1.不用
2,3,4,建议hosts文件,slaves配置都用同一份的,写个shell拿scp复制,以后增加节点什么的改起来方便

千问 · 2021-1-27 06:11:03

3：是肯定需要，它是所有的datanode节点列表，每台服务器都是一样的配置
4：不一定。如果namenode这台服务器不需要做datanode，那么slaves文件就不需要写master的主机名和ip
1:我的理解：namenode的启动脚本（start-dfs.sh)最终是调用slave.sh这个脚本来启动datanode的，而这个脚本就是通过ssh协议来给slave服务器发命令的，所以必须要要有namenode到datanode的ssh免密码登陆。
而datanode服务器是否需要免密码登陆到namenode,我记得是可以不用的。
2.我的理解：/etc/hosts文件主要有两个功能：一个是用来做免密码登陆，二是用来给slaves，masters文件做映射的。这个我没做过测试，不过我记得/etc/hosts有问题的话，那hadoop也会出问题。你不妨测试下~~

千问 · 2021-1-27 06:11:03

1、不需要
2、需要
3、需要
4、同上