[急救]Linux下RAC其中一个节点开机后反复重启！ [已解决]

显示全部楼层 · 2008-1-2 17:35:53

开机后可以登陆进去，一会就自动reboot，循环往复！
10.2.0.1 redhat as3 ocfsRAC2 nodes
今天中午1号机出了点问题，srvctl stop/start instance后正常运行，但是2号机内存耗尽了，
等1号稳定后，想把2号机也重新启动，结果2号机就出现循环reboot
1号机日志中有可疑提示
Tue Sep 15 12:27:06 2009
ospid 23115: network interface with IP address 192.168.0.17 shows failure
requested interface 192.168.0.17 is not RUNNING. Check output from ifconfig command
Tue Sep 15 12:28:06 2009
ospid 23115: network interface with IP address 192.168.0.17 is operational
Tue Sep 15 12:29:06 2009
ospid 23115: network interface with IP address 192.168.0.17 shows failure
requested interface 192.168.0.17 is not RUNNING. Check output from ifconfig command

在线等待急救
[ 本帖最后由 lxz3000 于 2009-9-15 15:28 编辑 ]

千问 · 2008-1-2 17:35:53

补充:两个节点间private interface是直连的!

千问 · 2008-1-2 17:35:53

192.168.0.17是public ip 还是private ip，2号机目前运行情况如何？

千问 · 2008-1-2 17:35:53

node1ok
node2关机了
192.168.0.17是private ip

千问 · 2008-1-2 17:35:53

从你的出错提示看是机器的private ip interface的状态是没有运行，原来你把2号机关了，这可不行啊。你得让1号机器的网卡处于激活状态，随便找个交换机或一个网络设备把网线插上再看看1号机器是否还往复重新启动。

千问 · 2008-1-2 17:35:53

终于搞定了！
至于原因，不好下结论，提供下解题步骤：
开机后尽快root登陆，执行/etc/init.d/init.crs disable，由于本操作不影响本次开机，所以服务器仍然会reboot
reboot完成后，服务器就不再自动reboot了，赶快分析原因，看了alert_xxx.log发现没有问题，看了ocssd.log
发现报错不能创建文件，磁盘空间满，原来/opt满了，先释放一部分空间。因为1号机正常运行中，而他的日志中有
报告关于interconnect的错误信息，所以两个nodes互相ping下private ip，确认没有问题。最后就动手启动节点了:
/etc/init.d/init.crs enable(下次会起作用)
/etc/init.d/init.crs start
crs_start -all
srvctl start nodeapps -n dbnode2
srvctl start instance -d mydb -i db2
大概就这样吧，现在服务器正常了......

千问 · 2008-1-2 17:35:53

晕了原来搞半天是opt满了

千问 · 2008-1-2 17:35:53

磁盘空间的检查是基本啊

千问 · 2008-1-2 17:35:53

本来有空间的,可能是我重新启动node1时候，node2做了很多dump的动作，node1回复正常后，
我发现node2没有内存了，没有仔细检查就决定重新启动node2，这次也算吃一堑长一智！！！