记一次无法远程故障排查20161211.2111

故障说明：

客户反馈无法远程连接；本地ping丢包率很大；

登陆查看：

丢包异常严重；

查看虚机，VMtools已过期，继而导致未正确获取IP地址；

登陆系统重新安装VMtools；

，，，，，，，，，，，

故障依旧

尝试在cloudstack平台重新解绑策略；

故障依旧

尝试重启系统后，本地ping虚机没有丢包，非常通畅，

两分钟后，继续丢包

继而：

从虚机ping网关，通畅；

从虚机ping vr（virtualroute）通畅；

从虚机ping外网，不通；

从vr ping外网，通畅；

查看系统进程：

占用资源较高的进程，apached MysqL；kill进程后不见效；

查看系统磁盘及缓存：

free -m / df -h

正常；

尝试重启vr后，故障依旧

疑似内网攻击

登陆系统查看

1.私网地址行为

tcpdump -i eth0 -n host <ip>

2.当前连接数；

cat /proc/net/ip_conntrack | awk '{print $4,$5}' | sort | uniq -cd | sort -rn -k1 | sed '3q'

连接数 132656！！！

异常，确认为内网攻击。

此时本地ping丢包仍严重且无法远程；

关机并重装系统；

OK