正常来说,TCP连接的两端在使用完成要及时关闭连接,特别是主动连接的一方(客户端)使用完要主动关闭。
最近就遇到没有关闭连接造成重大问题的案例。
1. 一个服务端程序需要调用第三方服务,调用完后,没有关闭连接。
后果:服务端程序使用内存不断上涨,不断上涨,不断上涨,最后挂掉。
未解决前,只能通过监控,内存快没有时重启一下。
2.一个hadoop的HDFS客户端,也是调用完没有关闭连接。
后果:namenode的fin2_wait越来越多,fin2_wait越来越多,fin2_wait越来越多,并不会自动降下来,然后造成很多namenode的连接timeout。
尝试的解决:在namenode服务器各种内核参数调整未能起作用。根据TCP连接原理,我们也了解到fin2_wait是因为客户端没有关闭连接造成的,也定位到所在的客户端服务器,对调用namenode比较明显的服务进行代码review,未发现未关闭情况。
未解决前,重启hadoop,泪呀。
解决:一个忽略的服务中不明显的GET请求,http连接后没有关闭,因此使用完close即可。