1.查看TCP连接情况 

如果服务器资源加载很慢，同事请求出现502错误, 则表示服务器可能已经过载(连接超时,我们向服务器发送请求, 由于服务器当前太多，导致服务器方面无法给于正常的响应，产生此类报错)。

首先可以用TOP命令查看资源消耗情况。如果资源消耗正常，可以使用netstat命令检查应用服务器端口的并发连接数：

统计指定应用服务器端口连接数 命令：netstat -an |grep 'ESTABLISHED' |grep '8080' |wc -l

统计 TCP连接数 命令：netstat -ant |grep 'ESTABLISHED' |wc -l

统计各个状态的连接数: netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

CLOSED：无连接是活动的或正在进行 LISTEN：服务器在等待进入呼叫 SYN_RECV：一个连接请求已经到达，等待确认 SYN_SENT：应用已经开始，打开一个连接 ESTABLISHED：正常数据传输状态 FIN_WAIT1：应用说它已经完成 FIN_WAIT2：另一边已同意释放 ITMED_WAIT：等待所有分组死掉 CLOSE_WAIT：表示被动关闭，需要从程序本身出发。CLOSING：两边同时尝试关闭 TIME_WAIT：另一边已初始化一个释放 LAST_ACK：等待所有分组死掉

http://blog.csdn.net/chlinwei/article/details/67632928(netstat state详解)

 

连接状态含义分别如下：

TIME_WAIT：表示主动关闭，通过优化系统内核参数可容易解决。

CLOSE_WAIT：表示被动关闭，需要从程序本身出发。

ESTABLISHED：表示正在通信。

SYN_SENT状态：表示主动请求连接，当你要访问其它的计算机的服务时首先要发个同步信号给该端口，此时状态为SYN_SENT，如果连接成功了就变为ESTABLISHED，此时SYN_SENT状态非常短暂。但如果发现SYN_SENT非常多且在向不同的机器发出，那你的机器可能中了冲击波或震荡波之类的病毒了。这类病毒为了感染别的计算机，它就要扫描别的计算机，在扫描的过程中对每个要扫描的计算机都要发出了同步请求，这也是出现许多SYN_SENT的原因。

 

一、TIME_WAIT

       TIME_WAIT是主动关闭连接的一方保持的状态，对于服务器来说它本身就是“客户端”，在完成一个任务之后，它就会发起主动关闭连接，从而进入TIME_WAIT的状态，然后在保持这个状态2MSL（max segment lifetime）时间之后，彻底关闭回收资源。

明明就已经主动关闭连接了为啥还要保持资源一段时间？这个是TCP/IP的设计者规定的，主要出于以下两个方面的考虑：

        1.防止上一次连接中的包，迷路后重新出现，影响新连接（经过2MSL，上一次连接中所有的重复包都会消失）

        2.可靠的关闭TCP连接。在主动关闭方发送的最后一个 ack(fin) ，有可能丢失，这时被动方会重新发fin, 如果这时主动方处于 CLOSED 状态 ，就会响应 rst （重新建立新的连接）而不是 ack。所以主动方要处于 TIME_WAIT 状态，而不能是 CLOSED 。另外这么设计TIME_WAIT 会定时的回收资源，并不会占用很大资源的，除非短时间内接受大量请求或者受到攻击。

 

TIME_WAIT状态可以通过优化服务器参数得到解决，因为发生TIME_WAIT的情况是服务器自己可控的，要么就是对方连接的异常，要么就是自己没有迅速回收资源，总之不是由于自己程序错误导致的。 解决方案很简单，通过修改/etc/sysctl.conf文件，服务器能够快速回收和重用那些TIME_WAIT的资源

#对于一个新建连接，内核要发送多少个 SYN 连接请求才决定放弃,不应该大于255，默认值是5，对应于180秒左右时间   net.ipv4.tcp_syn_retries=2  #net.ipv4.tcp_synack_retries=2  #表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为300秒  net.ipv4.tcp_keepalive_time=1200  net.ipv4.tcp_orphan_retries=3  #表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间  net.ipv4.tcp_fin_timeout=30    #表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数。  net.ipv4.tcp_max_syn_backlog = 4096  #表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭  net.ipv4.tcp_syncookies = 1    #表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭  net.ipv4.tcp_tw_reuse = 1  #表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭  net.ipv4.tcp_tw_recycle = 1    ##减少超时前的探测次数   net.ipv4.tcp_keepalive_probes=5   ##优化网络设备接收队列   net.core.netdev_max_backlog=3000

生效，如下命令        

/sbin/sysctl -p

这里头主要注意到的是:

net.ipv4.tcp_tw_reusenet.ipv4.tcp_tw_recyclenet.ipv4.tcp_fin_timeoutnet.ipv4.tcp_keepalive_*net.ipv4.tcp_tw_reuse和net.ipv4.tcp_tw_recycle的开启都是为了回收处于TIME_WAIT状态的资源。net.ipv4.tcp_fin_timeout这个时间可以减少在异常情况下服务器从FIN-WAIT-2转到TIME_WAIT的时间。net.ipv4.tcp_keepalive_*一系列参数，是用来设置服务器检测连接存活的相关配置。

 

二、CLOSE_WAIT

  对方主动关闭连接或者网络异常导致连接中断，这时我方的状态会变成CLOSE_WAIT 此时我方要调用close()来使得连接正确关闭

       TCP协议规定，对于已经建立的连接，网络双方要进行四次握手才能成功断开连接，如果缺少了其中某个步骤，将会使连接处于假死状态，连接本身占用的资源不会被释放。网络服务器程序要同时管理大量连接，所以很有必要保证无用连接完全断开，否则大量僵死的连接会浪费许多服务器资源.

 

       什么情况下，连接处于CLOSE_WAIT状态呢？

       情形1： 在被动关闭连接情况下，在已经接收到FIN，但是还没有发送自己的FIN的时刻，连接处于CLOSE_WAIT状态。通常来讲，CLOSE_WAIT状态的持续时间应该很短，正如SYN_RCVD状态。但是在一些特殊情况下，就会出现连接长时间处于CLOSE_WAIT状态的情况。

       情形2： 出现大量close_wait的现象，主要原因是某种情况下对方关闭了socket链接，但是我方忙与读或者写，没有关闭连接。代码需要判断socket，一旦读到0，断开连接

     

附（TCP状态变化）：

1) Client -> FIN  -> Server   

2) Client <- ACK  <- Server   此时Client端处于FIN_WAIT_2状态；而Server 端处于CLOSE_WAIT状态。    3) Client <- FIN  <- Server   此时Server 发送FIN给Client，Server 就置为LAST_ACK状态。    4) Client -> ACK  -> Server   Client回应了ACK，那么Server 的套接字才会真正置为CLOSED状态。 

   

http://www.cnblogs.com/leezhxing/p/4392263.html

http://linyu19872008.iteye.com/blog/1998832   (Centos TCP参数优化)

 

2. 查看线程

ps命令可以查看进程状态，如执行如下命令：

ps -ef|grep java

结果如下图：

可以看到，只打印了一个进程的信息；27989是线程id，java是指执行的java命令。这是因为启动一个tomcat，内部所有的工作都在这一个进程里完成，包括主线程、垃圾回收线程、Acceptor线程、请求处理线程等等。

通过如下命令，可以看到该进程内有多少个线程；其中，nlwp含义是number of light-weight process。

ps -o nlwp 27989

 

可以看到，该进程内部有73个线程；但是73并没有排除处于idle状态的线程。要想获得真正在running的线程数量，可以通过以下语句完成：

ps -eLo pid,stat|grep 175679|grep running|wc -l

其中ps -eLo pid ,stat可以找出所有线程，并打印其所在的进程号和线程当前的状态；两个grep命令分别筛选进程号和线程状态；wc统计个数。其中，ps -eLo pid ,stat | grep 27989输出的结果如下：

图中只截图了部分结果；Sl表示大多数线程都处于空闲状态。

 

3. traceroute 命令去检查

如果服务器资源时而能加载时而不能加载，没有502错误，则可以去检查下网络状况，可以使用traceroute 命令去检查:

traceroute xxx.xxxxcom

traceroute详解: http://man.linuxde.net/traceroute