最近调试支付接口的时候，遇到了一个奇怪的问题：我按照支付接口文档，对接支付通道，当消费业务正常后，调试查余和冲正的时候，支付通道的对接技术告诉我，系统没有我们支付系统的请求报文，数据库和日志中都没有，我查看我们系统已经将报文想消费报文那样发给同一台服务器。后来想了想是不是他们的服务器是集群服务，业务处理不在一台服务器上，或者防火墙包过滤掉了，后来经过确认排除这些原因。
静下心想一想，数据无非经历了计算机网络的5层：应用层，传输层，网络层，数据链路，物理层。我想到了抓包工具tcpdump。经过抓包发现，我们系统确实和支付系统经历的三次握手建立了链接，并发送了报文数据，可是对接技术一直找不到问题所在。我告诉他，问题应该还是在应用层，只是错误应该出现在没有开始记录到日志文件的地方。最后，确实是这样。
下边详细描述一下tcpdump：
概述：tcpdump是一个用于截取网络分组，并输出分组内容的抓包工具，类似于window下的wireshark。tcpdump凭借强大的功能和灵活的截取策略，使其成为类UNIX系统下用于网络分析和问题排查的首选工具。 tcpdump存在于基本的Linux系统中，由于它需要将网络界面设置为混杂模式，普通用户不能正常执行，但具备root权限的用户可以直接执行它来获取网络上的信息。使用whereis命令查找是否安装tcpdump,并找到其命令的位置。
原理：tcpdump工作原理是将网络中传送的数据包的“头”完全截获下来提供分析，类似防火墙的包过滤。它支持针对网络层、协议、主机、网络或端口的过滤，并提供and、or、not等逻辑语句来帮助你去掉无用的信息。注意：不带参数的tcpdump会收集网络中所有的信息包头，数据量巨大，必须过滤。
选项介绍：
-A 以ASCII格式打印出所有分组，并将链路层的头最小化。 -c 在收到指定的数量的分组后，tcpdump就会停止。 -C 在将一个原始分组写入文件之前，检查文件当前的大小是否超过了参数file_size 中指定的大小。如果超过了指定大小，则关闭当前文件，然后在打开一个新的文件。参数 file_size 的单位是兆字节（是1,000,000字节，而不是1,048,576字节）。 -d 将匹配信息包的代码以人们能够理解的汇编格式给出。 -dd 将匹配信息包的代码以c语言程序段的格式给出。 -ddd 将匹配信息包的代码以十进制的形式给出。 -D 打印出系统中所有可以用tcpdump截包的网络接口。 -e 在输出行打印出数据链路层的头部信息。 -E 用spi@ipaddr algo:secret解密那些以addr作为地址，并且包含了安全参数索引值spi的IPsec ESP分组。 -f 将外部的Internet地址以数字的形式打印出来。 -F 从指定的文件中读取表达式，忽略命令行中给出的表达式。 -i 指定监听的网络接口。 -l 使标准输出变为缓冲行形式，可以把数据导出到文件。 -L 列出网络接口的已知数据链路。 -m 从文件module中导入SMI MIB模块定义。该参数可以被使用多次，以导入多个MIB模块。 -M 如果tcp报文中存在TCP-MD5选项，则需要用secret作为共享的验证码用于验证TCP-MD5选选项摘要（详情可参考RFC 2385）。 -b 在数据-链路层上选择协议，包括ip、arp、rarp、ipx都是这一层的。 -n 不把网络地址转换成名字。 -nn 不进行端口名称的转换。 -N 不输出主机名中的域名部分。例如，‘nic.ddn.mil‘只输出’nic‘。 -t 在输出的每一行不打印时间戳。 -O 不运行分组分组匹配（packet-matching）代码优化程序。 -P 不将网络接口设置成混杂模式。 -q 快速输出。只输出较少的协议信息。 -r 从指定的文件中读取包(这些包一般通过-w选项产生)。 -S 将tcp的序列号以绝对值形式输出，而不是相对值。 -s 从每个分组中读取最开始的snaplen个字节，而不是默认的68个字节。 -T 将监听到的包直接解释为指定的类型的报文，常见的类型有rpc远程过程调用）和snmp（简单网络管理协议；）。 -t 不在每一行中输出时间戳。 -tt 在每一行中输出非格式化的时间戳。 -ttt 输出本行和前面一行之间的时间差。 -tttt 在每一行中输出由date处理的默认格式的时间戳。 -u 输出未解码的NFS句柄。 -v 输出一个稍微详细的信息，例如在ip包中可以包括ttl和服务类型的信息。 -vv 输出详细的报文信息。 -w 直接将分组写入文件中，而不是不分析并打印出来。
过滤表达式：tcpdump利用它作为过滤报文的条件，如果一个报文满足表 达式的条件，则这个报文将会被捕获。如果没有给出任何条件，则网络上所有的信息包 将会被截获。 分为一下几种类型：
①类型，主要包括host，net，port，例如 host 210.27.48.2， 指明 210.27.48.2是一台主机，net 202.0.0.0指明202.0.0.0是一个网络地址，port 23 指明端口号是23。如果没有指定类型，缺省的类型是host。
②确定传输方向，主要包括src，dst，dst or src，dst and src， 这些关键字指明了传输的方向。举例说明，src 210.27.48.2 ，指明ip包中源地址是 210.27.48.2 ， dst net 202.0.0.0 指明目的网络地址是202.0.0.0。如果没有指明 方向关键字，则缺省是src or dst关键字。 注意：实际使用中，因为很多服务器都是NAT的，所以注意过滤的ip地址。
③协议，主要包括fddi，ip，arp，rarp，tcp，udp等类型。Fddi指明是在FDDI (分布式光纤数据接口网络)上的特定的网络协议，实际上它是”ether”的别名，fddi和ether 具有类似的源地址和目的地址，所以可以将fddi协议包当作ether的包进行处理和分析。 其他的几个关键字就是指明了监听的包的协议内容。如果没有指定任何协议，则tcpdump 将会 监听所有协议的信息包。
除了这三种类型的关键字之外，其他重要的关键字如下：gateway， broadcast，less， greater， 还有三种逻辑运算，取非运算是 ‘not ' '! ‘， 与运算是’and’，’&&';或运算是’or’ ，’||’； 这些关键字可以组合起来构成强大的组合条件来满足人们的需要。
补充:@20170918
1 # Flags are some combination of S (SYN), F (FIN), P (PUSH), R (RST), U (URG), W (ECN CWR), E (ECN-Echo) or `.' (ACK), or `none' 2 3 # SYN表示建立连接; 4 # FIN表示关闭连接; 5 # ACK表示响应; 6 # PSH表示有 DATA数据传输; 7 # RST表示连接重置。 8 9 //三次握手 10 10:06:51.850445 IP 172.16.13.73.54400 > 172.16.13.21.80: Flags [S], seq 3728728114, win 65535, options [mss 1460,nop,wscale 5,nop,nop,TS val 1153519508 ecr 0,sackOK,eol], length 0 11 10:06:51.853275 IP 172.16.13.21.80 > 172.16.13.73.54400: Flags [S.], seq 1563530223, ack 3728728115, win 14480, options [mss 1460,sackOK,TS val 2232830629 ecr 1153519508,nop,wscale 7], length 0 12 10:06:51.853303 IP 172.16.13.73.54400 > 172.16.13.21.80: Flags [.], ack 1, win 4117, options [nop,nop,TS val 1153519510 ecr 2232830629], length 0 13 14 15 //通信 16 10:07:06.761370 IP 172.16.13.73.54400 > 172.16.13.21.80: Flags [P.], seq 1:5, ack 1, win 4117, options [nop,nop,TS val 1153534364 ecr 2232830629], length 4: HTTP 17 10:07:06.763993 IP 172.16.13.21.80 > 172.16.13.73.54400: Flags [.], ack 5, win 114, options [nop,nop,TS val 2232845541 ecr 1153534364], length 0 18 10:07:06.765269 IP 172.16.13.21.80 > 172.16.13.73.54400: Flags [P.], seq 1:312, ack 5, win 114, options [nop,nop,TS val 2232845541 ecr 1153534364], length 311: HTTP: HTTP/1.1 400 Bad Request 19 20 21 22 //四次挥手 23 10:07:06.765271 IP 172.16.13.21.80 > 172.16.13.73.54400: Flags [F.], seq 312, ack 5, win 114, options [nop,nop,TS val 2232845541 ecr 1153534364], length 0 24 10:07:06.765283 IP 172.16.13.73.54400 > 172.16.13.21.80: Flags [.], ack 312, win 4108, options [nop,nop,TS val 1153534367 ecr 2232845541], length 0 25 10:07:06.765291 IP 172.16.13.73.54400 > 172.16.13.21.80: Flags [.], ack 313, win 4108, options [nop,nop,TS val 1153534367 ecr 2232845541], length 0 26 10:07:06.765444 IP 172.16.13.73.54400 > 172.16.13.21.80: Flags [F.], seq 5, ack 313, win 4108, options [nop,nop,TS val 1153534367 ecr 2232845541], length 0 27 10:07:06.767870 IP 172.16.13.21.80 > 172.16.13.73.54400: Flags [.], ack 6, win 114, options [nop,nop,TS val 2232845544 ecr 1153534367], length 0