2.5 I/O调优
- 下面总结一些磁盘I/O和网络I/O的常用优化技巧。
2.5.1 磁盘I/O优化
1. 性能检测
- 应用程序通常都需要访问磁盘来读取数据，而磁盘I/O通常都很耗时，要判断I/O是否是一个瓶颈，有一些参数指标可 以参考。
- 我们可以压力测试应用程序，看系统的I/O wait指标是否正常，例如，测试机器有4个CPU，那么理想的I/O wait参数不应该超过25%，如果超过25%，I/O可能成为应 用程序的性能瓶颈。在Linux操作系统下可以通过iostat命令查看。
- 通常我们在判断I/O性能时还会看到另外一个参数，就是IOPS，即要查看应用程序需要的最低的IOPS是多少，磁盘的 IOPS能不能达到要求。每个磁盘的IOPS通常在一个范围内，这和存储在磁盘上的数据块的大小和访问方式也有关，但主要是由磁盘的转速决定的，磁盘的转速越高，磁盘的IOPS也越高。
- 现在为了提升磁盘I/O的性能，通常采用一种叫作RAID的技术，就是将不同的磁盘组合起来以提高I/O性能，目前有多种RAID技术，每种RAID技术对I/O性能的提升会有不同，可以用一个RAID因子来代表，磁盘的读写吞吐量可以通过iostat命令来获取，于是可以计算出一个理论的IOPS值，计 算公式如下：
- （磁盘数 * 每块磁盘的IOPS）/（磁盘读的吞吐量 + RAID因子 * 磁盘写的吞吐量）= IOPS
2. 提升I/O性能
- 通常提升磁盘I/O性能的方法有：
- 增加缓存，减少磁盘访问次数。
- 优化磁盘的管理系统，设计最优的磁盘方式策略，以及磁盘的寻址策略，这是在底层操作系统层面考虑的。
- 设计合理的磁盘存储数据块，以及访问这些数据块的策略，这是在应用层面考虑的。例如，我们可以给存放的数据设计索引，通过寻址索引来加快和减少磁盘的访问量，还可以采用异步和非阻塞的方式加快磁盘的访问速度。
- 应用合理的RAID策略提升磁盘I/O，RAID策略及说明如表2-3所示。
2.5.2 TCP网络参数调优
-
要能够建立一个TCP连接，必须知道对方的IP和一个未被使用的端口号，由于32位操作系统的端口号通常由两个字节表示，也就是只有2^16=65535个，所以一台主机能够同时建立的连接数是有限的，当然操作系统还有一些端口0~1024是受保护的，如80端口、22端口，这些端口都不能被随意占用。
-
在Linux中可以通过查看/proc/sys/net/ipv4/ip_local_port_range文件来知道当前这个主机可以使用的端口范围，如图2-22所示。
-
图2-22表示可以使用的端口为61000-42768=18232。如果可以分配的端口号偏少，在遇到大量并发请求时就会成为瓶颈，由于端口有限导致大量请求等待建立连接，这样性能就会压不上去。另外如果发现有大量的TIME_WAIT的话，可以设置/proc/sys/net/ipv4/tcp_fin_timeout为更小的值来快速释放请求。我们通过另外一个主机ab -c 30 -n 1000000 10.232.101.208.8080/来压测这台机器，看看网络的连接情况，如图2-23所示。
-
可以看出TIME_WAIT的连接有26364个，我们设置sudo sh -c "echo 3 > /proc/sys/net/ipv4/tcp_fin_timeout"后再进行测试，如图2-24所示。
-
调整后TIME_WAIT的数量明显减少。除了增大端口范围之外，还可以让TCP连接复用等，这些调优参数如表2-4所示。
-
注意，以上设置都是临时性的，系统重新启动后就会丢失。另外iain，Linux还提供了一些工具可用于查看当前的TCP统计信息，如下所示。
- cat /proc/net/netstat: 查看TCP的统计信息
- cat /proc/net/snmp：查看当前系统的连接情况
- netstat -s：查看网络的统计信息
2.5.3 网络I/O优化
-
网络I/O优化通常有如下一些基本处理原则。
-
减少网络交互的次数。
-
减少网络传输数据量的大小。
-
尽量减少编码。
-
-
根据应用场景设计合适的交互方式。所谓的交互场景主要包括同步与异步、阻塞与非阻塞方式，下面进行详细介绍。
-
1. 同步与异步
-
2. 阻塞与非阻塞
-
3. 两种方式的组合
-
组合的方式有4钟，分别是同步阻塞、同步非阻塞、异步阻塞、异步非阻塞，如表2-5所示。
-
虽然异步和非阻塞能够提升I/O的性能，但是也会带来一些额外的性能成本，例如，会增加线程数量从而增加CPU的消耗，同时也会导致程序设计复杂度的上升。
-
下面举一些异步和阻塞的操作实例。
-
在Cassandra中要查询数据通常会向多个数据节点发送查询命令，但是要检查每个节点返回数据的完整性，就需要一个异步查询同步结果的应用场景，部分代码如下：
class AsyncResult implements IAsyncResult {
private byte[] result_;
private AtomicBoolean done = new AtomicBoolean(false);
private Lock lock_ = new ReentrentLock();
private Condition condition_;
private long startTime_;
public AsyncResult() {
condition_ = lock_.newCondition();//创建一个锁
startTime_ = System.currentTimeMillis();
}
//检查需要的数据是否已经返回，如果没有返回阻塞
public byte[] get() {
lock_.lock();
try {
if (!done_.get()) { condition_.await(); }
} catch (InterruptedException ex) {
throw new AssertionError(ex);
} finally { lock_.unlock(); }
return result_;
}
//检查需要的数据是否已经返回
public boolean isDone() { return done_.get();}
//检查在指定的时间内需要的数据是否已经返回，如果没有返回，抛出超时异常
public byte[] get (long timeout, TimeUnit tu) throws TimeoutException {
lock_.lock();
try {
boolean bVal = true;
try {
if ( !done_.get() ) {
long overall_timeout = timeout - (System.currentTimeMillis() - startTime_);
if (overall_timeout > 0) //设置等待超时的时间
bVal = condition_.await(overall_timeout, TimeUnit.MILLISECONDS);
else bVal = false;
}
} catch (InterruptedException ex) {
throw new AssertionError(ex);
}
if (!bVal && !done_.get()) { //抛出超时异常
throw new TimeoutException("Operation timed out.");
}
} finally { lock_.unlock(); }
return result_;
}
//该函数供另外一个线程设置要返回的数据，并唤醒在阻塞的线程
public void result(Message response) {
try {
lock_.lock();
if (!done_.get()) {
result_ = response.getMessageBody();//设置返回的数据
done_.set(true);
condition_.signal(); //唤醒阻塞的线程
}
} finally { lock_.unlock(); }
}
}