[apue] 如何处理 tcp 紧急数据（OOB）？

在上大学的时候，我们可能就听说了OOB（Out Of Band 带外数据，又称紧急数据）这个概念。

当时老师给的解释就是在当前处理的数据流之外的数据，用于紧急的情况。然后就没有然后了……

毕业这么多年了，回想一下，还真是没有接触过OOB的场景，更没有实地发送、接收过OOB。

那么到底该怎样处理OOB呢？OOB在所谓的紧急情况下是否有用呢？下面一一道来。

首先产生OOB是非常简单的，只需要在寻常send的最后一个参数，加入MSG_OOB标志位：

ret = send (sockfd, ptr, n, MSG_OOB);

如果考虑一个完整的测试场景，需要有惯常数据，中间夹带OOB数据，这样才能比较好的测试接收端是否能正确的区分他们，

所以客户端可以写成这样：

    strcpy(buf, "abcdefghijklmn"); 
    char const* ptr = buf; 
    if ((ret = send (sockfd, ptr, 2, 0)) < 0)
        err_sys ("send normal head failed"); 
    else 
        printf ("send normal head %d
", ret); 

    ptr += 2; 
    n = 1; 
    if ((ret = send (sockfd, ptr, n, MSG_OOB)) < 0)
        err_sys ("send oob failed"); 
    else 
        printf ("send oob %d
", ret); 

    ptr += n; 
    if ((ret = send (sockfd, ptr, 2, 0)) < 0)
        err_sys ("send normal tail failed"); 
    else 
        printf ("send normal tail %d
", ret); 

算法比较简单，先发送2字节惯常数据，接着1字节OOB，最后2字节惯常数据结尾。

需要注意的是，目前只有TCP支持OOB，UDP没所谓顺序，更没所谓带内带外之分，所以也没有OOB；

另外TCP目前大多数实现只支持1字节OOB，大于1字节的OOB，只有最后一字节会被当为OOB处理，之前的作为普通数据。

然后我们来说一下接收OOB的三种方法：

1. 使用SIGURG信号专门处理OOB

这种方法是将OOB与惯常数据分开处理，具体步骤如下：

a) 进程起始时，建立SIGURG信号处理器

    struct sigaction sa; 
    sa.sa_handler = on_urg; 
    sa.sa_flags |= SA_RESTART; 
    sigemptyset (&sa.sa_mask); 
    sigaction (SIGURG, &sa, NULL); 

b) 建立新连接时，设置连接句柄的信号处理进程（为当前进程）

fcntl (clfd, F_SETOWN, getpid ()); 

c) 在信号处理器中使用MSG_OOB接收带外数据

int g_fd = 0; 
void on_urg (int signo)
{
    int ret = 0; 
    char buf[BUFLEN] = { 0 }; 
    ret = recv (g_fd, buf, sizeof (buf), MSG_OOB); 
    if (ret > 0)
        buf[ret] = 0; 
    else 
        strcpy (buf, "n/a"); 

    printf ("got urgent data on signal %d, len %d, %s
", signo, ret, buf); 

}

d) 惯常数据，可以在主处理流程中使用不带MSG_OOB的recv，像以前那样处理

        ret = recv (clfd, buf, sizeof(buf), 0); 
        if (ret > 0)
            buf[ret] = 0; 
        else 
            strcpy (buf, "n/a"); 

        printf ("recv %d: %s
", ret, buf); 

由于惯常数据的接收，会被OOB打断，因此这里可能需要一个循环，不断接收惯常数据。

下面是方法1的接收输出：

hostname length: 64
get hostname: localhost.localdomain
setup SIGURG for oob data
setown to 31793
got urgent data on signal 23, len 1, c
recv 2: ab
has oob!
recv -1: n/a
recv 2: de
write back 70
recv 2: ab
recv 2: ab
got urgent data on signal 23, len 1, c
has oob!
recv -1: n/a
recv 2: de
write back 70
recv 2: ab
no oob!
got urgent data on signal 23, len 1, c
recv 2: de
write back 70
recv 2: ab
recv 2: ab
got urgent data on signal 23, len 1, c
has oob!
recv -1: n/a
recv 2: de
write back 70
^C

 可以看到信号处理器中接收到的总是OOB数据'c'，而普通recv只能读到非OOB数据'a''b''d''e'。而且普通数据的接收，会被OOB数据打断成两块，无法一次性读取。

2.使用SO_OOBINLINE标志位将OOB作为惯常数据处理

这种方法是将OOB数据当作惯常数据接收，在接收前通过判断哪些是普通数据哪些是OOB数据，具体步骤如下：

a) 新连接建立时，设置套接字选项SO_OOBINLINE

setsockopt (fd, SOL_SOCKET, SO_OOBINLINE, &oil, sizeof (oil));

b) 在接收数据前，先判断下一个字节是否为OOB，如果是，则接收1字节OOB数据（注意不使用MSG_OOB标志）

        if (sockatmark (clfd))
        {
            printf ("has oob!
"); 
            ret = recv (clfd, buf, sizeof(buf), 0); 
            if (ret > 0)
                buf[ret] = 0; 
            else 
                strcpy (buf, "n/a"); 

            printf ("recv %d: %s
", ret, buf); 
        }
        else 
            printf ("no oob!
"); 

这里sockatmark当下个字节为OOB时返回1，否则返回0。

c) 如果不是，按惯常数据接收

        ret = recv (clfd, buf, sizeof(buf), 0); 
        if (ret > 0)
            buf[ret] = 0; 
        else 
            strcpy (buf, "n/a"); 

        printf ("recv %d: %s
", ret, buf); 

同理，由于惯常数据会被OOB打断，上述代码总是可以正确的分离OOB与普通数据。

下面是方法2的接收输出：

hostname length: 64
get hostname: localhost.localdomain
setown to 31883
recv 2: ab
no oob!
recv 3: cde
write back 70
recv 2: ab
has oob!
recv 1: c
recv 2: de
write back 70
recv 2: ab
has oob!
recv 1: c
recv 2: de
write back 70
recv 2: ab
no oob!
recv 3: cde
write back 70
recv 2: ab
has oob!
recv 1: c
recv 2: de
write back 70
^C

 可以看出，有时候OOB数据不能被正常的识别，会被当作普通数据处理掉。而且这种方式也不能体现OOB紧急的意义，没有给予它优先的处理权。

3.使用 select/epoll 多路事件分离

这种方法是利用select或epoll，将OOB数据作为exception事件与普通数据的read事件相分离，这里以select为例：

a) 建立 select 事件处理循环

    for (;;) { 
        // must set it in every loop.
        memcpy (&rdds, &cltds, sizeof (cltds)); 
        memcpy (&exds, &cltds, sizeof (cltds)); 
        FD_SET(sockfd, &rdds); 
        ret = select (FD_SIZE+1, &rdds, NULL, &exds, NULL); 
        ……
    }

b) 建立连接时，将连接fd加入待监听fd_set

            if (FD_ISSET(clfd, &rdds))
            {
               if (clfd == sockfd)
               {
                   // the acceptor
                    printf ("poll accept in
"); 
                    clfd = accept (sockfd, NULL, NULL); 
                    if (clfd < 0) { 
                        printf ("accept error: %d, %s
", errno, strerror (errno)); 
                        exit (1); 
                    }

                    print_sockopt (clfd, "new accepted client"); 
                    // remember it
                    FD_SET(clfd, &cltds); 
                    printf ("add %d to client set
", clfd); 
               } 
               else 
               {
                    ……
               }
            }            

c) 连接上有数据到达时，如果是read事件，使用recv接收数据

            if (FD_ISSET(clfd, &rdds))
            {
               if (clfd == sockfd)
               {
                   ……
               } 
               else 
               {
                   // the normal client
                   printf ("poll read in
"); 
                   ret = recv (clfd, buf, sizeof(buf), 0); 
                   if (ret > 0)
                       buf[ret] = 0; 
                   else 
                       sprintf (buf, "errno %d", errno); 

                   printf ("recv %d from %d: %s
", ret, clfd, buf); 
                   if (ret <= 0) {
                       FD_CLR(clfd, &cltds); 
                       printf ("remove %d from client set
", clfd); 
                   }
               }
            }

d) 如果是exception事件，使用recv(..,MSG_OOB)接收带外数据

            if (FD_ISSET(clfd, &exds))
            {
                // the oob from normal client
                printf ("poll exception in
"); 
                if (sockatmark (clfd))
                {
                    printf ("has oob!
"); 
                    ret = recv (clfd, buf, 1, MSG_OOB); 
                    if (ret > 0)
                        buf[ret] = 0; 
                    else 
                       sprintf (buf, "errno %d", errno); 

                    printf ("recv %d from %d on urgent: %s
", ret, clfd, buf); 
                    if (ret > 0) {
                        // let clfd cleared in sig_cld
                       do_uptime (clfd); 
                    }
                    else 
                    {
                        FD_CLR(clfd, &cltds); 
                        printf ("remove %d from client set
", clfd); 
                    }
                }
                else 
                    printf ("no oob!
"); 
            }

此时，仍可使用sockatmark来判断是否为OOB数据，另外，如果在连接建立时设定了OOB_INLINE标志位，则此处应使用不带MSG_OOB的recv接收数据，

因为OOB数据已经被当作惯常数据来处理了，此处与方法2是一致的。

下面是方法3的输出：

setup handler for SIGCHLD ok
hostname length: 64
get hostname: localhost.localdomain
got event 1
poll accept in
add 4 to client set
got event 2
poll read in
recv 2 from 4: ab
poll exception in
has oob!
recv 1 from 4 on urgent: c
start worker process 4511
goto serve next client..
got event 1
poll read in
recv 2 from 4: de
got event 1
poll accept in
add 5 to client set
got event 2
poll read in
recv 2 from 5: ab
poll exception in
has oob!
recv 1 from 5 on urgent: c
start worker process 4513
goto serve next client..
got event 1
poll read in
recv 2 from 5: de
got event 1
poll accept in
add 6 to client set
got event 2
poll read in
recv 2 from 6: ab
poll exception in
has oob!
recv 1 from 6 on urgent: c
start worker process 4516
goto serve next client..
got event 1
poll read in
recv 2 from 6: de
SIGCHLD received
wait child 4511 return 0
find clfd 4 for that pid
remove 4 from client set
interrupted by signal, some child process done ?
SIGCHLD received
wait child 4513 return 0
find clfd 5 for that pid
remove 5 from client set
interrupted by signal, some child process done ?
SIGCHLD received
wait child 4516 return 0
find clfd 6 for that pid
remove 6 from client set
interrupted by signal, some child process done ?
^C

需要注意的是，在某些场景下，OOB会被识别为惯常数据，此时exception事件在处理时将得不到OOB数据，不过这有一定的随机性，不是每次都能复现。

最后，总结一下OOB这个功能。

这么多年来没有遇到OOB的处理，可能本身就说明了大家对它的态度——就是挺鸡肋的一功能，

而且即使真的需要紧急处理了，1字节的限制也导致不能传递什么更多的信息，且本身OOB的处理又有些复杂和局限性，

例如使用信号处理器，如果有多个连接，我怎么知道是哪个连接上的OOB？

如果使用SO_OOBINLINE，OOB被当作普通数据，这里面如果有个结构体被生生插入一个OOB字节，

而且还没有正确识别出来，这里面的对齐问题可要了老命了。

所以最后的结论是：OOB是过时的，请不要使用它

测试程序1

测试程序2

测试程序3