Socket与系统调用深度分析

本文将围绕linux平台上socket编程，以用户程序中的socket()接口调用为例，分析该API编程接口、系统调用机制及内核中系统调用相关源代码、相关系统调用的内核处理函数。

一、socket()接口

int socket( int domain, int type, int protocol)

功能：创建一个新的套接字，返回套接字描述符，失败返回-1。

参数说明：

domain：用于设置网络通信的域，函数socket()根据这个参数选择通信协议的族。通信协议族在文件sys/socket.h中定义。

type：用于设置套接字通信的类型，主要有SOCKET_STREAM（流式套接字）、SOCK——DGRAM（数据包套接字）等。

protocol：用于制定某个协议的特定类型，即type类型中的某个类型。通常某协议中只有一种特定类型，这样protocol参数仅能设置为0；

举例：s=socket(PF_INET,SOCK_STREAM,0)

二、系统调用机制

1.系统调用初始化

　　X86_64系统上电后，socket有关系统调用初始化过程为：start_kernel --> trap_init --> cpu_init --> syscall_init 。系统调用初始化syscall_init()函数在linux/arch/x86/kernel/cpu/common.c中定义，代码如下：

 1 void syscall_init(void)
 2 {
 3     wrmsr(MSR_STAR, 0, (__USER32_CS << 16) | __KERNEL_CS);
 4     wrmsrl(MSR_LSTAR, (unsigned long)entry_SYSCALL_64);
 5 
 6 #ifdef CONFIG_IA32_EMULATION
 7     wrmsrl(MSR_CSTAR, (unsigned long)entry_SYSCALL_compat);
 8     /*
 9      * This only works on Intel CPUs.
10      * On AMD CPUs these MSRs are 32-bit, CPU truncates MSR_IA32_SYSENTER_EIP.
11      * This does not cause SYSENTER to jump to the wrong location, because
12      * AMD doesn't allow SYSENTER in long mode (either 32- or 64-bit).
13      */
14     wrmsrl_safe(MSR_IA32_SYSENTER_CS, (u64)__KERNEL_CS);
15     wrmsrl_safe(MSR_IA32_SYSENTER_ESP,
16             (unsigned long)(cpu_entry_stack(smp_processor_id()) + 1));
17     wrmsrl_safe(MSR_IA32_SYSENTER_EIP, (u64)entry_SYSENTER_compat);
18 #else
19     wrmsrl(MSR_CSTAR, (unsigned long)ignore_sysret);
20     wrmsrl_safe(MSR_IA32_SYSENTER_CS, (u64)GDT_ENTRY_INVALID_SEG);
21     wrmsrl_safe(MSR_IA32_SYSENTER_ESP, 0ULL);
22     wrmsrl_safe(MSR_IA32_SYSENTER_EIP, 0ULL);
23 #endif
24 
25     /* Flags to clear on syscall */
26     wrmsrl(MSR_SYSCALL_MASK,
27            X86_EFLAGS_TF|X86_EFLAGS_DF|X86_EFLAGS_IF|
28            X86_EFLAGS_IOPL|X86_EFLAGS_AC|X86_EFLAGS_NT);
29 }

　　这两个函数执行系统调用入口的初始化:

wrmsr(MSR_STAR, 0, (__USER32_CS << 16) | __KERNEL_CS);
wrmsrl(MSR_LSTAR, (unsigned long)entry_SYSCALL_64);

　　第一个特殊模块集寄存器MSR_STAR 的 63:48 为用户代码的代码段。这些数据将加载至 CS 和 SS 段选择符，由提供将系统调用返回至相应特权级的用户代码功能的 sysret 指令使用。同时从内核代码来看，当用户空间应用程序执行系统调用时，MSR_STAR 的 47:32 将作为 CS and SS段选择寄存器的基地址。第二行代码中我们将使用系统调用入口entry_SYSCALL_64 填充 MSR_LSTAR 寄存器。

2.执行系统调用

　　glibc库对系统调用进行了封库，对于任何一个系统调用，最终都会调用 DO_CALL函数。在用户态进程里调用如open函数，会在glibc中将系统调用名称转换为系统调用号并存放到寄存器rax，然后调用syscall指令，syscall 指令从特殊模块寄存器 MSR_LSTAR 中取出函数 entry_SYSCALL_64 的入口地址并执行该函数。

　　entry_SYSCALL_64 在 arch/x86/entry/entry_64.S 汇编文件中定义，包含了系统调用整个生命周期的管理，包括系统调用前的运行环境保存，执行系统调用，系统调用之后的恢复。entry_SYSCALL_64的源代码如下：

 1 ENTRY(entry_SYSCALL_64)
 2     UNWIND_HINT_EMPTY
 3     /*
 4      * Interrupts are off on entry.
 5      * We do not frame this tiny irq-off block with TRACE_IRQS_OFF/ON,
 6      * it is too small to ever cause noticeable irq latency.
 7      */
 8 
 9     swapgs
10     /* tss.sp2 is scratch space. */
11     movq    %rsp, PER_CPU_VAR(cpu_tss_rw + TSS_sp2)
12     SWITCH_TO_KERNEL_CR3 scratch_reg=%rsp
13     movq    PER_CPU_VAR(cpu_current_top_of_stack), %rsp
14 
15     /* Construct struct pt_regs on stack */
16     pushq    $__USER_DS                /* pt_regs->ss */
17     pushq    PER_CPU_VAR(cpu_tss_rw + TSS_sp2)    /* pt_regs->sp */
18     pushq    %r11                    /* pt_regs->flags */
19     pushq    $__USER_CS                /* pt_regs->cs */
20     pushq    %rcx                    /* pt_regs->ip */
21 GLOBAL(entry_SYSCALL_64_after_hwframe)
22     pushq    %rax                    /* pt_regs->orig_ax */
23 
24     PUSH_AND_CLEAR_REGS rax=$-ENOSYS
25 
26     TRACE_IRQS_OFF
27 
28     /* IRQs are off. */
29     movq    %rax, %rdi
30     movq    %rsp, %rsi
31     call    do_syscall_64        /* returns with IRQs disabled */
32 ......

　　在调用函数 do_syscall_64 之前, entry_SYSCALL_64做了一些准备工作。在控制器由用户态转到内核态后，并不是立即就执行内核态系统调用表中的内核函数，原因是在系统调用完成之后还要返回用户态，因此在调用内核系统调用函数之前，必须做一些准备工作，保存用户态的信息(堆栈, 寄存器)待系统调用完之后恢复现场等等。

　　然后在do_syscall_64 函数中，从rax 里面拿出系统调用号，根据系统调用号在系统调用表 sys_call_table 中找到相应的函数进行调用，并将寄存器中保存的参数取出来，作为函数参数。64位的系统调用表定义在面 arch/x86/entry/syscalls/syscall_64.tbl 文件中，在编译过程中，会将 syscall_64.tbl 生成头文件 unistd_64.h 。arch/x86/entry/syscall_64.c 文件里包含了这个头文件，并定义了一个表，sys_系统调用也都在这个表里面。

 1 #ifdef CONFIG_X86_64
 2 __visible void do_syscall_64(unsigned long nr, struct pt_regs *regs)
 3 {
 4 ...
 5     if (likely(nr < NR_syscalls)) {
 6         nr = array_index_nospec(nr, NR_syscalls);
 7         regs->ax = sys_call_table[nr](regs);       //查询系统调用表
 8 ...
 9 }
10 #endif

三、socket系统调用

　　上文已经介绍了整个系统调用的基本流程，那么用户程序调用函数 socket() 的流程是怎么样的呢？在linux中所有有关socket的系统调用（包括socket、bind、listen等）共用一个系统调用号112，系统调用名称为socketcall。内核执行函数entry_SYSCALL_64时，从寄存器rax中得知系统调用号为112，然后在系统调用表sys_call_table中找到112对应处理函数sys_socketcall的入口地址，并跳转执行。该函数在 linux-5.0.1/net/socket.c 中定义：

SYSCALL_DEFINE2(socketcall, int, call, unsigned long __user *, args)
 {
     ......
     switch (call) {
     case SYS_SOCKET:
         err = __sys_socket(a0, a1, a[2]);
         break;
     case SYS_BIND:
         err = __sys_bind(a0, (struct sockaddr __user *)a1, a[2]);
         break;
     case SYS_CONNECT:
         err = __sys_connect(a0, (struct sockaddr __user *)a1, a[2]);
         break;
     case SYS_LISTEN:
         err = __sys_listen(a0, a1);
         break;
 　　......
 　　}
 　　......
 }

　　该函数会根据参数 call 选择对应的处理函数，对应关系在 linux-5.0.1/include/uapi/linux/net.h 中定义：

#include <linux/socket.h>
#include <asm/socket.h>

#define NPROTO        AF_MAX

#define SYS_SOCKET    1        /* sys_socket(2)        */
#define SYS_BIND    2        /* sys_bind(2)            */
#define SYS_CONNECT    3        /* sys_connect(2)        */
#define SYS_LISTEN    4        /* sys_listen(2)        */
#define SYS_ACCEPT    5        /* sys_accept(2)        */
#define SYS_GETSOCKNAME    6        /* sys_getsockname(2)        */
#define SYS_GETPEERNAME    7        /* sys_getpeername(2)        */
#define SYS_SOCKETPAIR    8        /* sys_socketpair(2)        */
#define SYS_SEND    9        /* sys_send(2)            */
#define SYS_RECV    10        /* sys_recv(2)            */
#define SYS_SENDTO    11        /* sys_sendto(2)        */
#define SYS_RECVFROM    12        /* sys_recvfrom(2)        */

　　可以看到socket() 调用最终会跳转到__sys_socket 中运行，而__sys_socket 函数在/linux-5.0.1/net/socket.c 中定义：

int __sys_socket(int family, int type, int protocol)
{
    int retval;
    struct socket *sock;
    int flags;

    /* Check the SOCK_* constants for consistency.  */
    BUILD_BUG_ON(SOCK_CLOEXEC != O_CLOEXEC);
    BUILD_BUG_ON((SOCK_MAX | SOCK_TYPE_MASK) != SOCK_TYPE_MASK);
    BUILD_BUG_ON(SOCK_CLOEXEC & SOCK_TYPE_MASK);
    BUILD_BUG_ON(SOCK_NONBLOCK & SOCK_TYPE_MASK);

    flags = type & ~SOCK_TYPE_MASK;
    if (flags & ~(SOCK_CLOEXEC | SOCK_NONBLOCK))
        return -EINVAL;
    type &= SOCK_TYPE_MASK;

    if (SOCK_NONBLOCK != O_NONBLOCK && (flags & SOCK_NONBLOCK))
        flags = (flags & ~SOCK_NONBLOCK) | O_NONBLOCK;

    retval = sock_create(family, type, protocol, &sock);
    if (retval < 0)
        return retval;

    return sock_map_fd(sock, flags & (O_CLOEXEC | O_NONBLOCK));
}

SYSCALL_DEFINE3(socket, int, family, int, type, int, protocol)
{
    return __sys_socket(family, type, protocol);
}

　　sock_create内部就是使用文件系统中的数据结构inode为socket套接字分配了文件描述符。socket套接字与普通的文件在内部存储结构上是一致的，甚至文件描述符和套接字描述符是通用的，但是套接字于文件还是有特殊之处，因此定义了结构体struct socket。