结合源码看nginx-1.4.0之nginx模块组织结构详解

目录

0. 摘要

1. nginx模块组织结构

2. nginx模块数据结构

3. nginx模块初始化

4. 一个简单的http模块

5. 小结

6. 参考资料

0. 摘要

nginx有五大优点:模块化、事件驱动、异步、非阻塞、多进程单线程。其中,模块化设计类似于面向对象中的接口类,它增强了nginx源码的可读性、可扩充性和可维护性。

nginx-1.4.0总共有5大一类模块:core、conf、event、http、mail,和48个二类模块(我自己的安装版本)。每个模块有属于自己的配置项,由commands字段决定;模块在初始化和退出销毁时均有回调函数。多进程模式下的模块初始化主要有四个方面:脚本初始化、静态初始化、动态初始化、进程初始化。脚本初始化是指在安装nginx时,由configure脚本生成的相关文件,比如ngx_modules.c文件包含了nginx的所有模块;静态初始化在编译时就完成,主要通过定义全局变量实现;动态初始化在运行时完成,主要通过master进程main函数,ngx_init_cycle函数,及各模块文件内定义的init函数实现;进程初始化是指各worker进程执行 init_process函数。当nginx退出或重读配置文件或nginx平滑升级时,worker进程会调用各模块的exit_process函数来销毁资源。

开发人员可以根据nginx模块规则注册自己的模块,添加模块后要重新编译源码,并且修改nginx.conf配置文件才能使新模块生效。

1. nginx模块组织结构

nginx源码虽然是用c语言写的,但一点也不妨碍nginx以高度模块化闻名,这来自于nginx作者对c语言和面向对象的高度驾驭能力。

1.1 nginx模块主要轮廓

    Nginx模块主要有4种角色:
    (1) core(核心模块):构建nginx基础服务、管理其他模块。
    (2) handlers(处理模块): 用于处理HTTP请求,然后产生输出。
    (3) filters(过滤模块): 过滤handler产生的输出。
    (4) load-balancers(负载均衡模块):当有多于一台的后端备选服务器时,选择一台转发HTTP请求。
    Nginx的核心模块主要负责建立nginx服务模型、管理网络层和应用层协议、以及启动针对特定应用的一系列候选模块。其他模块负责分配给web服务器的实际工作:当Nginx发送文件或者转发请求到其他服务器,由处理模块或负载均衡模块提供服务;当需要Nginx把输出压缩或者在服务端加一些东西,由过滤模块提供服务。
    那么模块是如何被调用的?当服务器启动,每个处理模块都有机会映射到配置文件中定义的特定位置(location);如果有多个处理模块映射到特定位置时,只有一个会“赢”(说明配置文件有冲突项,应该避免发生)。处理模块以三种形式返回:OK、ERROR、或者放弃处理这个请求而让默认处理模块来处理(主要是用来处理一些静态文件,事实上如果是位置正确而真实的静态文件,默认的处理模块会抢先处理)。
    如果处理模块把请求反向代理到后端的服务器,就变成另外一类的模块:负载均衡模块。负载均衡模块的配置中有一组后端服务器,当一个HTTP请求过来时,它决定哪台服务器应当获得这个请求。Nginx的负载均衡模块采用两种方法:轮转法,它处理请求就像纸牌游戏一样从头到尾分发;IP哈希法,在众多请求的情况下,它确保来自同一个IP的请求会分发到相同的后端服务器。
    如果处理模块没有产生错误,过滤模块将被调用。多个过滤模块能映射到每个位置,所以(比如)每个请求都可以被压缩成块。它们的执行顺序在编译时决定。过滤模块是经典的“接力链表(CHAIN OF RESPONSIBILITY)”模型:一个过滤模块被调用,完成其工作,然后调用下一个过滤模块,直到最后一个过滤模块。Nginx完成这个回复。过滤模块链的特别之处在于,每个过滤模块不会等上一个过滤模块全部完成;它能把前一个过滤模块的输出作为其处理内容;有点像Unix中的流水线。过滤模块能以buffer(缓冲区)为单位进行操作,这些buffer一般都是一页(4K)大小,当然你也可以在nginx.conf文件中进行配置。这意味着,比如,模块可以压缩来自后端服务器的回复,然后像流一样的到达客户端,直到整个回复发送完成。总之,过滤模块链以流水线的方式高效率地向客户端发送响应信息。
    所以总结下上面的内容,一个典型的处理周期是这样的:
    客户端发送HTTP请求->Nginx基于配置文件中的位置选择一个合适的处理模块->(如果有)负载均衡模块选择一台后端服务器->处理模块进行处理并把输出缓冲放到第一个过滤模块上->第一个过滤模块处理后输出给第二个过滤模块->然后第二个过滤模块又到第三个->依此类推->最后把回复发给客户端。
    图1.1展示了nginx模块处理流程。

图1.1 nginx模块处理流程图

1.2 nginx模块结构设计

图1.2 nginx 模块结构设计图

 

图1.3 nginx主要模块组织结构简图

2. nginx模块数据结构

2.1 模块主要数据结构 

(1)核心:ngx_module_t(nginx所有模块的数据结构模板)

 1 #define NGX_MODULE_V1          0, 0, 0, 0, 0, 0, 1 // 初始化 ngx_module_s 前7个字段
 2 #define NGX_MODULE_V1_PADDING  0, 0, 0, 0, 0, 0, 0, 0 // 初始化 ngx_module_s 最后8个字段
 3 typedef struct ngx_module_s      ngx_module_t;
 4 struct ngx_module_s {
 5     ngx_uint_t            ctx_index; // ctx:context 分类模块索引,比如http类型模块有很多实例
 6     ngx_uint_t            index; // 全局模块索引,在nginx.c中main函数体内进行动态初始化
 7 
 8     ngx_uint_t            spare0;  // 目前未使用
 9     ngx_uint_t            spare1;  // 目前未使用
10     ngx_uint_t            spare2;  // 目前未使用
11     ngx_uint_t            spare3;  // 目前未使用
12 
13     ngx_uint_t            version; // 模块版本
14 
15     void                 *ctx; // 该模块的上下文,一般用来创建和初始化模块配置数据结构,每个种类的模块有不同的上下文
16     ngx_command_t        *commands;// 该模块对应的配置文件中的语句块,指向一个ngx_command_t结构数组
17     ngx_uint_t            type;// 该模块的种类,为core/conf/event/http/mail中的一种
18     // 以下是一些callback函数
19     ngx_int_t           (*init_master)(ngx_log_t *log); // 初始化master: 目前未使用
20 
21     ngx_int_t           (*init_module)(ngx_cycle_t *cycle);// 初始化模块
22 
23     ngx_int_t           (*init_process)(ngx_cycle_t *cycle); // 初始化工作进程
24     ngx_int_t           (*init_thread)(ngx_cycle_t *cycle); // 初始化线程:目前未使用
25     void                (*exit_thread)(ngx_cycle_t *cycle); // 退出线程:目前未使用
26     void                (*exit_process)(ngx_cycle_t *cycle); // 退出工作进程
27 
28     void                (*exit_master)(ngx_cycle_t *cycle); // 退出master:目前未使用
29     // 这些字段:目前未使用
30     uintptr_t             spare_hook0;
31     uintptr_t             spare_hook1;
32     uintptr_t             spare_hook2;
33     uintptr_t             spare_hook3;
34     uintptr_t             spare_hook4;
35     uintptr_t             spare_hook5;
36     uintptr_t             spare_hook6;
37     uintptr_t             spare_hook7;
38 };

(2) 配置文件指令:ngx_command_t(主要负责模块与配置文件nginx.conf的交互)

 1 typedef struct ngx_command_s     ngx_command_t;
 2 #define NGX_CONF_NOARGS      0x00000001
 3 #define NGX_CONF_TAKE1       0x00000002
 4 #define NGX_CONF_TAKE2       0x00000004
 5 #define NGX_CONF_TAKE3       0x00000008
 6 #define NGX_CONF_TAKE4       0x00000010
 7 #define NGX_CONF_TAKE5       0x00000020
 8 #define NGX_CONF_TAKE6       0x00000040
 9 #define NGX_CONF_TAKE7       0x00000080
10 
11 #define NGX_CONF_MAX_ARGS    8
12 
13 #define NGX_CONF_TAKE12      (NGX_CONF_TAKE1|NGX_CONF_TAKE2)
14 #define NGX_CONF_TAKE13      (NGX_CONF_TAKE1|NGX_CONF_TAKE3)
15 
16 #define NGX_CONF_TAKE23      (NGX_CONF_TAKE2|NGX_CONF_TAKE3)
17 
18 #define NGX_CONF_TAKE123     (NGX_CONF_TAKE1|NGX_CONF_TAKE2|NGX_CONF_TAKE3)
19 #define NGX_CONF_TAKE1234    (NGX_CONF_TAKE1|NGX_CONF_TAKE2|NGX_CONF_TAKE3   
20                               |NGX_CONF_TAKE4)
21 
22 #define NGX_CONF_ARGS_NUMBER 0x000000ff
23 #define NGX_CONF_BLOCK       0x00000100
24 #define NGX_CONF_FLAG        0x00000200
25 #define NGX_CONF_ANY         0x00000400
26 #define NGX_CONF_1MORE       0x00000800
27 #define NGX_CONF_2MORE       0x00001000
28 #define NGX_CONF_MULTI       0x00000000  /* compatibility */
29 
30 #define NGX_DIRECT_CONF      0x00010000
31 
32 #define NGX_MAIN_CONF        0x01000000
33 #define NGX_ANY_CONF         0x0F000000
34 
35 
36 
37 #define NGX_CONF_UNSET       -1
38 #define NGX_CONF_UNSET_UINT  (ngx_uint_t) -1
39 #define NGX_CONF_UNSET_PTR   (void *) -1
40 #define NGX_CONF_UNSET_SIZE  (size_t) -1
41 #define NGX_CONF_UNSET_MSEC  (ngx_msec_t) -1
42 
43 
44 #define NGX_CONF_OK          NULL
45 #define NGX_CONF_ERROR       (void *) -1
46 
47 #define NGX_CONF_BLOCK_START 1
48 #define NGX_CONF_BLOCK_DONE  2
49 #define NGX_CONF_FILE_DONE   3
50 
51 // 模块种类宏,定义为一个十六进制的数,这个十六进制的数就是其类型对应的ASCII码。
52 // 因此,nginx共有5种类型的模块,分别为"CORE","CONF","EVNT","HTTP","MAIL"。
53 #define NGX_CORE_MODULE      0x45524F43  /* "CORE" */
54 #define NGX_CONF_MODULE      0x464E4F43  /* "CONF" */
55 
56 
57 #define NGX_MAX_CONF_ERRSTR  1024
58 
59 
60 struct ngx_command_s {
61     ngx_str_t             name; // 配置文件中的指令,如 daemon
62     // 指令出现的位置(main/http/server/location/upstream/mail)
63     // 指令值的数据类型,如NGX_CONF_FLAG表示指令读入一个布尔型数据
64     // 指令后带的参数,如NGX_CONF_TAKE1表示带一个参数
65     ngx_uint_t            type; 
66     char               *(*set)(ngx_conf_t *cf, ngx_command_t *cmd, void *conf); // 设置指令值到模块自定义数据结构
67     ngx_uint_t            conf; // 一般为 0
68     ngx_uint_t            offset; // 指令在数据结构的偏移量
69     void                 *post;  // 一般为 NULL
70 };
71 
72 #define ngx_null_command  { ngx_null_string, 0, NULL, 0, 0, NULL }

(3)指令配置:ngx_conf_t(解析某个具体的指令)

 1 typedef char *(*ngx_conf_handler_pt)(ngx_conf_t *cf, ngx_command_t *dummy, void *conf);
 2 typedef struct ngx_conf_s        ngx_conf_t;
 3 struct ngx_conf_s {
 4     char                 *name;         // 指令名
 5     ngx_array_t          *args;         // 指令后的参数
 6 
 7     ngx_cycle_t          *cycle;        // 全局数据结构
 8     ngx_pool_t           *pool;         // 内存池
 9     ngx_pool_t           *temp_pool;    // 临时内存池
10     ngx_conf_file_t      *conf_file;    // 指令所在配置文件
11     ngx_log_t            *log;          // 日志记录
12 
13     void                 *ctx;          // 模块上下文
14     ngx_uint_t            module_type;  // 模块类型
15     ngx_uint_t            cmd_type;     // 指令类型
16 
17     ngx_conf_handler_pt   handler;      // set函数指针
18     char                 *handler_conf; // set函数返回值
19 };

 (4)全局配置:ngx_cycle_t(nginx绝大部分初始化操作都围绕该结构体)

 1 typedef struct ngx_cycle_s       ngx_cycle_t;
 2 struct ngx_cycle_s {
 3     void                  ****conf_ctx;                       // 配置上下文数组(含所有模块)
 4     ngx_pool_t               *pool;                           // 内存池
 5 
 6     ngx_log_t                *log;                            // 日志
 7     ngx_log_t                 new_log;
 8 
 9     ngx_connection_t        **files;                         // 连接文件
10     ngx_connection_t         *free_connections;              // 空闲连接
11     ngx_uint_t                free_connection_n;             // 空闲连接个数
12 
13     ngx_queue_t               reusable_connections_queue;    // 再利用连接队列
14 
15     ngx_array_t               listening;                     // 监听套接字数组
16     ngx_array_t               pathes;                        // 路径数组
17     ngx_list_t                open_files;                    // 打开文件链表
18     ngx_list_t                shared_memory;                 // 共享内存链表
19 
20     ngx_uint_t                connection_n;                  // 连接个数
21     ngx_uint_t                files_n;                       // 打开文件个数
22 
23     ngx_connection_t         *connections;                   // 连接
24     ngx_event_t              *read_events;                   // 读事件
25     ngx_event_t              *write_events;                  // 写事件
26 
27     ngx_cycle_t              *old_cycle;                     // old cycle指针
28 
29     ngx_str_t                 conf_file;                     // 配置文件
30     ngx_str_t                 conf_param;                    // 配置参数
31     ngx_str_t                 conf_prefix;                   // 配置文件目录
32     ngx_str_t                 prefix;                        // 程序工作目录
33     ngx_str_t                 lock_file;                     // 锁文件,用在不支持accept_mutex的系统中
34     ngx_str_t                 hostname;                      // 主机名
35 };

2.2 模块数据结构相关操作

(1)指令设置回调函数:*(*set)(ngx_conf_t *cf, ngx_command_t *cmd, void *conf);

    结构体成员set是一个函数指针,用来设定模块的配置;典型地,这个函数会转化指令传进来的参数,然后将合适的值保存到配置结构体。这个设定函数有三个参数:
    1)指向ngx_conf_t结构体的指针,包含从指令后面传过来的参数。
    2)指向当前ngx_command_t结构体的指针
    3)指向自定义模块配置结构体的指针
    这个设定函数在指令被遇到的时候就会调用。在自定义的配置结构体中,Nginx提供了多个函数用来保存特定类型的数据,这些函数包含有:
    1)ngx_conf_set_flag_slot: 将”on”或”off”转化为布尔类型
    2)ngx_conf_set_str_slot: 将字符串保存为ngx_str_t类型
    3)ngx_conf_set_num_slot: 解析一个数字并保存为int型
    4)ngx_conf_set_size_slot: 解析一个数据大小(如:”8k”, “1m”) 并保存为 size_t类型
    还有另外一些,很容易查到(看,core/ngx_conf_file.h)。模块也可以把它们自己函数的引用放在这里,但这样内嵌的类型不是很好。
那这些内嵌函数怎么知道要把值保存在哪里呢?ngx_command_t接下来的两个成员conf和offset正好可用。conf告诉Nginx把这个值是放在全局配置部分、主机配置部分还是位置配置部分呢(用NGX_HTTP_MAIN_CONF_OFFSET, NGX_HTTP_SRV_CONF_OFFSET或NGX_HTTP_LOC_CONF_OFFSET)。然后offset确定到底是保存在结构体的哪个位置。
    最后,post指向模块在读配置的时候需要的一些零碎变量。一般它是NULL。
    这个ngx_command_t数组在读入ngx_null_command 后停止,也即最后一个成员。

3. nginx模块初始化

3.1 脚本初始化

3.2 静态初始化

3.3 动态初始化

3.4 进程初始化

4. 一个简单的http模块

4.1 注册模块

4.2 实现简单的http模块

5. 小结

6. 参考资料

原文地址:https://www.cnblogs.com/didiaoxiong/p/3209767.html