Nginx:事件模塊

參考資料<深入理解Nginx>

 

根據不同的系統內核，Nginx會使用不同的事件驅動機制，本次描述的場景是使用epoll來驅動事件的處理。

 

 

epoll的使用方法

1.int epoll_create(int size);

epoll_create返回一個句柄，之后epoll的使用將依靠這個句柄來標識。參數size只是告訴epoll所要處理的大致事件數目，一些內核版本的實現中，這個參數沒有任何意義。

2.int epoll_ctl(int epfd,int op,int fd,struct epoll_event *event);

epoll_ctl向epoll對象中添加、修改或者刪除感興趣的事件，返回0表示成功，否則返回-1。

參數epfd是epoll_create方法返回的句柄，而op參數的意義如下表

參數fd是待檢測的連接套接字，第四個參數是在告訴epoll對什么樣的事件感興趣，它使用的epoll_event結構體定義如下

struct epoll_event {
    _uint32_t events;
    epoll_data_t data;
};

   events取值如下表

  而data成員是一個epoll_data聯合

typedef union epoll_data {
    void *ptr;
    int fd;
    uint32_t u32;
    uint64_t u64;
} epoll_data_t;

這個data成員還與具體的使用方式相關。例如，ngx_epoll_module模塊使用了給ptr成員，作為指向ngx_connection_t連接的指針。

3.int epoll_wait(int fd,struct epoll_event *events,int maxevents,int timeout);

   第一個參數epfd是epoll的描述符。第二個參數events則是分配好的epoll_event結構體數組，epoll將會把發生的事件賦值到events數組中，

   第三個參數表示本次可以返回的最大事件數目，第四個參數表示在沒有檢測到時間發生時最多等待的時間。

 

ngx_epoll_module模塊

該模塊使用如下的上下文結構

ngx_event_module_t  ngx_epoll_module_ctx = {
    &epoll_name,
    ngx_epoll_create_conf,               /* create configuration */
    ngx_epoll_init_conf,                 /* init configuration */

    {
        ngx_epoll_add_event,             /* add an event */
        ngx_epoll_del_event,             /* delete an event */
        ngx_epoll_add_event,             /* enable an event */
        ngx_epoll_del_event,             /* disable an event */
        ngx_epoll_add_connection,        /* add an connection */
        ngx_epoll_del_connection,        /* delete an connection */
        NULL,                            /* process the changes */
        ngx_epoll_process_events,        /* process the events */
        ngx_epoll_init,                  /* init the events */
        ngx_epoll_done,                  /* done the events */
    }
};

在Nginx的啟動過程中。ngx_epoll_init方法將會被調用，它主要做了兩件事情：

1.調用epoll_create方法創建epoll對象。

2.創建event_list數組，用於進行epoll_wait調用時傳遞內核態的事件。

 

ngx_epoll_add_event通過調用epoll_ctl向epoll中添加或者刪除事件。可以通過這個函數的部分源碼來了解一下該過程

static ngx_int_t
ngx_epoll_add_event(ngx_event_t *ev, ngx_int_t event, ngx_uint_t flags)
{
    int                  op;
    uint32_t             events, prev;
    ngx_event_t         *e;
    ngx_connection_t    *c;
    struct epoll_event   ee;

    //每個事件的data成員都存放着其對應的ngx_connection_t連接
    c = ev->data;

    //確定當前時間是讀事件還是寫事件
    events = (uint32_t) event;

    ...
    //根據active標志位確定是否為活躍事件，以決定到底是修改還是添加事件
    if (e->active) {
        op = EPOLL_CTL_MOD;
        events |= prev;

    } else {
        op = EPOLL_CTL_ADD;
    }

    ee.events = events | (uint32_t) flags;
    ee.data.ptr = (void *) ((uintptr_t) c | ev->instance);

    //調用epoll_ctl方法向epoll中添加事件
    if (epoll_ctl(ep, op, c->fd, &ee) == -1) {
        ngx_log_error(NGX_LOG_ALERT, ev->log, ngx_errno,
                      "epoll_ctl(%d, %d) failed", op, c->fd);
        return NGX_ERROR;
    }

    //標識為活躍事件
    ev->active = 1;

    return NGX_OK;
}

同理，ngx_epoll_del_event方法也通過類似的方式刪除事件。

對於ngx_epoll_add_connection和ngx_epoll_del_connection方法，也是調用epoll_ctl進行處理，只是每一個連接都對應讀/寫事件。

 

ngx_epoll_process_events方法則調用epoll_wait來獲取事件並且處理事件，下面是該函數的部分源碼

static ngx_int_t
ngx_epoll_process_events(ngx_cycle_t *cycle, ngx_msec_t timer, ngx_uint_t flags)
{
    int                       events;
    uint32_t               revents;
    ngx_int_t             instance, i;
    ngx_event_t         *rev, *wev, **queue;
    ngx_connection_t  *c;


    //一開始就是等待事件，最長等待時間為timer
    events = epoll_wait(ep, event_list, (int) nevents, timer);
    
    ...
    //循環開始處理收到的所有事件
    for (i = 0; i < events; i++) {
        //ptr成員指向的是ngx_connection_t，但最后一位有特殊含義，需要將它屏蔽掉
        c = event_list[i].data.ptr;
        instance = (uintptr_t) c & 1;
        c = (ngx_connection_t *) ((uintptr_t) c & (uintptr_t) ~1);
        
        //取出讀事件
        rev = c->read;
        ...
        //取得發生一個事件
        revents = event_list[i].events;

        ...
        //該事件是一個讀事件而且是活躍的
        if ((revents & EPOLLIN) && rev->active) {

            ...
            //如果設置了NGX_POST_EVENTS標識，事件放入到相應的隊列中
            if (flags & NGX_POST_EVENTS) {
                queue = (ngx_event_t **) (rev->accept ?
                               &ngx_posted_accept_events : &ngx_posted_events);

                ngx_locked_post_event(rev, queue);
            //否則立刻處理
            } else {
                rev->handler(rev);
            }
        }
      
        //獲取寫事件
        wev = c->write;

        if ((revents & EPOLLOUT) && wev->active) {
            
            ...
            if (flags & NGX_POST_EVENTS) {
                ngx_locked_post_event(wev, &ngx_posted_events);

            } else {
                wev->handler(wev);
            }
        }
    }
    ...
    return NGX_OK;
}

 

 

ngx_process_events_and_timers流程

在Nginx中，每個worker進程都在ngx_worker_process_cycle方法中循環處理事件。

處理分發事件實際上就是調用的ngx_process_events_and_timers方法，循環調用該函數就是在處理所有的事件，該方法的核心的操作主要有以下3個：

1.調用所使用的事件驅動模塊實現的process_events方法，處理網絡事件(調用ngx_epoll_process_events方法)。

2.處理兩個post事件隊列中的事件(調用ngx_event_process_posted方法)。

3.處理定時器時間(調用ngx_event_expire_timers方法)

下圖展示了該方法的流程，結合前面的進行理解

事實上，在調用上面循環的方法之前ngx_event_core_module模塊會做一些初始化工作：

1.預分配cycle->connection數組充當連接池

2.預分配所有寫事件到cycle->read_events數組

3.預分配所有讀事件到cycle->write_events數組

(Nginx中連接池跟讀寫事件都是這個階段預先分配好的，其大小跟配置項有關)

4.為所有ngx_listening_t監聽對象中的connectin成員分配連接，同時對監聽端口的讀事件設置處理方法為ngx_event_accept(最后有這個方法的介紹)

5.將監聽對象連接的讀事件添加到事件驅動模塊中，這樣，epoll等事件模塊就開始檢測監聽服務，並開始向用戶提供服務了。 

 

建立新連接

處理新連接事件的回調函數是ngx_event_accept，其原型如下

void ngx_event_accept(ngx_event_t *ev);

下圖展示了該方法的流程