openssl 使用非阻塞 bio

序

在項目中需要訪問 https 加密的網頁，為了保證並發性，需要用到非阻塞的 socket，搜索發現，這種使用場景的相關介紹不是很多，所以這里記錄一下使用的過程。

在項目中，所使用的 ssl 庫是老牌 sll 庫 —— openssl。所使用的 io多路復用 技術是 epoll。

核心流程

整體流程與訪問非加密網站類似，不同之處在於有一下幾點：

1. 在 socket 建立 tcp 連接之后，需要綁定 socket 句柄在 SSL 中
2. 讀取，發送數據，使用 SSL 庫的方法，替代 linux 系統調用
3. 關閉連接前，需要先執行 SSL 關閉流程

建立連接

首先，打開 socket 句柄，然后設置必要的屬性

 

int sock_fd = -1;
int flags = -1;
sock_fd = socket(AF_INET, SOCK_STREAM, 0);
flags = fcntl(sockfd, F_GETFL, 0);
fcntl(sockfd, F_SETFL, flags | O_NONBLOCK);

 

然后，將句柄加入 epoll 的管理

epoll_event ev;
ev.events = EPOLLIN | EPOLLOUT | EPOLLET
ev.data.ptr = your_ev_info;
epoll_ctl(epfd, EPOLL_CTL_ADD, url_item->sockfd, &ev);

現在，可以開始真正的連接過程了，與普通的 tcp 連接一樣，調用 connect 系統調用。在非阻塞 io 中，需要通過 connect 的返回值和 errno 來判斷連接狀態，采取不同的策略

struct sockaddr_in serv_addr;

if (connect(sock_fd, (sockaddr *) & serv_addr, sizeof (sockaddr)) < 0) {
    // 沒有立刻連接成功，需要判斷 errno
    if (errno != EINPROGRESS && errno != EINTR) {
        // 失敗了， 從epoll里面干掉
        epoll_ctl(epfd, EPOLL_CTL_DEL, sock_fd, NULL);
    }
} else {
    // 立刻成功了
    prepare_connect_ssl(your_ev_info);
}

如果沒有立刻連接成功，在成功后，會觸發 epoll，我們需要在 your_ev_info 中，需要保存現在的狀態，以便在  epoll_wait 之后，通過狀態來決定需要調用的函數。這些屬於 epoll 的細節了，在此不展開說。

假設，現在已經連接成功，則開始做 SSL 握手之前的准備工作。

SSL_CTX *ssl_ctx;
SSL *ssl;

ssl_ctx = SSL_CTX_new(TLSv1_method());
ssl = SSL_new(url_item->ssl_ctx);
SSL_set_mode(url_item->ssl, SSL_MODE_ENABLE_PARTIAL_WRITE);

// 綁定 SSL 和 socket 句柄
SSL_set_fd(ssl, sock_fd);

這一步之所以和后面的 SSL 握手過程分開，是因為 SSL 握手在非阻塞io 的情況下，有可能會被調用多次，而這部分只需要一次調用即可。

現在開始 SSL 握手

int ssl_conn_ret = SSL_connect(ssl);
if (1 == ssl_conn_ret) {
    // 開始和對端交互
} else if (-1 == ssl_conn_ret) {
    // 沒有立刻握手成功，需要通過錯誤碼來判斷現在的狀態
    int ssl_conn_err = SSL_get_error(ssl, ssl_conn_ret);
    if (SSL_ERROR_WANT_READ == ssl_conn_err || 
             SSL_ERROR_WANT_WRITE == ssl_conn_err) {
         //需要更多時間來進行握手
    }
} else {
    // 連接失敗了，做必要處理
    if (0 != ssl_conn_ret) {
        SSL_shutdown(ssl);
    }
    SSL_free(ssl);
    SSL_CTX_free(ssl_ctx);
}

在沒有立刻握手成功的時候，需要在 epoll 觸發后，在次調用此段代碼，來繼續握手的過程。

至此，建立連接的過程就完成了。

發送與讀取數據

由於發送與讀取數據都有可能沒有完全完成我們所指定的長度，所以需要判斷對應返回值，來決定是否繼續發送或讀取

 

 

// 發送數據
int ret = SSL_write(ssl, buf + last_write_pos, buf_len - last_write_pos);

// 讀取數據
int ret = SSL_read(ssl, buf + last_read_pos, buf_len - last_read_pos);

 

關閉連接

 

// 關閉 ssl 連接
SSL_shutdown(ssl);
SSL_free(ssl);
SSL_CTX_free(ssl_ctx);

// 然后關閉 socket
close(sock_fd);

要點記錄

在使用過程中，整體流程是十分順利的。一個最重要的點是關於 openssl 與 epoll 的邊緣觸發配合的問題。

當需要使用 epoll 的邊緣觸發時，一定要注意，SSL_read 最多只會讀取一個完整的加密段，所以，當一次可以讀取的數據量大於此值時，需要循環調用 SSL_read 直到讀取失敗為止。否則，就會導致在緩沖區中的數據沒有完全讀取的情況。