上篇我們簡單介紹了 redis 客戶端的一些基本概念，包括其 client 數據結構中對應的相關字段的含義，本篇我們結合這些，來分析分析 redis 服務端程序是如何運行的。一條命令請求的完成，客戶端服務端都經歷了什么？服務端程序中定時函數 serverCron 都有哪些邏輯？
一、redis 客戶端如何連接服務端
我們平常最簡單的一個 redis 客戶端命令，redis-cli，這個命令會導致我們的客戶端向服務端發起一個 connect 連接操作，具體就是以下幾個步驟。
1、網絡連接
第一步是網絡連接，也就是我們的客戶端會與服務端進行 TCP 三次握手，並指明使用 socket 通信協議。
接着服務端 redis 使用 epoll 事件機制監聽端口的讀事件，一旦事件可讀則判定是有客戶端嘗試建立連接，服務端會檢查最大允許連接數是否到達，如果達到則拒絕建立連接，否則服務端會創建一個 fd 文件描述符並返回給客戶端，代表連接成功建立。
2、更新客戶端連接信息
之前介紹 redis 客戶端的時候，我們說過 redisServer 中有這么一個字段：
struct redisServer {
........
list *clients; /* List of active clients */
........
}
clients 字段是一個雙端鏈表結構，保存了所有成功建立連接的客戶端 client 信息，那么我們第二步就是創建一個 client 結構的客戶端抽象實例並添加到 redisServer 結構 clients 鏈表中。
3、為新客戶端注冊讀事件
每一個客戶端連接都對應一個 fd 文件描述符，我們只需要監聽這個文件描述符的讀事件，即可判斷該套接字上是否有信息發送過來。
這里也一樣，我們通過注冊該 fd 的讀事件，當該客戶端發送信息給服務端時，我們無需去輪詢即可發現該客戶端在請求服務端的動作，繼而服務端程序解析命令。
二、redis 如何執行一條命令
redis 服務端程序啟動后，會初始化一些字段變量，為 redisServer 中的一些字段賦默認值，還會讀取用戶指定的配置文件內容並加載配置，反應到具體數據結構內，最后會調用 asMain 函數進行事件循環監聽。
每當客戶端發起連接請求，或者發送命令過來，這里的事件分發器就會監聽到套接字的可讀事件，於是找到可讀事件所綁定的事件處理器 readQueryFromClient，並調用它。
void readQueryFromClient(aeEventLoop *el, int fd, void *privdata, int mask) {
client *c = (client*) privdata;
........
//讀取客戶端輸入緩沖區大小
qblen = sdslen(c->querybuf);
if (c->querybuf_peak < qblen) c->querybuf_peak = qblen;
c->querybuf = sdsMakeRoomFor(c->querybuf, readlen);
//從 fd 文件描述符對應的 socket 中讀取命令數據
//保存進 querybuf 輸入緩沖區
nread = read(fd, c->querybuf+qblen, readlen);
if (nread == -1) {
if (errno == EAGAIN) {
//異常返回
return;
} else {
//異常釋放客戶端連接
serverLog(LL_VERBOSE, "Reading from client: %s",strerror(errno));
freeClient(c);
return;
}
} else if (nread == 0) {
//客戶端已經關閉、釋放客戶端
serverLog(LL_VERBOSE, "Client closed connection");
freeClient(c);
return;
} else if (c->flags & CLIENT_MASTER) {
c->pending_querybuf = sdscatlen(c->pending_querybuf,
c->querybuf+qblen,nread);
}
sdsIncrLen(c->querybuf,nread);
c->lastinteraction = server.unixtime;
if (c->flags & CLIENT_MASTER) c->read_reploff += nread;
server.stat_net_input_bytes += nread;
//如果輸入緩沖區長度超過系統設置最大長度，釋放客戶端
if (sdslen(c->querybuf) > server.client_max_querybuf_len) {
sds ci = catClientInfoString(sdsempty(),c), bytes = sdsempty();
bytes = sdscatrepr(bytes,c->querybuf,64);
serverLog(LL_WARNING,"Closing client that reached max query buffer length: %s (qbuf initial bytes: %s)", ci, bytes);
sdsfree(ci);
sdsfree(bytes);
freeClient(c);
return;
}
if (!(c->flags & CLIENT_MASTER)) {
processInputBuffer(c);
} else {
size_t prev_offset = c->reploff;
//這里會讀取緩沖區寫入的命令
processInputBuffer(c);
size_t applied = c->reploff - prev_offset;
if (applied) {
replicationFeedSlavesFromMasterStream(server.slaves,
c->pending_querybuf, applied);
sdsrange(c->pending_querybuf,applied,-1);
}
}
}
總的來說，readQueryFromClient 主要完成的就是將 socket 中發來的命令讀取到客戶端輸入緩沖區，然后調用 processInputBuffer 處理緩沖區中的命令。
void processInputBuffer(client *c) {
server.current_client = c;
while(sdslen(c->querybuf)) {
if (!(c->flags & CLIENT_SLAVE) && clientsArePaused()) break;
if (c->flags & CLIENT_BLOCKED) break;
if (c->flags & (CLIENT_CLOSE_AFTER_REPLY|CLIENT_CLOSE_ASAP)) break;
//判斷請求類型
if (!c->reqtype) {
if (c->querybuf[0] == '*') {
c->reqtype = PROTO_REQ_MULTIBULK;
} else {
c->reqtype = PROTO_REQ_INLINE;
}
}
//根據不同的請求類型，執行命令解析
//實際上就是把命令的名稱、參數解析存入 argc 數組中
if (c->reqtype == PROTO_REQ_INLINE) {
if (processInlineBuffer(c) != C_OK) break;
} else if (c->reqtype == PROTO_REQ_MULTIBULK) {
if (processMultibulkBuffer(c) != C_OK) break;
} else {
serverPanic("Unknown request type");
}
if (c->argc == 0) {
resetClient(c);
} else {
//查找執行命令
if (processCommand(c) == C_OK) {
if (c->flags & CLIENT_MASTER && !(c->flags & CLIENT_MULTI)) {
c->reploff = c->read_reploff - sdslen(c->querybuf);
}
if (!(c->flags & CLIENT_BLOCKED) || c->btype != BLOCKED_MODULE)
resetClient(c);
}
if (server.current_client == NULL) break;
}
}
server.current_client = NULL;
}
processCommand 函數會從客戶端實例命令參數字段中拿到命令的名稱、參數類型、參數值等等信息。redisServer 在成功啟動后，會調用 populateCommandTable 方法初始化 redisCommandTable，存入一個字典集合。
每一個 redisCommand 是這么一個數據結構：
struct redisCommand {
//命令名稱
char *name;
//函數指針，指向一個具體實現
redisCommandProc *proc;
//參數個數
int arity;
//命令的類型，寫命令？讀命令？等
char *sflags;
int flags;
redisGetKeysProc *getkeys_proc;
int firstkey;
int lastkey;
int keystep;
//服務器啟動后共調用該命令次數
//服務器啟動后執行該命令耗時總
long long microseconds, calls;
};
processCommand 最后會找到命令，進而執行命令，並將命令執行的結果寫入客戶端輸出緩沖區，並將響應寫回客戶端。以上就是 redis 對於一條命令請求的執行過程，隨着我們的不斷學習，以上內容會不斷深入，現在你可以理解的大概就好。
三、周期系統函數 serverCron
redis 可以說是事件驅動中間件，它主要有兩種事件，文件事件和時間事件，文件事件我們就不多說，時間事件主要分為兩種，一種是定時事件，另一種周期事件。
定時事件指的是，預定的程序將會在某個具體的時間節點執行。周期事件是指，預定程序每隔某個時間間隔就會被調用執行。
而我們的 serverCron 顯然是一個周期時間事件，在正式分析其源碼實現之前，我們先來看看它的前世今身，在哪里被注冊，又是如何被調用的。
void initServer(void) {
。。。。。
if (aeCreateTimeEvent(server.el, 1, serverCron, NULL, NULL) == AE_ERR) {
serverPanic("Can't create event loop timers.");
exit(1);
}
。。。。。
}
我們 redis 服務器啟動初始化時，會調用 aeCreateTimeEvent 綁定一個 serverCron 的時間事件。
這是 redis 中事件循環結構
typedef struct aeEventLoop {
int maxfd; /* highest file descriptor currently registered */
int setsize; /* max number of file descriptors tracked */
long long timeEventNextId;
time_t lastTime; /* Used to detect system clock skew */
aeFileEvent *events; /* Registered events */
aeFiredEvent *fired; /* Fired events */
aeTimeEvent *timeEventHead;
int stop;
void *apidata; /* This is used for polling API specific data */
aeBeforeSleepProc *beforesleep;
aeBeforeSleepProc *aftersleep;
} aeEventLoop;
其中指針 timeEventHead 是一個雙端鏈表，所有的時間事件都會以鏈表的形式存儲在這里，具體指向的結構是 aeTimeEvent。
typedef struct aeTimeEvent {
long long id; /* time event identifier. */
//下一次什么時候被執行（單位秒）
long when_sec; /* seconds */
//下一次什么時候被執行（單位毫秒）
long when_ms; /* milliseconds */
//時間事件處理函數
aeTimeProc *timeProc;
aeEventFinalizerProc *finalizerProc;
void *clientData;
//前后鏈表指針
struct aeTimeEvent *prev;
struct aeTimeEvent *next;
} aeTimeEvent;
serverCron 在這里會被創建並添加到時間事件鏈表中，並設置它下一次執行時間為當前時間，具體你可以自行深入查看調用棧，那么下一次時間事件檢查的時候，serverCron 就一定會被執行。
好了，至此 serverCron 已經注冊進 redis 的時間事件結構中，那么什么時候檢查並調用呢？
void aeMain(aeEventLoop *eventLoop) {
eventLoop->stop = 0;
while (!eventLoop->stop) {
if (eventLoop->beforesleep != NULL)
eventLoop->beforesleep(eventLoop);
aeProcessEvents(eventLoop, AE_ALL_EVENTS|AE_CALL_AFTER_SLEEP);
}
}
還記的我們 redis 成功啟動后，會進入主事件循環中嗎？aeProcessEvents 里面具體不一行行帶大家分析了，我們挑相關的進行分析。
int aeProcessEvents(aeEventLoop *eventLoop, int flags)
{
。。。。。
//遍歷整個時間事件鏈表，找到最快要被執行的任務
//計算與當前時間的差值
if (flags & AE_TIME_EVENTS && !(flags & AE_DONT_WAIT))
shortest = aeSearchNearestTimer(eventLoop);
if (shortest) {
long now_sec, now_ms;
aeGetTime(&now_sec, &now_ms);
tvp = &tv;
long long ms =
(shortest->when_sec - now_sec)*1000 +
shortest->when_ms - now_ms;
//記錄差值保存進變量 tvp
if (ms > 0) {
tvp->tv_sec = ms/1000;
tvp->tv_usec = (ms % 1000)*1000;
} else {
//已經錯過執行該時間事件，tvp 賦零
tvp->tv_sec = 0;
tvp->tv_usec = 0;
}
} else {
if (flags & AE_DONT_WAIT) {
tv.tv_sec = tv.tv_usec = 0;
tvp = &tv;
} else {
tvp = NULL; /* wait forever */
}
}
//aeApiPoll 會處理文件事件，最長 tvp 時間就要返回
numevents = aeApiPoll(eventLoop, tvp);
。。。。。
//檢查處理時間事件
if (flags & AE_TIME_EVENTS)
processed += processTimeEvents(eventLoop);
}
你看，實際上盡管我們對周期時間事件指定了嚴格的執行間隔，但實際上大多數情況下，時間事件會晚於我們既定時間節點。
processTimeEvents 函數檢查所有時間事件函數，如果有符合條件應該得到執行的，會立即執行該事件處理器，並根據事件處理器返回的狀態，刪除時間事件或設置下一次執行時間。
static int processTimeEvents(aeEventLoop *eventLoop) {
。。。。。。
//獲取當前時間
aeGetTime(&now_sec, &now_ms);
if (now_sec > te->when_sec ||
(now_sec == te->when_sec && now_ms >= te->when_ms))
{
int retval;
id = te->id;
retval = te->timeProc(eventLoop, id, te->clientData);
processed++;
if (retval != AE_NOMORE) {
//這是一個周期執行的時間事件，設置下次執行時間
aeAddMillisecondsToNow(retval,&te->when_sec,&te->when_ms);
} else {
//刪除事件
te->id = AE_DELETED_EVENT_ID;
}
}
te = te->next;
}
以上，你應該了解到 serverCron 何時注冊的，何時被執行，經過了哪些過程。下面我們具體看 serverCron 的內容。
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
int j;
UNUSED(eventLoop);
UNUSED(id);
UNUSED(clientData);
if (server.watchdog_period) watchdogScheduleSignal(server.watchdog_period);
//更新 server.unixtime 和 server.mxtime
updateCachedTime();
//每間隔 100 毫秒，統計一次這段時間內命令的執行情況
run_with_period(100) {
trackInstantaneousMetric(STATS_METRIC_COMMAND,server.stat_numcommands);
trackInstantaneousMetric(STATS_METRIC_NET_INPUT,
server.stat_net_input_bytes);
trackInstantaneousMetric(STATS_METRIC_NET_OUTPUT,
server.stat_net_output_bytes);
}
。。。。。。
}
其中 run_with_period 為什么能做到顯式控制 100 毫秒內只執行一次呢？
其實 run_with_period 的宏定義如下：
#define run_with_period(_ms_)
if ((_ms_ <= 1000/server.hz) ||
!(server.cronloops%((_ms_)/(1000/server.hz))))
server.hz 是 redisServer 結構中的一個字段，可以允許我們通過配置文件進行調節，它是一個整數，描述服務 serverCron 在一秒內執行 N 次。server.cronloops 描述服務器自啟動以來，共執行 serverCron 次數。
那么，1000/server.hz 描述的就是 serverCron 每間隔多少毫秒就需要被執行，如果我們傳入的 ms 小於這個間隔，返回 1 並立馬執行后續函數體。或者根據 serverCron 已經執行的次數，計算間隔時間是否達到，返回 0 或 1。
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
。。。。。
//更新全局 lru 時鍾，這個用於每個 redis 對象最長未訪問淘汰策略
unsigned long lruclock = getLRUClock();
atomicSet(server.lruclock,lruclock);
//不斷比較當前內存使用量，存儲最高峰值內存使用量
if (zmalloc_used_memory() > server.stat_peak_memory)
server.stat_peak_memory = zmalloc_used_memory();
server.resident_set_size = zmalloc_get_rss();
// 如果收到了SIGTERM信號，嘗試退出
if (server.shutdown_asap) {
if (prepareForShutdown(SHUTDOWN_NOFLAGS) == C_OK) exit(0);
serverLog(LL_WARNING,"SIGTERM received but errors trying to shut down the server, check the logs for more information");
server.shutdown_asap = 0;
}
。。。。。。
}
lru 后面我們會繼續說的，redis 維護一個全局 lru 時鍾參照，每個 redisObject 結構中也會有一個自己的 lru 時鍾，它記錄的是上一次訪問該對象時的時鍾，這些信息會用於鍵值淘汰策略。所以，服務器會定時的更新這個全局 lru 時鍾，保證它准確。
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
。。。。。
//每間隔五秒，輸出非空數據庫中的相關屬性信息
run_with_period(5000) {
for (j = 0; j < server.dbnum; j++) {
long long size, used, vkeys;
size = dictSlots(server.db[j].dict);
used = dictSize(server.db[j].dict);
vkeys = dictSize(server.db[j].expires);
if (used || vkeys) {
serverLog(LL_VERBOSE,"DB %d: %lld keys (%lld volatile) in %lld slots HT.",j,used,vkeys,size);
/* dictPrintStats(server.dict); */
}
}
}
//如果不是sentinel模式，則每5秒輸出一個connected的client的信息到log
if (!server.sentinel_mode) {
run_with_period(5000) {
serverLog(LL_VERBOSE,
"%lu clients connected (%lu slaves), %zu bytes in use",
listLength(server.clients)-listLength(server.slaves),
listLength(server.slaves),
zmalloc_used_memory());
}
}
。。。。。。
}
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
。。。。。
clientsCron();
databasesCron();
。。。。。。
}
clientsCron 會檢查有哪些客戶端連接超時並將他們釋放，還會檢查客戶端的輸入緩沖區 querybuff 是否太大，或者該客戶端不是很活躍，那么會釋放掉該客戶端的輸入緩沖區並重新創建一個默認大小的。
databasesCron 會首先隨機遍歷所有的數據庫並抽取 expired 集合中部分鍵，判斷是否過期並執行相應的刪除操作。除此之外，該函數還會隨機訪問部分數據庫，並根據其狀態觸發 rehash。
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
。。。。
//如果服務沒有在執行 rdb 備份生成，也沒有在 aof 備份生成
//並且有被延遲的 aof rewrite，那么這里會執行
//當服務器正在進行 BGSAVE 備份的期間，所有的 rewrite 請求都會被延遲
if (server.rdb_child_pid == -1 && server.aof_child_pid == -1 &&
server.aof_rewrite_scheduled)
{
rewriteAppendOnlyFileBackground();
}
//如果有 rdb 子進程或 aof 子進程
if (server.rdb_child_pid != -1 || server.aof_child_pid != -1 ||
ldbPendingChildren())
{
int statloc;
pid_t pid;
if ((pid = wait3(&statloc,WNOHANG,NULL)) != 0) {
int exitcode = WEXITSTATUS(statloc);
int bysignal = 0;
if (WIFSIGNALED(statloc)) bysignal = WTERMSIG(statloc);
//子進程 id 等於負一，說明子進程退出或異常，記錄日志
if (pid == -1) {
serverLog(LL_WARNING,"wait3() returned an error: %s. "
"rdb_child_pid = %d, aof_child_pid = %d",
strerror(errno),
(int) server.rdb_child_pid,
(int) server.aof_child_pid);
} else if (pid == server.rdb_child_pid) {
//pid 指向 rdb 子進程 id
//判斷如果子進程退出了，進行一些后續的 rdb 操作
//更新 dirty，lastsave 時間等等
backgroundSaveDoneHandler(exitcode,bysignal);
if (!bysignal && exitcode == 0) receiveChildInfo();
} else if (pid == server.aof_child_pid) {
//pid 指向 aof 子進程 id
//aof 子進程退出，處理其后續的一些收尾
backgroundRewriteDoneHandler(exitcode,bysignal);
if (!bysignal && exitcode == 0) receiveChildInfo();
} else {
if (!ldbRemoveChild(pid)) {
serverLog(LL_WARNING,
"Warning, detected child with unmatched pid: %ld",
(long)pid);
}
}
updateDictResizePolicy();
closeChildInfoPipe();
}
} else {
//這部分我們前面的文章介紹過
//saveparams 保存了 save 所有的配置項，是一個數組
//這里校驗是否達到條件
for (j = 0; j < server.saveparamslen; j++) {
struct saveparam *sp = server.saveparams+j;
if (server.dirty >= sp->changes &&
server.unixtime-server.lastsave > sp->seconds &&
(server.unixtime-server.lastbgsave_try >
CONFIG_BGSAVE_RETRY_DELAY ||
server.lastbgsave_status == C_OK))
{
serverLog(LL_NOTICE,"%d changes in %d seconds. Saving...",
sp->changes, (int)sp->seconds);
rdbSaveInfo rsi, *rsiptr;
rsiptr = rdbPopulateSaveInfo(&rsi);
rdbSaveBackground(server.rdb_filename,rsiptr);
break;
}
}
。。。。
}
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
。。。。
if (server.aof_flush_postponed_start) flushAppendOnlyFile(0);
//每一秒檢查一次上一輪aof的寫入是否發生了錯誤，如果有錯誤則嘗試重新寫一次
run_with_period(1000) {
if (server.aof_last_write_status == C_ERR)
flushAppendOnlyFile(0);
}
freeClientsInAsyncFreeQueue();
clientsArePaused();
run_with_period(1000) replicationCron();
run_with_period(100) {
if (server.cluster_enabled) clusterCron();
}
run_with_period(100) {
if (server.sentinel_mode) sentinelTimer();
}
run_with_period(1000) {
migrateCloseTimedoutSockets();
}
if (server.rdb_child_pid == -1 && server.aof_child_pid == -1 &&
server.rdb_bgsave_scheduled &&
(server.unixtime-server.lastbgsave_try > CONFIG_BGSAVE_RETRY_DELAY ||
server.lastbgsave_status == C_OK))
{
rdbSaveInfo rsi, *rsiptr;
rsiptr = rdbPopulateSaveInfo(&rsi);
if (rdbSaveBackground(server.rdb_filename,rsiptr) == C_OK)
server.rdb_bgsave_scheduled = 0;
}
//增加 serverCron 執行次數
server.cronloops++;
return 1000/server.hz;
。。。。
}
以上，我們分析了 serverCron 的內部邏輯，雖然說我們配置上可以指定它執行間隔，但是實際上取決於具體的執行時間，內部邏輯也不少，希望你能了解了個大概。
好了，這是我們對於 redis 服務端程序的一點點了解，如果覺得我有說不對的地方或者你有更深的理解，也歡迎你加我微信一起探討。
接下來，我們的 redis 之旅從單擊開始步入多機模式，下一篇多機數據庫的理~
