湯之盤銘曰 苟日新 日日新 又日新
康誥曰 作新民
詩曰 周雖舊邦 其命維新
是故 君子無所不用其極
——禮記·大學
在上一篇文章《DDoS攻防戰 （二） ：CC攻擊工具實現與防御理論》中,筆者闡述了一個防御狀態機，它可用來抵御來自應用層的DDoS攻擊，但是該狀態機依賴一個能應對大量條目快速增刪的ip黑白名單防火牆，我們目前並沒有發現很好的開源實現以供我們使用。
·實現方案選擇：
硬件實現或者軟件實現？
在面對諸如大量畸形包這樣的攻擊時，硬件實現將會是非常好的選擇，這是因為在進行此類型的封包過濾時，系統需要記憶的狀態很少（對於FPGA、ASIC諸多硬件實現方案來講，記憶元件的成本決不可忽視，寄存器與靜態RAM都非常昂貴，所以當需要記憶的信息很少時，純硬件方案的速度優勢使得其完勝軟件方案）。
但是，當狀態機需要處理龐大的記憶信息時，我們就需要選擇廉價的存儲器——動態隨機存儲器（如SDRAM中的DDR3）來作為系統狀態機的存儲介質，以降低系統的成本和復雜度。這時，軟件實現更勝一籌。盡管純硬件實現的速度會比軟件的方式高出很多，但我們也從第一篇文章《DDoS攻防戰 （一） ： 概述》中lvs性能的測試結果中看到，軟件實現的、作為服務器前端均衡調度器的lvs，性能理想並且能勝任實際生產環境中的、龐大的用戶請求處理，可見，如果設計合理，軟件實現的性能無需過多擔憂。
最終，我們決定采用軟件的方法來實現所需的ip黑白名單模塊。
·最終系統鳥瞰：
筆者花費大約二十天的時間，使用C語言實現了這一模塊，其中，內核空間的核心代碼約2300行，用戶空間管理工具的代碼總行數約為700行。下為系統的鳥瞰：
·用戶空間管理工具fripadm，通過ioctl與工作於內核態的frdev模塊進行通信
·frdev維護兩個double_hash_table的實例，並提供了一個掛在NF_INET_PRE_ROUTING的鈎子函數，其通過操作這兩個double_hash_table的實例以分別實現ip黑名單、白名單的功能
·frdev通過內核中設備驅動的ioctl機制，向用戶空間提供這兩個double_hash_table實例的操作函數，而我們的用戶空間管理工具fripadm正是基於此而實現的
下面是內核態的主要數據結構與其對應的操作函數：
struct fr_ip_hash_array的功能： 精確ip查詢； 模糊ip查詢； 自定義hash表的長度； 自定義hash function，其輸入散列隨機數為rnd； 維護精確ip的哈希表； 維護模糊ip的鏈表； 維護精確ip與模糊ip的諸統計信息； ip字符描述語法： /* ips_syntax : RE digit =: [0-9] num =: (digit){1,3} atom =: num | (num'-'num) | '*' ip =: atom '.' atom '.' atom '.' atom ips =: (ip ' ')+ */ // ret 0 success,otherwise syntax error // "1-220.*.100.33 1-220.*.100.33 1-220.*.100.33" struct fr_ip_hash_array的方法： fr_ip_hash_array_malloc / fr_ip_hash_array_destroy fr_ip_hash_array_insert_ip ：增加一條精確ip記錄 fr_ip_hash_array_insert_blurip_ptr ：增加一條模糊ip記錄（以指針引用的方式） fr_ip_hash_array_delete_ip fr_ip_hash_array_delete_blurip_ptr fr_ip_hash_array_delete_ip_randomly ：隨機地刪除指定數量的精確ip fr_ip_hash_array_insert_ip_bystrings ：通過字符串的表述方式，向fr_ip_hash_array增加精確ip或者模糊ip fr_ip_hash_array_delete_ip_bystrings fr_ip_hash_array_find_bool ：查找給定的ip是否在已存儲的模糊ip范圍之內或者精確ip的哈希表之中 fr_ip_hash_array_find_ip_bool ：查找給定的ip是否在精確ip的哈希表之中 fr_ip_hash_array_find_ip_bystrings_bool
·為什么使用雙哈希表緩沖？
請考慮如下場景：
情況1：來自應用層的DDoS攻擊常常是瞬間涌入大量非法ip請求，例如數萬個非法ip，所以，對於防火牆黑白名單功能的要求至少有如下：能在很短的時間內更新大量數據項，且不能造成系統服務停頓。
分析：如果只使用一個全局的哈希表，當在短時間內進行大量的數據項增刪時，例如，成千上萬個，此時，即使采用多把讀寫鎖分割哈希表的策略，對共享資源的競爭也依然將嚴重影響系統響應速度，嚴重時系統可能會停頓或者更糟，對於生產環境中的高負載服務器，這是無法容忍的。
解決：以空間換時間
采用雙哈希表緩沖的策略，將系統共享資源的競爭熱點壓縮至兩個hash表指針主備切換的極短時間內，此方法能顯著降低系統在大量數據項更新時共享資源的競爭。
系統查詢將會直接訪問master指向的fr_ip_hash_array，而用戶的更新操作將直接針對mirror所指向的另一個fr_ip_hash_array實例，直到switch_mirror_update操作的執行，master將被瞬間“更新”。這是其主要的工作特點。
對於SMP與多隊列網卡的系統，可采用如下策略：多數cpu核心專門負責處理內核的softirq任務，剩下的少數cpu負責進行雙哈希表的更新、切換與重建等操作。這樣可提高系統對攻擊的快速防御響應。
但此方案將使得系統需要維護兩個互為鏡像的哈希表，這將加重系統內存的讀寫負擔。
具體實現細節如下：
struct fr_ip_double_hash的成員： struct fr_ip_hash_array * master_ptr; rwlock_t master_lock; struct fr_ip_hash_array * mirror_ptr; rwlock_t mirror_lock;
struct fr_ip_double_hash的方法： fr_ip_double_hash_malloc / fr_ip_double_hash_destroy fr_ip_double_hash_mirror_insert_ip ：只針對mirror的insert ip操作 fr_ip_double_hash_mirror_insert_blurip_ptr fr_ip_double_hash_mirror_insert_bystrings fr_ip_double_hash_mirror_delete_ip fr_ip_double_hash_mirror_delete_blurip_ptr fr_ip_double_hash_mirror_delete_bystrings fr_ip_double_hash_mirror_delete_ip_randomly fr_ip_double_hash_mirror_delete_all ：刪除mirror中所有的ip記錄，即所有的精確ip和模糊ip記錄 fr_ip_double_hash_switch_mirror_update ：將mirror與master互換，並更新master至mirror（此時的mirror即為之前的master） fr_ip_double_hash_rebuild ：將雙哈希表重建，可指定新的hash function、rnd以及hash表的長度，這將解決hash表查詢效率低下的問題，以防御外界針對hash表的攻擊。當然，在重建之后，原有的諸多ip條目不會丟失。 fr_ip_double_hash_find_bool fr_ip_double_hash_find_bystrings_bool
掛到協議棧上的鈎子函數：
在模塊初始化函數fr_ip_dev_init的最后，即當兩個雙哈希表實例（分別用作黑名單與白名單）初始化成功、fedev設備注冊成功之后，其將會執行nf_register_hook，將指定的鈎子函數fr_nf_hook_sample掛到NF_INET_PRE_ROUTING之上。
fr_nf_hook_sample的主要處理代碼如下：
if(fr_ip_double_hash_find_bool(double_hash_white_ptr,sip))
return NF_ACCEPT; else if(fr_ip_double_hash_find_bool(double_hash_ptr,sip))
return NF_DROP; else
return NF_ACCEPT;
其中，double_hash_white_ptr指向白名單fr_ip_double_hash實例，double_hash_ptr則指向黑名單fr_ip_double_hash實例，由於支持模糊ip匹配，故，上述代碼使得對源ip過濾的“通”、“堵”策略皆可使用。
內核空間frdev的ioctl處理函數：
目前，ioctl支持來自用戶空間的如下操作：
//黑名單操作 /* in-black ip */ #define FR_IP_IOCTL_TYPE_FIND 1 #define FR_IP_IOCTL_TYPE_FIND_BYSTRINGS 2 // * 輸入ip字符查找 #define FR_IP_IOCTL_TYPE_MIRROR_INSERT_IP 3 #define FR_IP_IOCTL_TYPE_MIRROR_INSERT_BYSTRINGS 4 // * #define FR_IP_IOCTL_TYPE_MIRROR_DELETE_IP 5 // * #define FR_IP_IOCTL_TYPE_MIRROR_DELETE_IP_RANDOMLY 6 //* #define FR_IP_IOCTL_TYPE_MIRROR_DELETE_BYSTRINGS 7 // * #define FR_IP_IOCTL_TYPE_MIRROR_DELETE_ALL 8 //* #define FR_IP_IOCTL_TYPE_SWITCH_MIRROR_UPDATE 9 // * #define FR_IP_IOCTL_TYPE_REBUILD 10 // * #define FR_IP_IOCTL_TYPE_COPY_HASH_STRUCT 11 // * #define FR_IP_IOCTL_TYPE_DUMP 12 //* 輸出雙哈希表的分布情況與統計信息 #define FR_IP_IOCTL_TYPE_MIRROR_INSERT_IP_BINS 13 //* 一次增加大量精確ip，以二進制的方式輸入 #define FR_IP_IOCTL_TYPE_MIRROR_DELETE_IP_BINS 14 //* //白名單操作 /* in-white ip */ #define FR_IP_IOCTL_TYPE_WHITE_FIND 101 #define FR_IP_IOCTL_TYPE_WHITE_FIND_BYSTRINGS 102 // * #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_INSERT_IP 103 #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_INSERT_BYSTRINGS 104 // * #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_DELETE_IP 105 #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_DELETE_IP_RANDOMLY 106 // * #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_DELETE_BYSTRINGS 107 // * #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_DELETE_ALL 108 //* #define FR_IP_IOCTL_TYPE_WHITE_SWITCH_MIRROR_UPDATE 109 // * #define FR_IP_IOCTL_TYPE_WHITE_REBUILD 110 // * #define FR_IP_IOCTL_TYPE_WHITE_COPY_HASH_STRUCT 111 // * #define FR_IP_IOCTL_TYPE_WHITE_DUMP 112 //* #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_INSERT_IP_BINS 113 //* #define FR_IP_IOCTL_TYPE_WHITE_MIRROR_DELETE_IP_BINS 114 //*
上述各功能的具體實現請閱讀frdev源碼中的fr_ip_dev_ioctl_routine函數。
用戶空間管理工具：fripadm
第一步，實現fripadm_black_in_exe與fripadm_white_in_exe，是分別管理黑白名單的工具，不過，較為簡陋，第二步，使用shell腳本對其進行二次封裝得到fripadm_black_in.sh與fripadm_white_in.sh這兩個較用戶友好的工具。
fripadm為用戶空間的C語言開發者們提供了如下API：
//針對ip黑名單的操作 double_hash_find_bystrings(int fd,char * str, unsigned int size) //其中fd為frdev的fd——文件描述符 double_hash_mirror_insert_bystrings(int fd,char * str, unsigned int size) double_hash_mirror_insert_bins(int fd,char * str, unsigned int size) double_hash_mirror_delete_bystrings(int fd,char * str, unsigned int size) double_hash_mirror_delete_bins(int fd,char * str, unsigned int size) double_hash_mirror_delete_ip_randomly(int fd,unsigned int size) double_hash_mirror_delete_all(int fd) double_hash_switch_mirror_update(int fd) double_hash_rebuild(int fd,unsigned int modular, unsigned int rnd) double_hash_dump(int fd) //針對ip白名單的操作 double_hash_white_find_bystrings(int fd,char * str, unsigned int size) //其中fd為frdev的fd——文件描述符 double_hash_white_mirror_insert_bystrings(int fd,char * str, unsigned int size) double_hash_white_mirror_insert_bins(int fd,char * str, unsigned int size) double_hash_white_mirror_delete_bystrings(int fd,char * str, unsigned int size) double_hash_white_mirror_delete_bins(int fd,char * str, unsigned int size) double_hash_white_mirror_delete_ip_randomly(int fd,unsigned int size) double_hash_white_mirror_delete_all(int fd) double_hash_white_switch_mirror_update(int fd) double_hash_white_rebuild(int fd,unsigned int modular, unsigned int rnd) double_hash_white_dump(int fd)
fripadm_black_in_exe、fripadm_white_in_exe、fripadm_black_in.sh與 fripadm_white_in.sh的具體實現請參看frdev源碼。
最終系統測試：
按照README所述的過程，編譯、安裝完畢frdev設備后，便可進行如下測試：
原本被black所DROP的數據包，在更新了white的ip條目后，被white所ACCEPT，上圖紅線標出了數據包被截斷的icmp_seq的區間。
關於frdev的陳述到此為止。
最近筆者在閱讀《白帽子講Web安全》這本書時，發現了雅虎公司用於防護應用層DDoS攻擊的系統Yahoo Detecting System Abuse，yahoo為此系統申請了專利保護。下面是關於這個系統的描述：
（Patent N0.: US 7,533,414 B1 資料來源 http://patentimages.storage.googleapis.com/pdfs/US7533414.pdf)
A system continually monitors service requests and detects service abuses.
First, a screening list is created to identify potential abuse events. A screening list includes event IDs and associated count values. A pointer cyclically selects entries in the table,advancing as events are received.
An incoming event ID is compared with the event IDs in the table. If the incoming event ID matches an event ID in the Screening list,the associated count is incremented. Otherwise, the count of a selected table entry is decremented. If the count value of the selected entry falls to Zero, it is replaced With the incoming event.
Event IDs can be based on properties of service users,such as user identifications, or of service request contents,such as a search term or message content. The screening list is analyzed to determine whether actual abuse is occurring.
大概思路如下：
此系統通過維護一個篩選表來得到用戶的請求頻率，以判斷其是否存在service abuse，然采取相關措施，例如BLOCK。
這種防御思想，與我們之前所提出的防御狀態機有着異曲同工之妙。筆者認為這是必然的。
前面的文章已經提過，DDoS攻擊存在的主要原因之一是網絡服務的開放性，我們不可能從下層來解決這樣的問題（因為服務的可用性是第一要求），只能從上層分析解決.
而應用層已經處於協議棧的最高層，所以，要防御應用層DDoS攻擊，只能從應用層以上來尋找解法，故，在這種情況下，除了借助數據統計分析，難道還會有更好的方法么？
在實現frdev的過程中，借助互聯網解決了很多問題，所以，如果您需要frdev的源碼，請在下方留下郵箱 :)
這是frdev在github上的地址，https://github.com/hnes/frdev，如果有小伙伴想要一起來增強frdev的功能，熱烈歡迎 :)
通訊郵箱：at Gmail named yunthanatos