Python錯誤提示：[Errno 24] Too many open files的分析與解決

背景

最近在工作中發現了一個錯誤，在執行多線程掃描腳本的時候頻繁出現下面這個錯誤

HTTPConnectionPool(host=‘t.tips', port=80): Max retries exceeded with url: /index.php (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x7f29d4081150>: Failed to establish a new connection: [Errno 24] Too many open files',))

比較詭異...

分析

博主自己手上的一些小項目經常需要進行多線程的批量掃描來采集數據，像采集數據這種功能當然是線程越多越好了，所以通常情況下我都是使用 3000 個線程進行掃描，在確定帶寬充足，系統硬件配置夠高的情況下依然會出現上述問題，這就讓我想到是不是因為系統的限制問題。

通過搜索引擎我找到了關於系統限制的介紹，執行

$ ulimit -n
1024

得到的結果是1024，系統限制為同時打開1024個文件，這顯然是太少了。

解決

這個問題的解決方法很簡單，直接修改下面的文件

sudo vim /etc/security/limits.conf

最這個文件的最后添加兩行代碼

* soft nofile 10240
* hard nofile 10240

當然這個數字根據自己的需要進行修改即可，保存后注銷重新登錄就好了。