小米范網站批量爬蟲工具，是一款針對大量網站進行快速爬取的工具，爬取的URL可進一步調用wvs、sqlmap、brutexss等工具進行檢測。
工具使用方法：
1、點擊新建任務，輸入要檢測的URL。
2、設置子域名白名單，屬於白名單域名的URL則自動保留並進行抓取。
2、設置並發站點、並發線程等參數，點擊開始即可。
工具的工作流程：
假設我們新建任務，放入100個URL作為爬蟲的起始URL，那么具體的爬取過程如下：
1、 針對這100個URL，按照是否同源進行合並，同源的URL則放入一個目標，並將這些URL作為這個源的起始URL。
2、 針對每個目標進行爬取（默認並發5個目標），針對每個目標的起始URL采用瀏覽器點擊抓包（默認每個目標最多開5個瀏覽器）+HTML解析的方式獲取URL，瀏覽器點擊在后台運行，沒有界面，這里的瀏覽器點只是在點擊后將發出去的請求URL記錄，但並不真正發出去請求。
3、 將前兩步收集到的URL作為種子，進行傳統的爬取，這里的爬取主要采用了webmagic框架，並對框架本身做了一點修改。另外每一個頁面下載之前會進行爬取URL黑名單匹配，匹配到黑名單則跳過，下載到的每個頁面提取出來的URL會進行子域名白名單匹配，匹配到白名單則會放入爬取隊列。
針對爬到的URL可直接右鍵使用sqlmap、brutexss、panoptic、wvs進行安全檢測，目前還在考慮再加入一些其他的檢測工具。
此外也提供了目錄掃描功能，在左側樹形結構的任意節點右鍵目錄掃描會對當前選中節點所在的路徑進行目錄掃描。
下載地址：http://pan.baidu.com/s/1pLjaQKF 文件名 XmfSpider