用的是阿里雲學生機服務器,ubuntu系統
先安裝一個chromium內核,參考:https://blog.csdn.net/sdujava2011/article/details/50880663
32位:
下載:wget https://dl.google.com/linux/direct/google-chrome-stable_current_i386.deb
安裝:sudo dpkg -i google-chrome-stable_current_i386.deb
64位:
下載:wget https://dl.google.com/linux/direct/google-chrome-stable_current_amd64.deb
安裝:sudo dpkg -i google-chrome-stable_current_amd64.deb
然后找到路徑:
which ch(雙擊Tab鍵)(主要為了確認安裝是否成功)
然后填補
which chromium
比如我的是這樣子的(路徑記下來,有用的)
之后下載python以及用pip下載這些庫
然后clone原作者的項目https://github.com/timwhitez/crawlergo_x_XRAY
git clone https://github.com/timwhitez/crawlergo_x_XRAY.git
之后的crawlergo 和xray我是選擇手動下載在上傳到服務器中的
crawlergo:https://github.com/0Kee-Team/crawlergo/tags
xray:https://github.com/chaitin/xray/tags
注意選擇linux版本
crawlergo文件放在和launch.py同目錄下
xray的位置隨意,推薦放在crawlergo_x_XRAY里面
上傳到服務器后,有可能無法運行,chmod 777 給一下權限
測試一下能不能用
crawlergo: ./crawlergo -c [chromium路徑] -t [最大標簽頁數] [目標網址]
./crawlergo -c /snap/bin/chromium -t 5 http://www.baidu.com
可以正常運行:
xray :./xray_linux_amd64 version
可以正常運行:
之后vim打開launch.py
找到這一行
修改為chromium的路徑
:wq保存退出
直接測試運行一下
xray: ./xray_linux_amd64 webscan --listen 127.0.0.1:7777 --html-output test_1.html
python3 launcher.py
可能會比較久