（1）使用制作python爬蟲
這篇文章足夠帶你學會如何制作爬蟲：https://www.jianshu.com/p/486869f23959
（2）在linux搭建python環境，可以查看我搭建環境的隨筆
http://www.cnblogs.com/mituxiaogaoyang/p/8656414.html
（3）在獨立的虛擬環境中使用pip安裝對應的依賴包（例如：pip install pymysql）
（4）在對應的spider文件夾下創建cron.sh腳本，內容如下：
1 #! /bin/sh 2 PATH=$PATH:$HOME/.local/bin:$HOME/bin 3 export PATH="/home/python/.pyenv/bin:$PATH" 4 eval "$(pyenv init -)" 5 eval "$(pyenv virtualenv-init -)" 6 echo 'this is a new shell' 7 cd /home/python/zgc/projects/bdSpider/ 8 nohup scrapy crawl bd >> bd.log 2>&1 &
（5）設置定時啟動，即加入執行以上shell腳本的定時任務
crontab -e
在彈出來的文件中寫入以下代碼：
*/1 * * * * /home/python/zgc/projects/bdSpider/cron.sh
保存並退出即可。