【20171104早】python爬蟲之username,password登陸

工欲善其事，必先利其器。網站只能通過交互式登陸嗎？當然不是，作為網絡蠻荒世界的一個劍客，老黑欲練就自由之劍，呵呵，就是用代碼編寫可以自動登陸系統的工具，從而獲取想要的數據。

簡單版：

樣板網站：

成績系統：http://jwc.ecjtu.jx.cn/mis_o/login.htm

賬號：jwc

密碼：jwc

Now! Let's go! go ! go!

　　s1：獲取實際登陸的url，老黑使用了firefox，live http headers工具，填入賬號密碼后，獲取到實際登陸的url為http://jwc.ecjtu.jx.cn/mis_o/login.php，post信息為: user=jwc&pass=jwc&Submit=%CC%E1%BD%BB

　　s2：編寫python代碼模擬登陸，使用到了python中requests

# -*- coding: utf-8 -*-
import sys
import requests
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jwc.ecjtu.jx.cn/mis_o/login.php'
# 1: get 2: post
option = '2'
if option == '1':
    url = 'http://www.kfzhongzhou.com/cyjb_xx.asp?id=15'

output_file = open('D:\codehub\output.html', 'w')
datas = {'user': 'jwc',
         'pass': 'jwc',
         'Submit': '%CC%E1%BD%BB'
         }
headers = {'Referer': 'http://jwc.ecjtu.jx.cn/mis_o/login.php',
           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 '
                         '(KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36',
           'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
           'Accept-Language': 'zh-CN,zh;q=0.8',
           }
if __name__ == '__main__':
    print '開始！'
    responses = None
    sessions = requests.session()
    if option == '1':
        responses = sessions.get(url)
    else:
        responses = sessions.post(url, headers=headers, data=datas)
    print responses.headers
    print responses.status_code

    r2 = sessions.get('http://jwc.ecjtu.jx.cn/mis_o/main.php')
    context = r2.text
    output_file.write(context)
    print '結束！'
    output_file.close()

　　解釋：構造sessions進行登陸，保證可以下載正常登陸后才能訪問道的main.php頁面，進行驗證是否登陸成功。

　　s3：效果，main.php內容被寫在本地文件output.html中，用firefox打開后是如下效果

　　因為這個系統編碼的問題導致寫入output.html中的內容是亂碼，對比一下正常登陸的頁面，可以看出是登陸成功了。

擴展：優化后可以使用cookie進行登陸，參考文章 地址