python動態網頁爬取——四六級成績批量爬取

需求：

　　四六級成績查詢網站我所知道的有兩個：學信網（http://www.chsi.com.cn/cet/）和99宿舍（http://cet.99sushe.com/），這兩個網站采用的都是動態網頁。我使用的是學信網，好了，網站截圖如下：

                                                        

網站的代碼如下：

<form method="get" name="form1" id="form1" action="/cet/query">

<table border="0" align="center" cellpadding="0" cellspacing="0">
<tr><td align="right">准考證號：</td><td align="left"><input name="zkzh" value="112008000463141" id="zkzh" type="text" size="18" maxlength="15" class="input_text input_t_l" /></td>
  <td align="left" class="font12 color666">請輸入15位准考證號</td>
</tr>
<tr><td align="right">姓名：</td><td align="left"><input name="xm" value="啊啊" id="xm" type="text" size="18" maxlength="50" class="input_text input_t_l" /></td>
  <td align="left" class="font12 color666">姓名超過3個字，可只輸入前3個</td>
</tr>

<tr><td align="center">&nbsp;</td>
  <td colspan="2" align="left"><input type="submit" id="submitCET" class="btn_blue" value="查詢" /></td>
  </tr>
</table>
</form>

由圖中可以看出表單提交的鏈接為/cet/query，即：http://www.chsi.com.cn/cet/query，好了，填寫表單和結果如下：

                          

 

但是，點擊查看源代碼之后發現，沒有成績，即代碼仍是上面那個，之后按F12查看代碼：

<TBODY><TR>
<TH>姓名：</TH>
<TD>XXXX</TD></TR>
<TR>
<TH>學校：</TH>
<TD>XXXXXX</TD></TR>
<TR>
<TH>考試類別：</TH>
<TD>英語四級</TD></TR>
<TR>
<TH>准考證號：</TH>
<TD>120135151100101</TD></TR>
<TR>
<TH>考試時間：</TH>
<TD>2015年06月</TD></TR>總分：</TH><TD class=fontBold vAlign="top"><SPAN class=colorRed>403 </SPAN><BR><SPAN class=color666>聽力：</SPAN> 132 <BR><SPAN class=color666>閱讀：</SPAN> 147 <BR><SPAN class=color666>寫作與翻譯：</SPAN> 124 </TD></TR>

該代碼顯示了成績，可以知道，該網站使用的是動態網頁，用的JavaScript或者Ajax.js還是其他的我就不知道了0.0。上面為需求。

 

　　前言：使用過BeautifulSoup爬取過，但是BeautifulSoup是爬取不了動態網頁的，上各種論壇找各種資料，用了n種東西，scapy,pyqt等等，走了真心不少彎路，不是不行，應該是我不會用，最終用了selenium和phantomjs，這兩個應該也是目前最流行的爬蟲模塊了吧。

一、導入selenium和phantomjs

　　

from selenium import webdriver 2 
driver = webdriver.PhantomJS(executable_path='D:\phantomjs-2.1.1-windows\phantomjs.exe') 4 driver.get(url) 5 driver.find_element_by_id('zkzh').send_keys(i) 6 driver.find_element_by_id('xm').send_keys(xm) 7 driver.find_elements_by_tag_name('form')[1].submit()

　　代碼說明：

　　3.selenium可以加載很多驅動，比如Chrome、FireFox等，這里需要有這兩個瀏覽器和驅動才行，折騰了一下，網上說Phantomjs是較好的了

　　5、6、7分別是准考證號，姓名和提交

二、字符處理

提交之后就可以直接查找了:

print driver.find_element_by_xpath("//tr[3]/td[1]").text 2 print driver.find_element_by_xpath("//tr[6]/td[1]").text

　　代碼說明：

　　1.查看姓名

　　2.查看分數及其具體成績

　　打印之后為：

姓名 403 聽力 132 閱讀 147 寫作 142

　　之后要對分數進行字符串處理，選取各部分的數字，這里我們采用re模塊：

import re 2 m = re.findall(r'(\w*[0-9]+)\w*', chuli2)

　　其中m是數組，輸出的是["403","132","147","142"]

三、數據庫

　　我們學校也不知說很渣還是人性化，反正公布了全校的四六級准考證號，當然，是excel的，需要導入mysql數據庫，打開Excel之后，我發現微軟大法和Oracle真是牛逼啊，Excel365居然有mysql workbench連接部分

 數據庫代碼如下：

import MySQLdb  2 
conn = MySQLdb.Connect(host='localhost', user='root', passwd='root', db='cet', port=3306, charset='utf8')  4 cur = conn.cursor()  5 curr = conn.cursor()  6 cur.execute("select name from cet.cet where zkzh=(%s)" % i)  7 xm = cur.fetchone()[0]  8 print "Name is " + xm  9 sqltxt = "update cet.cet set leibie=(%s),zongfen=(%s),tingli=(%s),yuedu=(%s),xiezuo=(%s) WHERE zkzh=(%s)" % ( 10             ss, m[0], m[1], m[2], m[3], i) 11 cur.execute(sqltxt) 12 conn.commit() 13 cur.close() 14 conn.close()

　　代碼說明：

　　3.python連接數據庫代碼

　　6.連接數據庫取得姓名部分

　　9.這行我好無語啊，使用‘“+ss+”’這樣的寫法一直報錯，最終找了半天資料，這個寫法我不太喜歡，但是湊合着用吧。

　　12.記得一定要提交事務！！！commit（）！！！不然是沒有效果的

四、使用代理服務器（保留以后寫）

　　運行了一段時間之后，大概抓了幾百人的吧，然后就出現要求驗證碼了，解決辦法只能處理驗證碼或者使用代理服務器了，這部分繼續加強學習再弄出來了↖(^ω^)↗

五、源代碼和效果

# encoding=utf8

import MySQLdb  4 import re  5 import time  6 
from selenium import webdriver  8 
# connect mysql,get zkxh and xm
conn = MySQLdb.Connect(host='localhost', user='root', passwd='root', db='cet', port=3306, charset='utf8') 11 cur = conn.cursor() 12 curr = conn.cursor() 13 url = 'http://www.chsi.com.cn/cet/query'


def kaishi(i): 17     print i, 18     print " start"
    try: 20         cur.execute("select name from cet.cet where zkzh=(%s)" % i) 21         xm = cur.fetchone()[0] 22         print "Name is " + xm 23         driver = webdriver.PhantomJS(executable_path='D:\phantomjs-2.1.1-windows\phantomjs.exe') 24  driver.get(url) 25         driver.find_element_by_id('zkzh').send_keys(i) 26         driver.find_element_by_id('xm').send_keys(xm) 27         driver.find_elements_by_tag_name('form')[1].submit() 28         driver.set_page_load_timeout(10) 29         leibie = driver.find_element_by_xpath("//tr[3]/td[1]").text 30         leibie2 = str(leibie.encode("utf-8")) 31         ss = ""
        if leibie2.decode("utf-8") == '英語四級'.decode("utf-8"): 33             ss = 4
        else: 35             ss = 6
        # zongfen = driver.find_element_by_xpath("//tr[6]/th[1]").text
        # print zongfen
        # print "===="
        chuli = driver.find_element_by_xpath("//tr[6]/td[1]").text 40         print chuli 41         chuli2 = str(chuli.encode("utf-8")) 42         m = re.findall(r'(\w*[0-9]+)\w*', chuli2) 43         sqltxt = "update cet.cet set leibie=(%s),zongfen=(%s),tingli=(%s),yuedu=(%s),xiezuo=(%s) WHERE zkzh=(%s)" % ( 44             ss, m[0], m[1], m[2], m[3], i) 45  cur.execute(sqltxt) 46  conn.commit() 47         print str(i) + " finish"
    except Exception, e: 49         print e 50  driver.close() 51         time.sleep(10) 52  kaishi(i) 53 

# for j1 in range(1201351511001, 1201351512154):
for j1 in range(1201351511007, 1201351512154): 57     for j2 in range(0, 3): 58         for j3 in range(0, 10): 59             j = str(j1) + str(j2) + str(j3) 60             if str(j2) + str(j3) == "00": 61                 print "0.0"
            elif str(j2) + str(j3) == "29": 63                 kaishi(str(j1) + str(j2) + str(j3)) 64                 j4 = str(j1) + "30"
 kaishi(j4) 66             else: 67  kaishi(j) 68 print "END!!!"
cur.close() 70 conn.close()

參考資料：

1.http://my.oschina.net/u/2420420/blog/489205?fromerr=MX68uajh

2.http://www.cnblogs.com/hearzeus/p/5157016.html

總結：python的字符串處理細節真的很重要，動不動就輸出錯誤，還有IDE的編碼不一樣，記得還有個系統編碼，字符編碼，環境編碼，數據庫編碼等等都要一致！！！

ps后記：1.這幾天別人各種同學聚會，然而，自己也總是那么“幸運”，中學所碰到的班級對外特活躍特團結的樣子，但是初中高中畢業那么久了，聚會是幾乎沒有過。。。。昨晚夢見了那些人那些事，也不知道他們怎么樣了。昨天有一篇新聞報道了一大學一宿舍畢業20年，年年聚會的那樣子真好。

2.對於愛情的煩惱，莫過於明明很喜歡卻發現自己和她完全不是一個“世界”的人，然后也很少找她說話，再然后就是用“嗯”“哦”來回復她的主動聊天，再然后聯系越來越少，再然后連門都不敢出了，怕這個世界，有時雖然也會自嘲“活該孤獨終老”，但是有啥辦法呢？過年了，回到家，過着越來越淡的年，看着一同長大的人，吃着幾十年一樣的菜和飯，難不得矯情一下。