用Python爬蟲爬取廣州大學教務系統的成績（內網訪問）

用Python爬蟲爬取廣州大學教務系統的成績（內網訪問）

在進行爬取前，首先要了解：

1、什么是CSS選擇器？

每一條css樣式定義由兩部分組成，形式如下： [code] 選擇器{樣式} [/code] 在{}之前的部分就是“選擇器”。
“選擇器”指明了{}中的“樣式”的作用對象，也就是“樣式”作用於網頁中的哪些元素。
可參考：
http://www.w3school.com.cn/cssref/css_selectors.asp
http://www.ruanyifeng.com/blog/2009/03/css_selectors.html

2、常用的三種網頁抓取方法（例子可能不可用，只要看方法就可以了）

正則表達式：

# -*- coding: utf-8 -*-

import urllib2
import re


def scrape(html):
    area = re.findall('<tr id="places_area__row">.*?<td\s*class=["\']w2p_fw["\']>(.*?)</td>', html)[0]
    return area


if __name__ == '__main__':
    html = urllib2.urlopen('http://example.webscraping.com/view/United-Kingdom-239').read()
    print scrape(html)

流行的BeautifulSoup模塊：

# -*- coding: utf-8 -*-

import urllib2
from bs4 import BeautifulSoup

def scrape(html):
    soup = BeautifulSoup(html) 
    tr = soup.find(attrs={'id':'places_area__row'}) # locate the area row
    # 'class' is a special python attribute so instead 'class_' is used
    td = tr.find(attrs={'class':'w2p_fw'})  # locate the area tag
    area = td.text  # extract the area contents from this tag
    return area

if __name__ == '__main__':
    html = urllib2.urlopen('http://example.webscraping.com/view/United-Kingdom-239').read()
    print scrape(html)

強大的lxml模塊：

# -*- coding: utf-8 -*-

import urllib2
import lxml.html


def scrape(html):
    tree = lxml.html.fromstring(html)
    td = tree.cssselect('tr#places_neighbours__row > td.w2p_fw')[0]
    area = td.text_content()
    return area

if __name__ == '__main__':
    html = urllib2.urlopen('http://example.webscraping.com/view/United-Kingdom-239').read()
    print scrape(html)

本文選用第三種網頁抓取的方法：lxml（性能快，使用難度簡單，只是安裝難度相對困難而已，建議直接安裝anaconda）

3、什么是cookie?

在 Internet 中，Cookie 實際上是指小量信息，是由 Web 服務器創建的，將信息存儲在用戶計算機上的文件。一般網絡用戶習慣用其復數形式 Cookies，指某些網站為了辨別用戶身份、進行 Session 跟蹤而存儲在用戶本地終端上的數據，而這些數據通常會經過加密處理。
通常情況下，當用戶結束瀏覽器會話時，系統將終止所有的 Cookie。當 Web 服務器創建了Cookies 后，只要在其有效期內，當用戶訪問同一個 Web 服務器時，瀏覽器首先要檢查本地的Cookies，並將其原樣發送給 Web 服務器。這種狀態信息稱作“Persistent Client State HTTP Cookie” ，簡稱為 Cookies。
具體含義：
“Cookie”是小量信息，由網絡服務器發送出來以存儲在網絡瀏覽器上，從而下次這位獨一無二的訪客又回到該網絡服務器時，可從該瀏覽器讀回此信息。這是很有用的，讓瀏覽器記住這位訪客的特定信息，如上次訪問的位置、花費的時間或用戶首選項（如樣式表）。Cookie 是個存儲在瀏覽器目錄的文本文件，當瀏覽器運行時，存儲在 RAM 中。一旦你從該網站或網絡服務器退出，Cookie 也可存儲在計算機的硬驅上。當訪客結束其瀏覽器對話時，即終止的所有 Cookie。
主要用途：
服務器可以利用Cookies包含信息的任意性來篩選並經常性維護這些信息，以判斷在HTTP傳輸中的狀態。Cookies最典型的應用是判定注冊用戶是否已經登錄網站，用戶可能會得到提示，是否在下一次進入此網站時保留用戶信息以便簡化登錄手續，這些都是Cookies的功用。另一個重要應用場合是“購物車”之類處理。用戶可能會在一段時間內在同一家網站的不同頁面中選擇不同的商品，這些信息都會寫入Cookies，以便在最后付款時提取信息。

4、csv文件

逗號分隔值（Comma-Separated Values，CSV，有時也稱為字符分隔值，因為分隔字符也可以不是逗號），其文件以純文本形式存儲表格數據（數字和文本）。
可以看成是我們常見的excel文件，只不過是用逗號分隔每一個單元格而已。

 

完整代碼如下：

# -*- coding: utf-8 -*-

import urllib
import urllib2
import cookielib
import lxml.html
import csv

# 用戶名、密碼
LOGIN_USERNAME = '1406100037'
LOGIN_PASSWORD = '******'

LOGIN_URL1 = 'https://cas.gzhu.edu.cn/cas_server/login'
LOGIN_URL2 = 'http://202.192.18.189/login_gzdx.aspx'


def parse_form(html):
    '''
    獲取表單提交所需的所有隱藏域
    :param html: html代碼
    :return: 該頁面的表單提交所需的所有隱藏域
    '''
    tree = lxml.html.fromstring(html)
    data = {}
    for e in tree.cssselect('form input'):
        if e.get('name'):
            data[e.get('name')] = e.get('value').encode('utf-8')
    return data


def getRecordsHTML():
    '''
    發送POST請求提交表單
    使用cookie登錄數字廣大
    再次使用cookie登錄"http://202.192.18.189/login_gzdx.aspx"
    然后再次發送POST請求提交表單查詢成績
    :return:查詢成績的html
    '''
    mcj = cookielib.MozillaCookieJar('mcj.txt')
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(mcj))
    html = opener.open(LOGIN_URL1).read()
    data = parse_form(html)
    data['username'] = LOGIN_USERNAME
    data['password'] = LOGIN_PASSWORD
    encoded_data = urllib.urlencode(data)
    request = urllib2.Request(LOGIN_URL1, encoded_data)
    response = opener.open(request)
    print(response.geturl())

    request = urllib2.Request(LOGIN_URL2, encoded_data)
    response = opener.open(request)
    print(response.geturl())

    html = opener.open(response.geturl()).read()
    tree = lxml.html.fromstring(html)
    path = tree.cssselect('#headDiv > ul > li:nth-child(6) > ul > li:nth-child(1) > a')[0].get('href')
    URL3 = 'http://202.192.18.185/' + \
        urllib.quote(path.encode('gbk'), safe='?=&')
    print(URL3)

    html = opener.open(URL3).read()
    data = parse_form(html)
    newData = {
        '__VIEWSTATE': data['__VIEWSTATE'],
        '__VIEWSTATEGENERATOR': data['__VIEWSTATEGENERATOR'],
        'Button2': data['Button2']
    }
    # print('data=', newData)

    encoded_data = urllib.urlencode(newData)
    request = urllib2.Request(URL3, encoded_data)
    response = opener.open(request)
    mcj.save(ignore_discard=True, ignore_expires=True)
    html = response.read()
    return html


def main():
    '''
    提取並保存成績到“在校學習成績.csv”文件中
    '''
    writer = csv.writer(open('在校學習成績.csv', 'w'))
    tree = lxml.html.fromstring(getRecordsHTML())
    row = []

    for i in xrange(1, 100):
        for j in xrange(15):
            try:
                row.append(tree.cssselect('#Datagrid1 > tr:nth-child(%s) > td' % i)[j].text_content().encode('utf-8'))
            except Exception as e:
                break
        writer.writerow(row)
        row = []

if __name__ == '__main__':
    main()

運行結果：

生成的csv文件如下：

 

因為上面的代碼已經將cookie信息保存下來了，下次訪問我們就可以用下面的代碼：

# -*- coding: utf-8 -*-

import urllib
import urllib2
import cookielib
import lxml.html
import csv

def parse_form(html):
    '''
    獲取表單提交所需的所有隱藏域
    :param html: html代碼
    :return: 該頁面的表單提交所需的所有隱藏域
    '''
    tree = lxml.html.fromstring(html)
    data = {}
    for e in tree.cssselect('form input'):
        if e.get('name'):
            data[e.get('name')] = e.get('value').encode('utf-8')
    return data

def getRecordsHTML():
    mcj = cookielib.MozillaCookieJar()
    mcj.load('mcj.txt', ignore_discard=True, ignore_expires=True)
    opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(mcj))
    URL3 = 'http://202.192.18.185/xscj_gc.aspx?xh=1406100037'
    html = opener.open(URL3).read()
    data = parse_form(html)
    newData = {
        '__VIEWSTATE': data['__VIEWSTATE'],
        '__VIEWSTATEGENERATOR': data['__VIEWSTATEGENERATOR'],
        'Button2': data['Button2']
    }

    encoded_data = urllib.urlencode(newData)
    request = urllib2.Request(URL3, encoded_data)
    response = opener.open(request)
    html = response.read()
    return html


def main():
    writer = csv.writer(open('在校學習成績2.csv', 'w'))
    tree = lxml.html.fromstring(getRecordsHTML())
    row = []

    for i in xrange(1, 100):
        for j in xrange(15):
            try:
                row.append(tree.cssselect('#Datagrid1 > tr:nth-child(%s) > td' % i)[j].text_content().encode('utf-8'))
            except Exception as e:
                break
        writer.writerow(row)
        row = []

if __name__ == '__main__':
    main()

 

本文地址：http://www.cnblogs.com/jacen789/p/8058897.html

更新版本的爬蟲：https://github.com/Jacen789/GzhuGradesCrawler