1-2 用Python爬取貓眼票房網上的電影票房信息

piaofang.py
#-*- coding:utf-8 -*-
'''
該腳本可以抓取貓眼票房網站上的電影票房數據
使用的數據為豆瓣上爬取的電影，見文件：doubanMovies_IMDBScore.csv
'''
import requests
import lxml.html
import time
from pandas import DataFrame
import pandas as pd

headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'}
def getDoc(url):
    resp=requests.get(url,headers=headers)  #得到網頁響應
    time.sleep(0.1)   #暫停0.1秒，防止抓取太頻繁被封IP
    content=resp.text  #獲取相應內容
    doc = lxml.html.fromstring(content)
    return doc

#函數：輸入為電影名字，輸出為該電影在貓眼網上的票房
#說明：如果貓眼上沒有該電影的信息，則標記：notfound
#如果貓眼上可以搜到該電影，但是沒有票房數據，則標記：withoutData
def getPiaofang(title):
    #根據電影名字形成貓眼上該電影的搜索結果頁面
    url = 'http://pf.maoyan.com/search?_v_=yes&key='+title
    #由於編碼格式比較混亂，所以此處嘗試兩種編碼格式
    try:
        url=url.decode('gbk').encode('utf-8')
    except:
        url=url.encode('utf-8')
    finally:
        tempList=[]  #初始化函數中暫時用到的列表
        doc=getDoc(url)  #解析網頁
        #抓取到的后綴名，可能為'萬票房'、'人想看'、'暫無票房數據'
        temp_back=doc.xpath('//*[@id="search-list"]/article/em/text()')
        #某一部電影搜索結果頁面，由於會有名字相近的電影會被搜索出來，所以要進行判斷
        temp_name=doc.xpath('//*[@id="search-list"]/article/div/text()')
        if temp_name!=[]:  #首先結果頁抓到的電影列表要不為空，即能搜索到該電影
            #如果為空，則標記為'notfound'
            for i in range(len(temp_name)):  #對搜索出的電影名字進行判定，取出與搜索的電影名字完全相同的一項
                temp1=(temp_name[i]).encode('utf-8')
                if temp1==title:  #如果循環到第i個名字，找到了與搜索的電影名字完全相同的一項，則接着對數字的后綴進行判斷
                    #如果沒有找到與搜索的電影的名字完全相同的一項，則標記為'withoutData'
                    temp2=unicode(temp_back[i]).encode('utf-8')
                    if temp2=='萬票房':  #如果后綴名為'萬票房'，則該數據可能就是我們要找的數據
                        temp_num = doc.xpath('//*[@id="search-list"]/article['+str(i+1)+']/em/span/text()')
                        if temp_num!=[]:  #如果可以抓取到數據，則轉換為int類型后的數據即為所找的票房數據
                            #如果抓取不到，則標記為'withoutData'
                            print int(temp_num[0])
                            tempList.append(int(temp_num[0]))
                        else:
                            tempList.append('withoutData')
                    else:
                        tempList.append('withoutData')
                else:
                    tempList.append('withoutData')
        else:
            tempList.append('notfound')
        return tempList[0]

df=pd.read_csv('doubanMovies_IMDBScore.csv')  #打開豆瓣上爬取到的電影列表文件
piaofangList=[]  #初始化票房列表
errorNum=0  #初始化錯誤數
for i in range(0,len(df)):
    try:
        temp=df.ix[i,'title']
        temp=temp.decode('gbk').encode('utf-8')  #進行編碼格式轉換
        piaofangList.append(getPiaofang(temp))  #調用getPiaofang函數，得到票房數據
    except:
        errorNum+=1  #出錯，則錯誤數加1
        piaofangList.append('error')  #將票房數字標記為'error'
        print 'error No.',errorNum
    finally:
        df1=DataFrame({'title':df.ix[:i,'title'],'piaofang':piaofangList})
        df1.to_csv('test.csv',index=False)
        print i+1  #打印標記