python爬取網易評論

學習python不久，最近爬的網頁都是直接源代碼中直接就有的，看到網易新聞的評論時，發現評論時以json格式加載的.....

爬的網頁是習大大2015訪英的評論頁http://comment.news.163.com/news_guonei8_bbs/SPEC0001B60046CG.html

步驟如下：

1.使用谷歌瀏覽器分析網頁首頁加載的數據

 打開網頁----按下F12----點擊Network，此時是空的

刷新以后，會出現如下圖：(我以前加載過頁面，所以json數據顯示的不全)

點擊其中的一個json格式的文件，找到url，並在網頁中打開，看看是不是自己想要的數據：

我第一次訪問網頁的時候打了三個，只有一個是並論的內容，首頁的網址為：

http://comment.news.163.com/data/news_guonei8_bbs/df/SPEC0001B60046CG_1.html?_=14455959217790 

數據為：

2.其他評論頁

在點擊其他評論頁時，先點擊一下Network中的清除按鈕，方便查找json---從第二頁開始觀察，幾乎都一樣

點擊找到url，並在瀏覽器中打開

數據雖然是亂碼的，在Python中讀取到的是可以正常查看的

 

3.網址規律

一開始以為網址后面的有什么規律，后來發現去掉也沒影響，

所以只要把頁數換成對應的評論頁就好了(我只能打開34頁??)

4.代碼

注：由於數據開始有變量名，結尾有分號，在使用json.loads(data)時報錯，所以先對數據進行處理

# encoding=utf-8

import urllib2
import json
import re
import time
class JSON():
    def __init__(self):
        self.user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
        self.headers={'User-Agent':self.user_agent}
        self.url1='http://comment.news.163.com/data/news_guonei8_bbs/df/SPEC0001B60046CG_1.html'
    def getUrls(self,pageIndex):
        url2='http://comment.news.163.com/cache/newlist/news_guonei8_bbs/SPEC0001B60046CG_'+str(pageIndex)+'.html'
        return url2
    def getHtml(self,url):
        try:
            request=urllib2.Request(url,headers=self.headers)
            respone=urllib2.urlopen(request)
            html=respone.read()
            return html
        except urllib2.URLError,e:
            if hasattr(e,'reason'):
                print u"連接失敗",e.reason
                return  None
    #處理字符串，沒有處理干凈的可以再打開文件進行處理
    def strDeal(self,data,pageIndex):
        if pageIndex==1:
            data=data.replace('var replyData=','')
        else:
            data=data.replace('var newPostList=','')
        reg=re.compile("&nbsp;\[<a href=''>")
        data=reg.sub('--',data)
        reg2=re.compile('<\\\/a>\]')#<\/a>]的正則?
        data=reg2.sub('',data)
        reg3=re.compile('<br>')
        data=reg3.sub('',data)
        return data
    #解析json數據並存入文件
    def parserJson(self):
        with open('wangyi2.txt','a') as f:
            f.write('用戶ID'+'|'+'評論'+'|'+'點贊數'+'\n')
        for i in range(1,35):
            if i==1:
                url=self.url1
                data=self.getHtml(url)
                data=self.strDeal(data,i)[:-1]
                value=json.loads(data)
                f=open('wangyi2.txt','a')

                for item in value['hotPosts']:
                    f.write(item['1']['f'].encode('utf-8')+'|')
                    f.write(item['1']['b'].encode('utf-8')+'|')
                    f.write(item['1']['v'].encode('utf-8')+'\n')
                f.close()
                print 'sleeping pageload %d/34'%i
                time.sleep(6)
            else:
                url=self.getUrls(i)
                data=self.getHtml(url)
                data=self.strDeal(data,i)[:-2]
                # 轉換，一開始得到的數據類型為str，使用json.loads()函數，得到原始數據，此時的value的數據類型為dict，接下來就可以正常訪問字典了。
                value=json.loads(data)
                f=open('wangyi2.txt','a')

                for item in value['newPosts']:
                    f.write(item['1']['f'].encode('utf-8')+'|')
                    f.write(item['1']['b'].encode('utf-8')+'|')
                    f.write(item['1']['v'].encode('utf-8')+'\n')

                f.close()
                print 'sleeping pageload %d/34'%i
                time.sleep(6)


js=JSON()
js.parserJson()