python爬蟲之初體驗

上網簡單看了幾篇博客
自己試了試簡單的爬蟲
哎呦喂
很有感覺
蠻好玩的

之前寫博客 有點感覺是在寫教程啊什么的
寫的很別扭
各種復制粘貼
寫得很不舒服

以后還是怎么舒服怎么寫
把每天的練習
所得
寫上來就好了
本來就是個菜鳥
不斷學習
不斷debug就好

直接上程序：

# -*- coding: utf-8 -*-
import urllib2
import urllib
import re

  
#正則表達式
pat = re.compile('img.*?id="bigImg".*?src="(.*?)"')
patnext = re.compile('nextPic.*?"(.*?)",')
pattotal = re.compile('picTotal.*?(\d*),')
patnum = re.compile('picNum.*?(\d*),')
patnextgroup = re.compile('nextGroup.*?"(.*?)",')

#URL
nexturl = "http://desk.zol.com.cn"
SerialNumber = ["/bizhi/6195_76529_2.html"]
nexturl1 = nexturl + SerialNumber[0]



#header
def s(nexturl2):
    myurl = nexturl2
    user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
    values = {'username' : 'cqc',  'password' : 'XXXX' }
    headers = { 'User-Agent' : user_agent }
    data = urllib.urlencode(values)
    request = urllib2.Request(myurl, data, headers)
    myres = urllib2.urlopen(request)
    return myres

myres = s(nexturl1)
mypage = myres.read()
ucpage = mypage.decode("gbk") #ytf-8


total = pattotal.findall(ucpage)        #當前組圖總圖數
num = patnum.findall(ucpage)            #當前編號


print u"num:"
max = raw_input(">>>")

picnum = 1

while int(picnum) <= int(max):


    if int(total[0]) == int(num[0]):                        #檢測是否抓取完當前組圖
        SerialNumber = patnextgroup.findall(ucpage)
    nexturl1 = nexturl + SerialNumber[0]

    myres = s(nexturl1)

    mypage = myres.read()
    ucpage = mypage.decode("gbk") #ytf-8
    SerialNumber = patnext.findall(ucpage)

    total = pattotal.findall(ucpage)
    num = patnum.findall(ucpage)

    mat = pat.findall(ucpage)

    if len(mat) :
        print "Pic " + str(picnum) +  "  : Url: " + mat[0] + "\n"

        fnp = re.compile('(\w{6}\.\w+)$')
        fnr = fnp.findall(mat[0])
        if fnr:
            fname = fnr[0]                      #下載給的文件名
            urllib.urlretrieve(mat[0], fname)   #下載
        picnum+=1

    else:
        print "no data"
     
print u"\n\tDone"

 

程序抓取的是 http://desk.zol.com.cn/bizhi/6262_77251_2.html 的圖片

抓取完一張 

就申請進入下一頁繼續抓取

 

運行結果：

 

 

 

收獲：

1.html js 不熟悉

2.可以通過找URL直接的規律 找下一頁的URL

3.查了些資料 發現很多東西都可以學 html js beautiful soup等

4.還沒習慣用try 語句

5.多練多學多問

6，urllib.urlretrieve（） mypage.decode("gbk")

遇到的困難：

1.一開始不知道下一頁的鏈接在哪 找了很久才找到 但方法不對 不知道有什么好的方法 一個原因是不了解 html js

2.一開始不知道怎么“變”到下一頁，所以還想着通過pymouse控制鼠標。。。。。。結果鼠標不受控制 暴力重啟。。。

3.運行的時候會跳出這個問題：IOError: [Errno socket error] [Errno 10060]，為什么呢？還需要設置什么？求大神幫忙解決