python簡單爬蟲，抓取郵箱

　　最近，老師給了一個練習是，實現一個爬蟲，就爬大概100個網頁，匹配出郵箱。

　　於是，我花了幾天時間，熟悉熟悉了python,就有了下面這個超級簡單的爬蟲程序。各種毛病。。。。。。

 

　　這里先說明一下，python庫的安裝，因為我在這上面浪費了不少時間。

　　首先是pip和distribute。這兩個是用來管理和安裝python庫的。具體請看這里http://jiayanjujyj.iteye.com/blog/1409819

　　在windows下，在命令行中python distribute_setup.py (在distribute_setup.py這個文件目錄下)。然后就可以用easy_install 命令來裝其他模塊了。

　　pyquery有一個依賴庫，是lxml。這個模塊要用到本機c語言的編譯器，如果本機裝有VS或者mingw相關的東西，容易遇到各種裝不上的問題。理論上來說是，只要正確配置，就會利用本機的編譯器將lxml模塊裝好。但是，我是各種郁悶裝不上。。於是找到了這里http://www.lfd.uci.edu/~gohlke/pythonlibs/。

　　在那個網站里面，找到對應的版本，裝上就ok了。

import urllib2
import re
from pyquery import PyQuery as pq
from lxml import etree
import sys
import copy
##reload(sys)
##sys.setdefaultencoding("utf8")     


mailpattern = re.compile('[^\._:>\\-][\w\.-]+@(?:[A-Za-z0-9]+\.)+[A-Za-z]+')
#mailpattern = re.compile('[A-Za-z0-9]+@(?:[A-Za-z0-9]+\.)+[A-Za-z]+')

url = "http://www.xxx.cn"
firstUrls = []# to store the urls
secondUrls = []
count = 1 # to count levels
furls = open("E:/py/crawler/urlsRecord.txt","a")
fmail = open("E:/py/crawler/mailresult.txt","a")



def geturls(data):   #the function to get the urls in the html
    urls = []
    d = pq(data)
    label_a = d.find('a')#用pyquery庫去找到 a 標簽.
    if label_a:
        label_a_href = d('a').map(lambda i, e:pq(e)('a').attr('href'))
        for u in label_a_href:
            if u[0:10]!="javascript" :  
                if u[0:4] == "http":
                    urls.append(u)
                else:
                    urls.append(url + u)              
        for u in urls:
            furls.write(u)
            furls.write('\n')
    return urls
        
                
def savemails(data): # the function to save the emails
    mailResult = mailpattern.findall(data)
    if mailResult:
        for u in mailResult:
            print u
            fmail.write(u)
            fmail.write('\n')

def gethtml(url):
    fp = urllib2.urlopen(url)
    mybytes =fp.read()
    myWebStr  = mybytes.decode("gbk")   #這里讀取出來要從bytes到文本
    fp.close()
    return myWebStr

   
furls.write(url+'\n')

myWebStr = gethtml(url)
if myWebStr:
    savemails(myWebStr)
    firstUrls = geturls(myWebStr)
if firstUrls:
    for i in range(0,len(firstUrls)):
        html = gethtml(firstUrls[i])
        if html:
            savemails(html)
##        tempurls = geturls(html)        #這里本來想再抓一層，慢得要死，就沒再繼續了
##        if tempurls:
##            nexturls = nexturls + tempurls
        
##    if nexturls:
##        for i in range(0,len(nexturls)):
##            nexthtml = gethtml(nexturls[i])
##            if nexthtml:
##                savemails(nexthtml)
         
fmail.close()
furls.close()
  

　　現在這個程序存在的問題就是：

　　1.如果直接運行，就會出現編碼問題：

Traceback (most recent call last):
  File "E:\py\crawler.py", line 67, in <module>
    savemails(html)
  File "E:\py\crawler.py", line 46, in savemails
    fmail.write(u)
UnicodeEncodeError: 'ascii' codec can't encode character u'\u81f3' in position 0: ordinal not in range(128)

　　然后我google之，是因為編碼問題。

reload(sys）
sys.setdefaultencoding("utf8")  

　　用這個方法即可解決，即我在最開始的代碼里面第7,8注釋的兩行。不過問題又出現了，雖然不會出現上面的報錯，但是第45行的  print 語句無效了。而且無論在何處的print語句均無效了。這是為何。。。。。。

　　在46行中，我試着把出現問題的部分print出來，發現，是因為鏈接中里面出現了：

至[e-mail]

　　然后fmail.write(u)的時候，碰到這種就寫不了。我查了下，剛好‘至’的unicode 編碼就是 81f3  （在這里查http://ipseeker.cn/tools/pywb.php）

　　到此處，難道是write()不能寫中文？我用如下代碼測試：

poem = '至[e-mail]'

f = open("E:/py/poem.txt","w")
f.write(poem)
f.close()

f = open("E:/py/poem.txt",'r')

while True:
    line = f.readline()
    if len(line) == 0:
        break
    print (line)

f.close()

結果：
至[e-mail]

　　接着把代碼中,改成“poem = u'\u81f3' ”,一模一樣的錯誤出現了：

Traceback (most recent call last):
  File "E:\py\test.py", line 212, in <module>
    f.write(poem)
UnicodeEncodeError: 'ascii' codec can't encode character u'\u81f3' in position 0: ordinal not in range(128)

　　也就是說，在抓取的網頁中是以  " u'\u81f3'[e-mail] " 存在。然后不能寫入文件，出錯。

　　求高人解答啊。。。。