python3.4學習筆記(十四) 網絡爬蟲實例代碼，抓取新浪愛彩雙色球開獎數據實例

python3.4學習筆記(十四) 網絡爬蟲實例代碼，抓取新浪愛彩雙色球開獎數據實例

新浪愛彩雙色球開獎數據URL：http://zst.aicai.com/ssq/openInfo/

最終輸出結果格式如：2015075期開獎號碼：6,11,13,19,21,32, 藍球：4

直接用python源碼寫的抓取雙色球最新開獎數據的代碼，沒使用框架，直接用字符串截取的方式寫的，經過測試速度還是很快的

使用pyspider可以輕松分析出需要的內容，不過需要部署框架對只抓取特定內容的小應用來說也沒多大必要
一般的抓取網頁的使用 beautifulsoup就足夠了，pyspider真正做爬蟲類的應用才需要用到

python3.4學習筆記(十七) 網絡爬蟲使用Beautifulsoup4抓取內容 - 流風，飄然的風 - 博客園
http://www.cnblogs.com/zdz8207/p/python_learn_note_17.html

使用BeautifulSoup4對比直接使用字符串查找截取的方式要更加直觀和簡潔。

把代碼作為開源項目了，熱血狂徒 / zyspider - 代碼托管 - 開源中國社區
http://git.oschina.net/coos/zyspider

====================================

import urllib.request
import urllib.parse
import re
import urllib.request,urllib.parse,http.cookiejar

def getHtml(url):
    cj=http.cookiejar.CookieJar()
    opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
    opener.addheaders=[('User-Agent','Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.101 Safari/537.36'),('Cookie','4564564564564564565646540')]

    urllib.request.install_opener(opener)
    
    html_bytes = urllib.request.urlopen( url ).read()
    html_string = html_bytes.decode( 'utf-8' )
    return html_string

#url = http://zst.aicai.com/ssq/openInfo/
#最終輸出結果格式如：2015075期開獎號碼：6,11,13,19,21,32, 藍球：4
html = getHtml("http://zst.aicai.com/ssq/openInfo/")
#<table class="fzTab nbt"> </table>

table = html[html.find('<table class="fzTab nbt">') : html.find('</table>')]
#print (table)
#<tr onmouseout="this.style.background=''" onmouseover="this.style.background='#fff7d8'">
#<tr \r\n\t\t                  onmouseout=
tmp = table.split('<tr \r\n\t\t                  onmouseout=',1)
#print(tmp)
#print(len(tmp))
trs = tmp[1]
tr = trs[: trs.find('</tr>')]
#print(tr)
number = tr.split('<td   >')[1].split('</td>')[0]
print(number + '期開獎號碼：',end='')
redtmp = tr.split('<td  class="redColor sz12" >')
reds = redtmp[1:len(redtmp)-1]#去掉第一個和最后一個沒用的元素
#print(reds)
for redstr in reds:
    print(redstr.split('</td>')[0] + ",",end='')
print('藍球：',end='')
blue = tr.split('<td  class="blueColor sz12" >')[1].split('</td>')[0]
print(blue)