使用request簡單爬蟲

import requests
import re

url = "http://www.acfun.tv/v/list110/index.htm?from=fixedNav"
context = requests.get(url).text

#print(html.text)
pattern1 = re.compile('<div class="desc">(.*)</div>')
#'.*'為貪婪模式，匹配到了還要然后找，匹配到不能匹配為止，根據后面的正則表達式，會進行回溯
pattern2 = re.compile('<div class="desc">(.*?)</div>')
#'.*?'一旦匹配就進行下一次匹配，不會回溯
text1 = pattern1.findall(context)
for text in text1:
print(text)
print("--" * 20)
text2 = pattern2.findall(context)
for text in text2:
print(text)

 

D:\Programs\Python\Python35\python.exe D:/PycharmProjects/forTest/req.py

捐精400次的“超級爸爸”終於迎來一場人間小團圓 </div></a>

美國大叔把55%的肝捐給陌生妹紙 現在他們訂婚了</div></a>

無錫一男子分飾多角行騙 騙到三十二噸鋼</div></a>

百萬奔馳停車場遇克隆車 車主驚呆難辨真偽</div></a>

女子口撕快遞嘴巴潰爛 醫生：包裝袋比垃圾桶臟</div></a>

英國男童撿到疑來自中國漂流瓶</div></a>

英國著名搖滾巨星大衛·鮑威的經紀人向《好萊塢報道》確認，在與癌症搏斗數月之后，這位音樂人已經不幸逝世。</div></a>

拒付農民工工資老板成網逃 攜妻觀電影被抓</div></a>

已婚男在賓館捅死出軌妻子情人后拍照發微信朋友圈</div></a>

歌手三里屯持酒瓶搶劫單身女 搶劫5千元被判5年</div></a>

5歲男童竟長出16歲的生殖器官，罪魁禍首竟讓孩子父母徹底傻眼</div></a>

諾基亞安卓新機外形曝光：全金屬</div></a>

----------------------------------------

捐精400次的“超級爸爸”終於迎來一場人間小團圓

美國大叔把55%的肝捐給陌生妹紙 現在他們訂婚了

無錫一男子分飾多角行騙 騙到三十二噸鋼

百萬奔馳停車場遇克隆車 車主驚呆難辨真偽

女子口撕快遞嘴巴潰爛 醫生：包裝袋比垃圾桶臟

英國男童撿到疑來自中國漂流瓶

英國著名搖滾巨星大衛·鮑威的經紀人向《好萊塢報道》確認，在與癌症搏斗數月之后，這位音樂人已經不幸逝世。

拒付農民工工資老板成網逃 攜妻觀電影被抓

已婚男在賓館捅死出軌妻子情人后拍照發微信朋友圈

歌手三里屯持酒瓶搶劫單身女 搶劫5千元被判5年

5歲男童竟長出16歲的生殖器官，罪魁禍首竟讓孩子父母徹底傻眼

諾基亞安卓新機外形曝光：全金屬

 

Process finished with exit code 0