爬蟲系列4：Requests+Xpath 爬取動態數據

 

爬蟲系列4：Requests+Xpath 爬取動態數據

 

【抓取】：參考前文 爬蟲系列1：https://www.cnblogs.com/yizhiamumu/p/9451093.html

【分頁】：參考前文 爬蟲系列2：https://www.cnblogs.com/yizhiamumu/p/10267721.html

【保存】：參考前文 爬蟲系列3：https://www.cnblogs.com/yizhiamumu/p/10270926.html

【動態】：參考前文 爬蟲系列4：https://www.cnblogs.com/yizhiamumu/p/10272977.html

 

# 動態爬取數據，如頁面不分頁，而是點擊查看更多 # https://movie.douban.com/tag/#/?sort=T&range=0,10&tags=%E5%8A%B1%E5%BF%97 # 安裝jsonview 插件 ## F12 - network- XHR # 發現規律 # https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E5%8A%B1%E5%BF%97&start=20 # https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=%E5%8A%B1%E5%BF%97&start=40 # 循環爬取 # for a in range(3): # url='https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=&start={}'.format(a*20)

 

import requests
import json
import time

for a in range(3):
    url_visit = 'https://movie.douban.com/j/new_search_subjects?sort=T&range=0,10&tags=&start={}'.format(a*20)
    file = requests.get(url_visit).json()   #這里跟之前的不一樣，因為返回的是 json 文件
    time.sleep(6)

    for i in range(20):
        dict=file['data'][i]   #取出字典中 'data' 下第 [i] 部電影的信息
        urlname=dict['url']
        title=dict['title']
        rate=dict['rate']
        cast=dict['casts']
    
        print('{}  {}  {}  {}\n'.format(title,rate,'  '.join(cast),urlname))

 

打印結果:

我不是葯神  9.0  徐崢  王傳君  周一圍  譚卓  章宇  https://movie.douban.com/subject/26752088/

這個殺手不太冷  9.4  讓·雷諾  娜塔莉·波特曼  加里·奧德曼  丹尼·愛羅  彼得·阿佩爾  https://movie.douban.com/subject/1295644/

肖申克的救贖  9.6  蒂姆·羅賓斯  摩根·弗里曼  鮑勃·岡頓  威廉姆·賽德勒  克蘭西·布朗  https://movie.douban.com/subject/1292052/

盜夢空間  9.3  萊昂納多·迪卡普里奧  約瑟夫·高登-萊維特  艾倫·佩吉  湯姆·哈迪  渡邊謙  https://movie.douban.com/subject/3541415/

復仇者聯盟3：無限戰爭  8.1  小羅伯特·唐尼  克里斯·海姆斯沃斯  克里斯·埃文斯  馬克·魯弗洛  喬什·布洛林  https://movie.douban.com/subject/24773958/

阿甘正傳  9.4  湯姆·漢克斯  羅賓·懷特  加里·西尼斯  麥凱爾泰·威廉遜  莎莉·菲爾德  https://movie.douban.com/subject/1292720/

西虹市首富  6.6  沈騰  宋芸樺  張一鳴  張晨光  常遠  https://movie.douban.com/subject/27605698/

泰坦尼克號  9.3  萊昂納多·迪卡普里奧  凱特·溫絲萊特  比利·贊恩  凱西·貝茨  弗蘭西絲·費舍  https://movie.douban.com/subject/1292722/

霸王別姬  9.6  張國榮  張豐毅  鞏俐  葛優  英達  https://movie.douban.com/subject/1291546/

三傻大鬧寶萊塢  9.2  阿米爾·汗  卡琳娜·卡普爾  馬達范  沙爾曼·喬希  奧米·瓦依達  https://movie.douban.com/subject/3793023/

千與千尋  9.3  柊瑠美  入野自由  夏木真理  菅原文太  中村彰男  https://movie.douban.com/subject/1291561/

讓子彈飛  8.7  姜文  葛優  周潤發  劉嘉玲  陳坤  https://movie.douban.com/subject/3742360/

怦然心動  9.0  瑪德琳·卡羅爾  卡蘭·麥克奧利菲  瑞貝卡·德·莫妮  安東尼·愛德華茲  約翰·馬奧尼  https://movie.douban.com/subject/3319755/

海上鋼琴師  9.2  蒂姆·羅斯  普路特·泰勒·文斯  比爾·努恩  梅蘭尼·蒂埃里  阿爾貝托·巴斯克斯  https://movie.douban.com/subject/1292001/

忠犬八公的故事  9.3  理查·基爾  薩拉·羅默爾  瓊·艾倫  羅比·薩布萊特  艾瑞克·阿瓦利  https://movie.douban.com/subject/3011091/

當幸福來敲門  9.0  威爾·史密斯  賈登·史密斯  坦迪·牛頓  布萊恩·豪威   詹姆斯·凱倫  https://movie.douban.com/subject/1849031/

毒液：致命守護者  7.2  湯姆·哈迪  米歇爾·威廉姆斯  里茲·阿邁德  斯科特·黑茲   瑞德·斯科特  https://movie.douban.com/subject/3168101/

少年派的奇幻漂流  9.0  蘇拉·沙瑪  伊爾凡·可汗  拉菲·斯波  阿迪勒·侯賽因  塔布  https://movie.douban.com/subject/1929463/

一出好戲  7.1  黃渤  舒淇  王寶強  張藝興  於和偉  https://movie.douban.com/subject/26985127/

摔跤吧！爸爸  9.1  阿米爾·汗  法緹瑪·薩那·紗卡  桑亞·瑪荷塔  阿帕爾夏克提·庫拉那  沙克希·坦沃  https://movie.douban.com/subject/26387939/

阿凡達  8.6  薩姆·沃辛頓  佐伊·索爾達娜  西格妮·韋弗  史蒂芬·朗  米歇爾·羅德里格茲  https://movie.douban.com/subject/1652587/

那些年，我們一起追的女孩  8.1  柯震東  陳妍希  敖犬  郝劭文  蔡昌憲  https://movie.douban.com/subject/4920528/

大話西游之大聖娶親  9.2  周星馳  吳孟達  朱茵  蔡少芬  藍潔瑛  https://movie.douban.com/subject/1292213/

瘋狂動物城  9.2  金妮弗·古德溫  傑森·貝特曼  伊德里斯·艾爾巴  珍妮·斯蕾特  內特·托倫斯  https://movie.douban.com/subject/25662329/

星際穿越  9.2  馬修·麥康納  安妮·海瑟薇  傑西卡·查斯坦  卡西·阿弗萊克  邁克爾·凱恩  https://movie.douban.com/subject/1889243/

楚門的世界  9.2  金·凱瑞  勞拉·琳妮  艾德·哈里斯  諾亞·艾默里奇  娜塔莎·麥克艾霍恩  https://movie.douban.com/subject/1292064/

放牛班的春天  9.2  熱拉爾·朱尼奧  讓-巴蒂斯特·莫尼耶  弗朗索瓦·貝萊昂  凱德·麥拉德  瑪麗·布奈爾  https://movie.douban.com/subject/1291549/

機器人總動員  9.3  本·貝爾特  艾麗莎·奈特  傑夫·格爾林  佛萊德·威拉特  西格妮·韋弗  https://movie.douban.com/subject/2131459/

飛屋環游記  8.9  愛德華·阿斯納  克里斯托弗·普盧默  喬丹·長井  鮑勃·彼德森  戴爾里·林多  https://movie.douban.com/subject/2129039/

初戀這件小事  8.3  平采娜·樂維瑟派布恩  馬里奧·毛瑞爾  蘇達拉·布查蓬  雅尼卡·桑普蕾舞  諾特·阿查拉那·阿瑞亞衛考  https://movie.douban.com/subject/4739952/

天使愛美麗  8.7  奧黛麗·塔圖  馬修·卡索維茨  呂菲斯  洛萊拉·克拉沃塔  塞爾日·梅蘭  https://movie.douban.com/subject/1292215/

你的名字。  8.4  神木隆之介  上白石萌音  長澤雅美  市原悅子  成田凌  https://movie.douban.com/subject/26683290/

碟中諜6：全面瓦解  8.1  湯姆·克魯斯  亨利·卡維爾  文·瑞姆斯  西蒙·佩吉  麗貝卡·弗格森  https://movie.douban.com/subject/26336252/

龍貓  9.1  日高法子  坂本千夏  糸井重里  島本須美  北林谷榮  https://movie.douban.com/subject/1291560/

剪刀手愛德華  8.7  約翰尼·德普  薇諾娜·瑞德  黛安·韋斯特  安東尼·邁克爾·豪爾  凱西·貝克  https://movie.douban.com/subject/1292370/

頭號玩家  8.7  泰伊·謝里丹  奧利維亞·庫克  本·門德爾森  馬克·里朗斯  麗娜·維特  https://movie.douban.com/subject/4920389/

無間道  9.1  劉德華  梁朝偉  黃秋生  曾志偉  鄭秀文  https://movie.douban.com/subject/1307914/

無雙  8.1  周潤發  郭富城  張靜初  馮文娟  廖啟智  https://movie.douban.com/subject/26425063/

大話西游之月光寶盒  8.9  周星馳  吳孟達  羅家英  藍潔瑛  莫文蔚  https://movie.douban.com/subject/1299398/

紅海行動  8.3  張譯  黃景瑜  海清  杜江  蔣璐霞  https://movie.douban.com/subject/26861685/

戰狼2  7.1  吳京  弗蘭克·格里羅  吳剛  張翰  盧靖姍  https://movie.douban.com/subject/26363254/

尋夢環游記  9.0  安東尼·岡薩雷斯  蓋爾·加西亞·貝納爾  本傑明·布拉特  阿蘭納·烏巴奇  芮妮·維克托  https://movie.douban.com/subject/20495023/

羅馬假日  9.0  奧黛麗·赫本  格利高里·派克  埃迪·艾伯特  哈特利·鮑爾  哈考特·威廉姆斯  https://movie.douban.com/subject/1293839/

V字仇殺隊  8.8  娜塔莉·波特曼  雨果·維文  斯蒂芬·瑞  斯蒂芬·弗雷  約翰·赫特  https://movie.douban.com/subject/1309046/

美麗人生  9.5  羅伯托·貝尼尼  尼可萊塔·布拉斯基  喬治·坎塔里尼  朱斯蒂諾·杜拉諾  賽爾喬·比尼·布斯特里克  https://movie.douban.com/subject/1292063/

七宗罪  8.8  摩根·弗里曼  布拉德·皮特  凱文·史派西  格溫妮斯·帕特洛  安德魯·凱文·沃克  https://movie.douban.com/subject/1292223/

動物世界  7.2  李易峰  邁克爾·道格拉斯  周冬雨  曹炳琨  王戈  https://movie.douban.com/subject/26925317/

老炮兒  7.8  馮小剛  許晴  張涵予  劉樺  李易峰  https://movie.douban.com/subject/24751756/

失戀33天  7.3  白百何  文章  張嘉譯  王耀慶  張子萱  https://movie.douban.com/subject/4873490/

蝴蝶效應  8.7  阿什頓·庫徹  梅羅拉·沃特斯  艾米·斯馬特  埃爾登·漢森  威廉姆·李·斯科特  https://movie.douban.com/subject/1292343/

人再囧途之泰囧  7.4  徐崢  王寶強  黃渤  陶虹  謝楠  https://movie.douban.com/subject/10574622/

辛德勒的名單  9.5  連姆·尼森  本·金斯利  拉爾夫·費因斯  卡羅琳·古多爾  喬納森·薩加爾  https://movie.douban.com/subject/1295124/

唐伯虎點秋香  8.5  周星馳  鞏俐  陳百祥  鄭佩佩  朱咪咪  https://movie.douban.com/subject/1306249/

海王  7.8  傑森·莫瑪  艾梅柏·希爾德  威廉·達福  帕特里克·威爾森  妮可·基德曼  https://movie.douban.com/subject/3878007/

夏洛特煩惱  7.5  沈騰  馬麗  尹正  艾倫  王智  https://movie.douban.com/subject/25964071/

復仇者聯盟  8.1  小羅伯特·唐尼  克里斯·埃文斯  斯嘉麗·約翰遜  克里斯·海姆斯沃斯  傑瑞米·雷納  https://movie.douban.com/subject/1866479/

芳華  7.6  黃軒  苗苗  鍾楚曦  楊采鈺  李曉峰  https://movie.douban.com/subject/26862829/

黑天鵝  8.5  娜塔莉·波特曼  米拉·庫尼斯  文森特·卡索  芭芭拉·赫希  薇諾娜·瑞德  https://movie.douban.com/subject/1978709/

本傑明·巴頓奇事  8.8  凱特·布蘭切特  布拉德·皮特  朱莉婭·奧蒙德  芳妮·A·錢勃絲  伊萊亞斯·科泰斯  https://movie.douban.com/subject/1485260/

北京遇上西雅圖  7.4  湯唯  吳秀波  海清  宋美曼  宋美慧  https://movie.douban.com/subject/10574468/

by:【一只阿木木】