python爬蟲之json數據處理

本文轉載自查看原文 2019-12-05 00:10 2021 python爬蟲

 1 # -*- coding: utf-8 -*-
 2 # @Time : 2019/11/5 23:18
 3 # @Author : AForever
 4 # @Site : 
 5 # @File : Spider_05.py
 6 # @Software: PyCharm
 7 
 8 # 處理json數據
 9 
10 from urllib import request
11 import json
12 
13 
14 def get_data():
15     url = 'https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=400&page_start=0'
16     headers = {
17         'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36'
18     }
19     req = request.Request(url, headers=headers)
20     response = request.urlopen(req)
21     if response.getcode() == 200:
22         result = response.read()
23         # print(type(result))  # bytes類型
24         # print(result)
25         result = str(result, encoding='utf8')
26         print(result)
27         return result
28 
29 
30 def parse_data(html):
31     # 將字符串形式的json轉換為dict字典
32     data = json.loads(html)
33     movies = data['subjects']
34     for movie in movies:
35         print(movie['title'], movie['rate'])
36 
37 
38 if __name__ == '__main__':
39     # get_data()
40     parse_data(get_data())

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 Python爬蟲數據處理 JSON數據處理 Java JSON數據處理 Spark之json數據處理 python接口自動化-json數據處理 python pandas 數據處理 Python數據處理實戰 python pandas 數據處理 Jmeter使用：JSON返回數據處理 go接收json數據處理