爬取豆瓣電影信息
使用python中的requests和json模塊
json模塊不用安裝,使用pip安裝requests模塊
在homepage方法中爬取,以豆瓣top250為例,代碼如下:
from django.shortcuts import render def homepage(request): import requests import json headers={'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36'} api_request = requests.get("https://douban.uieee.com/v2/movie/top250",headers=headers)//獲得json api = json.loads(api_request.content)//讀取json文件內容 return render(request,'homepage.html',{"api":api}) # Create your views here.
在homepage中使用{{api}}即可展示獲取的信息
在使用時,出現了418錯誤,在查詢后我發現是網站的反爬機制返回了並非json格式的對象,因此需要加上header
初步展示如下:
下一步就是要把獲取的信息解析展示出來