enmm,之前我用自己的爬蟲爬取百度百科,發現大多數結果都是‘空’,這讓我很難受,爬完所有數據只能爬到聊聊數條,真的是很難,
現在我發現用高德的api接口爬取數據會簡單好多,首先高德是免費的,至少現在的數據需求量上是免費的
其次高德提供了非常完美的接口供我們調用,
找到方向后其實爬取相應的數據是很簡單得,首先去高德獲取自己的key值
大概就是在這個位置,下面這個key值就很關鍵,
然后在web服務API下,你可以找到具體的使用方法,這里有詳細的使用方式,到時候自己去看就可以。
代碼也很簡單
'''
參數包括:keywords,type,city,children,offset,page,extensions
解釋:查詢關鍵詞,查詢POI類型(如醫院,公司),城市名,展示層級,每頁記錄數據,當前頁數,返回結果控制(base即可)
例子:下花園煤礦醫院
url=https://restapi.amap.com/v3/place/text?keywords=下花園煤礦醫院&city=beijing&offset=20&page=1&key=(你的key)&extensions=base
'''
url = getUrl() # print(url) response = requests.get(url) # print(response.text) # json字典格式 # print(response.content) rjson = response.json() print(response.json()) print(rjson['pois'][0]['pname']) print(rjson['pois'][0]['cityname']) print(rjson['pois'][0]['adname']) # return_json = json.load(response.text) # print(return_json)
就可以得到了
首先,輸入自己的網址可以看到
再找到json的位置就可以了