一.主題式網絡爬蟲設計方案：爬取人人貸網上部分借貸信息
1.主題式網絡爬蟲名稱：爬取人人貸網上部分信息
2.主題式網絡爬蟲的內容與數據特征分析：爬取人人貸部分信息數據，借貸信息
3.主題式網絡爬蟲設計方案概述（包括實現思路與技術難點）：找到該網站的網址，然后F12分析該網址的源代碼，找到自己所需要的數據所在的位置，提取相關的數據分析，進行數據上的處理和數據可視化的操作.
二.二、主題頁面的結構特征分析
主題頁面的結構與特征分析：打開網址找到我們需要的數據所在位置
然后摁F12提取相關的數據源代碼
三、網絡爬蟲程序設計
1.數據爬取與采集
首先爬取網頁通用框架
然后再將該內容進行解析
選擇需要繪制的最大值與最小值的柱狀圖數據
繪制餅圖
from pyecharts import Pie
def drawRRDPie (data) :
繪制餅狀圖.
四.
附上完整程序代碼
i mport requestsi mport json
def getRRDInfo(startPage, endPage) :
解析jison文件，獲取數據’
data=0_ #統計數據
for page in range (startPage, endPage) :
responseFrequests. post (ur1). textur1=' 
https://www. renrendai. com/1 oan/1ist/1oanLi st?star tNum=O&1imi t=10'
list=. json.1oads(response). get(' data' ).get(' 1ist')
for item in list:
title=item. get(' tit1e' )
amount=i tem. get(' amount' )
if title not in data. keys():
data[tit1e]=[]
data [title]. append (amount)
#打印數據
print(" *************************** )
print("借款標題: %s" % tit1e)
print(" Hà: %sT" % amount)
return data
if_ name_ =="
main_ ." :
data-getRRDInfo(0, 1)
def bs(text):
#將讀取到的網頁解析
return soupsoup = bs4. Beauti fulSoup(text,' html. parser')
def main():
url = 'https:/ /www. bilibili. com/ ranking?'# pE pE# A #FfTiisome = get_ url(url)
soup = bs some )
with open( 'try2.txt' , ' W', encoding-'utf-8' ) as f:
f . write( soup. text)# it5fH4iI##Æ FШf#
main( )
from pyecharts import Bar
) def drawRRDBar (data) :
繪制柱狀圖”
attr=1ist (data. keys (())
min_ _amount=[]
max_ _amount=[]
for item in data. keys(:
min_ amount. append(min(data[i tem]))
max_ amount. append(max (data[i tem]))
bar =Bar("人人貸”，”借款類型最小值/最大值")
bar. add("最小值”，attr , min_ amount , is_ 1abel_ show=True)bar. add("最大值",attr，max_ amount, is_ 1abel_ show=True)bar. render ()
if_ _name__main_”:
data=getRRDInfo(0, 10)
drawRRDBar (data)
from pyecharts import Pie
def drawRRDPie (data) :
繪制餅狀圖.
attr=list (data. keys())
va1ue=[]
for item in data. keys() :
value. append(sum(data [i tem]))
bar =Pie(”人人貸”， ”借款類型所占比例")
bar. render ()bar. add("" , attr , value , is_ 1abel_ _show=True)
if _ _name__ =="_ main__" :
dr awRRDPie (data)data=getRRDInfo(0, 10)
四.結論
1..經過對數據的分析和可視化，我看到借款最多的為擴大生產經營，最少為日常消費。數據的可視化與圖像可以讓我們很好的將數據的關系體現出來，讓我們能夠簡易的了解到它的相關內容。
2.在此次做作業的過程中，我發現到我對該網絡爬蟲的知識運用的程度還不夠高，還存在許多的盲區，我利用B站與各種渠道學習該知識，加深了我對python的熱愛程度。