Python網絡爬蟲爬取網絡小說信息

一、選題背景

通過爬取起點中文網熱門小說信息，可以時實的了解到現在，熱門小說的寫作方向、主題等，也可以大致了解讀者對小說的消費情況。

二、主題式網絡爬蟲設計方案

1.主題式網絡爬蟲名稱

起點中文網熱門小說信息爬取

2.主題式網絡爬蟲爬取的內容與數據特征分析

爬取起點中文網 https://www.qidian.com/ 熱門小說信息（小說名稱，推薦數量），在分析小說的多個特征值時，本文提取了推薦數量這一值作為比較

3.主題式網絡爬蟲設計方案概述（包括實現思路與技術難點）

訪問網頁得到狀態碼200，分析網頁源代碼，找出所需要的的標簽，逐個提取標簽保存到相同路徑excel 文件中，讀取改文件，進行數據清洗，數據可視化處理，用最小二乘法分析兩個變量間的二次擬合方程和繪制擬合曲線。

三、主題頁面的結構特征分析

1.主題頁面的結構與特征分析：可以發現我們需要的內容在'li'路徑里面，同時我發現第一本書對於其他書差距太過巨大，就不對其進行分析，只分析后面的書籍。

2.頁面解析：

 

 

 

 

 

 

 

 

三、

1.

from bs4 import BeautifulSoup
import requests
import pandas as pd
import time
import random
from matplotlib import pyplot as plt
import numpy as np
from numpy import genfromtxt
import matplotlib.pyplot as plt
import matplotlib
from scipy.optimize import leastsq

url = 'https://www.qidian.com/'
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = 'urf-8'
r.text
html=r.text
soup=BeautifulSoup(html,'html.parser')
tictet=soup.find_all('i',class_='total')
name_1=soup.find_all('a',class_='name')
name=[]
for i in range(39,52):
    name.append(name_1[i].text)
print('{:^50}'.format('熱門書籍'))
print('{:^5}\t{:^40}\t{:^10}'.format('排名', '書名', '推薦數'))
for i in range(13):
    print('{:^5}\t{:^40}\t{:^10}'.format(i+1, name[i], tictet[i].text))
lit=[]
for i in range(13):
    lit.append([i+1, name[i], tictet[i].text])
df = pd.DataFrame(lit,columns=['排名','書名','推薦數'])
df.to_excel('D:/python_work/python_1.xlsx')

 

　　

2.

#讀取excel文件
rank=pd.DataFrame(pd.read_excel('D:/python_work/python_1.xlsx'))
print(rank)

 

 

 

 3.

#刪除無效列
#rank.drop('書名',axis=1,inplace=True)
#print(rank)

 

 4.

#檢查是否有重復值
print(rank.duplicated())

 

5.

#檢查是否有空值
print(rank['推薦數'].isnull().value_counts())

 

 

6.

#數據分析
from sklearn.linear_model import LinearRegression
X = df.drop("標題",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df['熱度'])
print("回歸系數為:",predict_model.coef_)

 

 

7.

#畫出散點圖
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用來正常顯示中文標簽
plt.rcParams['axes.unicode_minus'] = False  # 用來正常顯示負號
N=10
x=np.random.rand(N)
y=np.random.rand(N)
size=50
plt.xlabel("排名")
plt.ylabel("推薦數")
plt.scatter(x,y,size,color='r',alpha=0.5,marker="o")
#散點圖  kind='reg'
sns.jointplot(x="排名",y="推薦數",data=rank,kind='reg')
#  kind='hex'
sns.jointplot(x="排名",y="推薦數",data=rank,kind='hex')
# kind='kde'
sns.jointplot(x="排名",y="推薦數",data=rank,kind="kde",space=0,color='g')

 

 

 

 

 

 

 

 

8.

#選擇排名和熱度兩個特征變量，繪制分布圖，用最小二乘法分析兩個變量間的二次擬合方程和擬合曲線
colnames=[" ","排名","書名","推薦數"]
df = pd.read_excel('rank.xlsx',skiprows=1,names=colnames)
X = df.排名
Y = df.推薦數
Z = df.書名
def A():
    plt.scatter(X,Y,color="blue",linewidth=2)
    plt.title("RM scatter",color="blue")
    plt.grid()
    plt.show()
def B():
    plt.scatter(X,Y,color="green",linewidth=2)
    plt.title("redu",color="blue")
    plt.grid()
    plt.show()
def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c
def error(p,x,y):
    return func(p,x)-y
def main():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X,Y))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X,Y,color="blue",linewidth=2)
    x=np.linspace(0,20,20)
    y=a*x*x+b*x+c
    plt.plot(x,y,color="blue",linewidth=2,)
    plt.title("熱度值分布")
    plt.grid()
    plt.show()
print(A())
print(B())
print(main())

 

 

 

 

 

 

 四、完整代碼

from bs4 import BeautifulSoup
import requests
import pandas as pd
import time
import random
from matplotlib import pyplot as plt
import numpy as np
from numpy import genfromtxt
import matplotlib.pyplot as plt
import matplotlib
from scipy.optimize import leastsq

url = 'https://www.qidian.com/'
r = requests.get(url,timeout = 30)
r.raise_for_status()
r.encoding = 'urf-8'
r.text
html=r.text
soup=BeautifulSoup(html,'html.parser')
tictet=soup.find_all('i',class_='total')
for i in range(len(tictet)):
    print(tictet[i].text)
name_1=soup.find_all('a',class_='name')
name=[]
for i in range(39,52):
    name.append(name_1[i].text)
    print(name)
print('{:^50}'.format('熱門書籍'))
print('{:^5}\t{:^40}\t{:^10}'.format('排名', '書名', '推薦數'))
for i in range(13):
    print('{:^5}\t{:^40}\t{:^10}'.format(i+1, name[i], tictet[i].text))
lit=[]
for i in range(13):
    lit.append([i+1, name[i], tictet[i].text])
df = pd.DataFrame(lit,columns=['排名','書名','推薦數'])
df.to_excel('D:/python_work/python_1.xlsx')
#讀取excel文件
rank=pd.DataFrame(pd.read_excel('D:/python_work/python_1.xlsx'))
print(rank)
#刪除無效列
#rank.drop('書名',axis=1,inplace=True)
#print(rank)
#檢查是否有重復值
print(rank.duplicated())
#檢查是否有空值
print(rank['推薦數'].isnull().value_counts())
#異常值處理
print(rank.describe())
#數據分析
from sklearn.linear_model import LinearRegression
X = df.drop("書名",axis=1)
predict_model = LinearRegression()
predict_model.fit(X,df['推薦數'])
print("回歸系數為:",predict_model.coef_)
#畫出散點圖
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用來正常顯示中文標簽
plt.rcParams['axes.unicode_minus'] = False  # 用來正常顯示負號
N=10
x=np.random.rand(N)
y=np.random.rand(N)
size=50
plt.xlabel("排名")
plt.ylabel("推薦數")
plt.scatter(x,y,size,color='r',alpha=0.5,marker="o")
#散點圖  kind='reg'
sns.jointplot(x="排名",y="推薦數",data=rank,kind='reg')
#  kind='hex'
sns.jointplot(x="排名",y="推薦數",data=rank,kind='hex')
# kind='kde'
sns.jointplot(x="排名",y="推薦數",data=rank,kind="kde",space=0,color='g')
#選擇排名和熱度兩個特征變量，繪制分布圖，用最小二乘法分析兩個變量間的二次擬合方程和擬合曲線
colnames=[" ","排名","書名","推薦數"]
df = pd.read_excel('D:/python_work/python_1.xlsx',skiprows=1,names=colnames)
X = df.排名
Y = df.推薦數
Z = df.書名
def A():
    plt.scatter(X,Y,color="blue",linewidth=2)
    plt.title("RM scatter",color="blue")
    plt.grid()
    plt.show()
def B():
    plt.scatter(X,Y,color="green",linewidth=2)
    plt.title("redu",color="blue")
    plt.grid()
    plt.show()
def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c
def error(p,x,y):
    return func(p,x)-y
def main():
    plt.figure(figsize=(10,6))
    p0=[0,0,0]
    Para = leastsq(error,p0,args=(X,Y))
    a,b,c=Para[0]
    print("a=",a,"b=",b,"c=",c)
    plt.scatter(X,Y,color="blue",linewidth=2)
    x=np.linspace(0,20,20)
    y=a*x*x+b*x+c
    plt.plot(x,y,color="blue",linewidth=2,)
    plt.title("熱度值分布")
    plt.grid()
    plt.show()
print(A())
print(B())
print(main())

 五、總結

       這次數據爬蟲，一開始感覺並沒有什么頭緒，不知道怎么開始，爬什么東西。但是在看了其他學姐學長的博客后，對於自己的爬蟲有了大致的方向。但是在實際做起來時還是遇到了很多的困難，比如一開始我是准備爬嗶哩嗶哩視頻網站的視頻信息的，但是得到的數字數據里面會帶有一個“萬”字，我並不知道怎么去掉，於是放棄了，換成了現在的爬起點中文網的書籍信息。這一次也是有一個難點的，就是爬出需要的書名的時候還爬出的其他分類里面的書名，我看了一下，發現這些地方的標簽和屬性都一樣，就很離譜。雖然我不會這么去把它具體的分離出來，但是每一個分類的書名數是固定的，於是我就用了一個死辦法，數！最終把這個博文寫了出來。

       最后想想還是很激動的，因為自己把這么一個東西寫出來，成就感很充足。