一、设计方案
1、名称：爬取知乎热榜的数据与做数据分析和可视化操作
2、内容：知乎的热门话题前16个，包括它的热度值
3、方案概况：（1）、思路：先去知乎热点网站上查看源代码，找到自己想要的数据和标签，开始动手写爬虫，爬去数据后，建立一个简便的可让人打开的文档或文件夹，
再进行数据的处理，分析，和可视化。完成整个设计
（2）、技术难点 1）：分析网页时难以快速且准确的找到自己想要抓取的标签和抓取项目
2）：对数据分析理解不够，以至于线性回归方程部分没写
#分析网页源代码
分析得知，所有要抓取的内容均在table标签中
在这个标签中找到需要的内容
二、进行爬虫
#爬去所有需要的数据
url='https://tophub.today/n/mproPpoq6O'
#伪装一个标题，能够爬取内容
headers={'user-agent':'45545454'}
#设置延迟
response=requests.get(url,headers=headers,timeout=30)
#获取内容
html=response.text
biaoti=re.findall('<a href=.*? target="_blank" .*?>(.*?)</a>',html)[3:20]
redu=re.findall('<td>(.*?)</td>',html)[0:17]
#print(biaoti)
#print(redu)
#让数据更美观和有条理并且创建一个文件夹
#创建字典
dict = {'内容':biaoti,'阅读数量':redu}
x = pd.DataFrame(dict)
#print(x)
dict=[]
for i in range(16):
dict.append([i+1,biaoti[i],redu[i][:-3]])
#建立一个有关文件夹
file=pd.DataFrame(dict,columns=['排名','知乎今日热榜','热度（单位：万）'])
print(file)
#file.to_csv('/Users/xiaonico/Desktop/知乎热榜数据.csv')
三、处理文件
对数据的处理
#读取csv文件
df=pd.DataFrame(pd.read_csv('/Users/xiaonico/Desktop/知乎热榜数据.csv'))
df.head()
#数据清洗
#进行清洗，去除无效数据
df.drop('知乎今日热榜'，axis=1,inplace=Ture)
df.head()
df.isnull().sum()#空值
#缺失值
df[df.isnull().values==True]
#describe()显示描述性统计指标
df.describe()
#进行相关数问题
#相关系数问题
df.corr()
四、数据可视化
#排名和热度之间的线性关系
sns.lmplot(x='排名',y='热度（单位：万）',data=df)
#绘制条形统计图
def build():
file_path = "'知乎热榜数据.csv'"
x = df['排名']
y = df['热度（单位：万）']
plt.xlabel('排名')
plt.ylabel('热度（单位：万）')
plt.bar(x,y)
plt.title("绘制排名与热度条形图")
plt.show()
build()
#画散点图
def sandian():
x = df['排名']
y = df['热度（单位：万）']
plt.xlabel('排名')
plt.ylabel('热度（单位：万）')
plt.scatter(x,y,color="red",label=u"热度分布数据",linewidth=2)
plt.title("排名与热度散点图")
plt.legend()
plt.show()
sandian()
#画折线图
def zhexian():
x = df['排名']
y = df['热度（单位：万）']
plt.xlabel('排名')
plt.ylabel('热度（单位：万）')
plt.plot(x,y)
plt.scatter(x,y)
plt.title("排名与热度折线图")
plt.show()
zhexian()
#进行数据的回归方程不会
五、全部代码
#导入需要的库 import requests import re import os import pandas as pd from bs4 import BeautifulSoup import seaborn as sns #一、爬去所有需要的数据 url='https://tophub.today/n/mproPpoq6O' #伪装一个标题，能够爬取内容 headers={'user-agent':'45545454'} #设置延迟 response=requests.get(url,headers=headers,timeout=30) #获取内容 html=response.text biaoti=re.findall('<a href=.*? target="_blank" .*?>(.*?)</a>',html)[3:20] redu=re.findall('<td>(.*?)</td>',html)[0:17] #print(biaoti) #print(redu) #print(html) #用bs4对需要的内容进行编辑 soup=BeautifulSoup(html,'html.parser') title=soup.find_all('a',class_='list-title') point=soup.find_all('align',class_='inco_rise') #print(':^55}'.format('知乎热榜川 #print('t{:^40}\t{:^10}.format( '标题，热度"》 #创建字典 dict = {'内容':biaoti,'阅读数量':redu} x = pd.DataFrame(dict) #print(x) dict=[] for i in range(16): dict.append([i+1,biaoti[i],redu[i][:-3]]) #建立一个有关文件夹 file=pd.DataFrame(dict,columns=['排名','知乎今日热榜','热度（单位：万）']) print(file) #file.to_csv('/Users/xiaonico/Desktop/知乎热榜数据.csv') #二、对数据的处理 #读取csv文件 df=pd.DataFrame(pd.read_csv('/Users/xiaonico/Desktop/知乎热榜数据.csv')) df.head() #进行清洗，去除无效数据 df.drop('知乎今日热榜'，axis=1,inplace=Ture) df.head() df.isnull().sum()#空值 #缺失值 df[df.isnull().values==True] #describe()显示描述性统计指标 df.describe() #相关系数问题 df.corr() #三、数据可视化 #排名和热度之间的线性关系 sns.lmplot(x='排名',y='热度（单位：万）',data=df) #绘制条形统计图 def build(): file_path = "'知乎热榜数据.csv'" x = df['排名'] y = df['热度（单位：万）'] plt.xlabel('排名') plt.ylabel('热度（单位：万）') plt.bar(x,y) plt.title("绘制排名与热度条形图") plt.show() build() #画散点图 def sandian(): x = df['排名'] y = df['热度（单位：万）'] plt.xlabel('排名') plt.ylabel('热度（单位：万）') plt.scatter(x,y,color="red",label=u"热度分布数据",linewidth=2) plt.title("排名与热度散点图") plt.legend() plt.show() sandian() #画折线图 def zhexian(): x = df['排名'] y = df['热度（单位：万）'] plt.xlabel('排名') plt.ylabel('热度（单位：万）') plt.plot(x,y) plt.scatter(x,y) plt.title("排名与热度折线图") plt.show() zhexian()
六、总结：
对于所有的折线图，散点图，和数据分析，可以判断出，排名时随着热度的增长而增长的
小结：
对数据的抓取和分析，还有进行清洗与可视化让我们更加直观的看出来热度标题的数据，能够获取有用的数据，能够画出对于数据的各式图形，
可以让分析更加的快捷和方便，对于有需求的人来说是非常快捷而且方便的。
