爬取藝龍網站部分酒店信息

一.主題式網絡爬蟲設計方案
1.主題式網絡爬蟲名稱：爬取藝龍網站泉州酒店信息
2.主題式網絡爬蟲的內容與數據特征分析：爬取藝龍網站泉州酒店的名稱，價格和評分
3.主題式網絡爬蟲設計方案概述（包括實現思路與技術難點）：
實現思路：本次設計方案主要使用request庫爬取網頁信息和beautifulSoup庫來提取泉州酒店信息，將其存入Excel文件里，並對其進行數據清理，模型分析和數據可視化。
技術難度：對藝龍網站泉州酒店頁面分析和信息采集以及數據可視化

二.主題頁面的結構特征分析

1.主題'頁面的結構與特征分析：通過HTML頁面的分析我們可以知道每個酒店的信息都在class="h_list"的子標簽中，然后我們所要的信息都在於class="h_info_text"中，接着我們可以利用find_all逐一將需要的信息篩選出來。

2.HTML的頁面解析

 

 

 

 

 

 三.網絡爬蟲程序設計

1.數據爬取與采集

import requests
import pandas as pd
from bs4 import BeautifulSoup

url='http://hotel.elong.com/quanzhou/'
header = {"User-Agent": "huang"}
r = requests.get(url, timeout=30, headers=header)
r.raise_for_status()              # 產生異常信息
r.encoding = r.apparent_encoding  # 修改編碼
html = r.text
soup=BeautifulSoup(html,'html.parser')
#創建空列表
name=[]
level=[]
price=[]
hotellist=[]

#酒店名稱
for span in soup.find_all("span","info_cn"):
    name.append(span.string)
#酒店評分
for i in soup.find_all("i","t20 c37e"):
    level.append(i.string)
#酒店價格
for span in soup.find_all("span","h_pri_num"):
    price.append(span.string)
print("{:^60}".format("泉州酒店信息"))
print("{:^5}\t{:^20}\t{:^10}\t{:^10}".format("序列","酒店名稱","酒店評分","酒店價格"))
#將數據進行整合
for i in range(20):
    print("{:^5}\t{:^20}\t{:^10}\t{:^10}".format(i+1,name[i],level[i],price[i]))
    hotellist.append([i+1,name[i],level[i],price[i]])
#對數據進行保存
df = pd.DataFrame(hotellist,columns = ['序列','酒店名稱','酒店評分','酒店價格'])
df.to_excel('藝龍網站泉州酒店信息.xlsx')

 

 

 

 

 

2.對數據進行清洗和處理

(1).刪除酒店價格

df=pd.read_excel('藝龍網站泉州酒店信息.xlsx')
df.drop('酒店名稱',axis=1,inplace=True)  #刪除酒店名稱
df.head(20)

 

 

 

 

 

 

 

 

 

 (2).重復值處理

 df.duplicated() #重復值處理 

 

 

 

(3).空值與缺失值處理

a=df['酒店價格'].isnull().value_counts()  #檢查是否有空值或缺失值
print(a)

 

 

 (4).異常值處理

df.describe()  #檢查是否有異常值

 

 

 

 

 

 3.數據分析與可視化

(1)散點圖

#散點圖
x = df.酒店價格
y = df.酒店評分
plt.xlabel("酒店價格")
plt.ylabel("酒店評分")
plt.scatter(x,y,color="red",label="散點")
plt.title("酒店價格與酒店評分的散點圖")
plt.legend()
plt.show()

 

 

 (2).柱狀圖（各酒店評分分布）

#柱形圖
name_list = df.酒店名稱
num_list = df.酒店評分  
plt.barh(range(len(num_list)), num_list,tick_label = name_list)
plt.title("各酒店評分分布")
plt.show()

 

 

 

 

 

 (3).直方圖（各酒店價格分布）

#直方圖
plt.hist(x = df.酒店價格,
         bins = 20,
         color = 'steelblue',
         edgecolor = 'black'
         )
plt.xlabel('酒店價格')
plt.ylabel('酒店個數')
plt.title("各酒店價格分布")
plt.show()

 

 

 

 

 4.數據之間的關系與相關系數

import numpy as np
import pandas as pd
import seaborn as sns
import sklearn
df=pd.read_excel('藝龍網站泉州酒店信息.xlsx')
df.head(20)
from sklearn.linear_model import LinearRegression
X=df.drop("酒店名稱",axis=1)
predict_model=LinearRegression()
predict_model.fit(X,df['酒店價格'])
print("回歸系數為:",predict_model.coef_)    #判斷相關性
sns.regplot(df.酒店價格,df.序列)

 

 

 5.將代碼匯總，附上完整代碼

import requests
import pandas as pd
from bs4 import BeautifulSoup

url='http://hotel.elong.com/quanzhou/'
header = {"User-Agent": "huang"}
r = requests.get(url, timeout=30, headers=header)
r.raise_for_status()              # 產生異常信息
r.encoding = r.apparent_encoding  # 修改編碼
html = r.text
soup=BeautifulSoup(html,'html.parser')
#創建空列表
name=[]
level=[]
price=[]
hotellist=[]

#酒店名稱
for span in soup.find_all("span","info_cn"):
    name.append(span.string)
#酒店評分
for i in soup.find_all("i","t20 c37e"):
    level.append(i.string)
#酒店價格
for span in soup.find_all("span","h_pri_num"):
    price.append(span.string)
print("{:^60}".format("泉州酒店信息"))
print("{:^5}\t{:^20}\t{:^10}\t{:^10}".format("序列","酒店名稱","酒店評分","酒店價格"))
#將數據進行整合
for i in range(20):
    print("{:^5}\t{:^20}\t{:^10}\t{:^10}".format(i+1,name[i],level[i],price[i]))
    hotellist.append([i+1,name[i],level[i],price[i]])
#對數據進行保存
df = pd.DataFrame(hotellist,columns = ['序列','酒店名稱','酒店評分','酒店價格'])
df.to_excel('藝龍網站泉州酒店信息.xlsx')
#對數據進行讀取
import pandas as pd
df=pd.read_excel('藝龍網站泉州酒店信息.xlsx')
print(df)
#對數據進行清洗和處理
#刪除酒店價格
df.drop('酒店名稱',axis=1,inplace=True)
df.head(20)
#檢查是否有重復值
df.duplicated()   
#檢查是否有空值或缺失值 
a=df['酒店價格'].isnull().value_counts()  
print(a)
#檢查是否有異常值
df.describe()

#對數據分析與可視化
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
df = pd.DataFrame(pd.read_excel('藝龍網站泉州酒店信息.xlsx'))
#散點圖
x = df.酒店價格
y = df.酒店評分
plt.xlabel("酒店價格")
plt.ylabel("酒店評分")
plt.scatter(x,y,color="red",label="散點")
plt.title("酒店價格與酒店評分的散點圖")
plt.legend()
plt.show()
#柱形圖
name_list = df.酒店名稱
num_list = df.酒店評分  
plt.barh(range(len(num_list)), num_list,tick_label = name_list)
plt.title("各酒店評分分布")
plt.show()
#直方圖
plt.hist(x = df.酒店價格,
         bins = 20,
         color = 'steelblue',
         edgecolor = 'black'
         )
plt.xlabel('酒店價格')
plt.ylabel('酒店個數')
plt.title("各酒店價格分布")
plt.show()

#數據之間的關系與相關系數
import numpy as np
import pandas as pd
import seaborn as sns
import sklearn
df=pd.read_excel('藝龍網站泉州酒店信息.xlsx')
df.head(20)
from sklearn.linear_model import LinearRegression
X=df.drop("酒店名稱",axis=1)
predict_model=LinearRegression()
predict_model.fit(X,df['酒店價格'])
print("回歸系數為:",predict_model.coef_)    #判斷相關性
sns.regplot(df.酒店價格,df.序列)

四.結論

1.經過對主題數據的分析與可視化，我發現酒店的價格跟酒店的評分不相關。

2.通過這次的練習讓我懂得了不少知識，也對自己的不足之處更加了解。對於本次的編程對象方面由於沒有充足了解，導致其數據可視化方面較少，其相關性不明顯，總的方面做的還是有些不足。雖說有些不完美，但還是收獲了不少，對Python越來越感興趣，希望今后能學到更多方面的知識提升自己的不足。