Python爬取獵聘網的數據進行分析

前言：

一、選題的背景　

　　近年來，越來越多的年輕人在尋找工作這個方面呢的事情上會出現各種問題，而好的工作非常難找，差的工作很多年輕人也不想做，所以我選擇做一份數據分析一下招聘網站上各個工作的情況。

二、項目目標分析

　　本項目是對獵聘網的數據進行爬取分析,主要分析的目標是招聘信息，學歷要求等；

　　分析在獵聘網中尋找的工作招聘信息，薪資以及其他福利待遇，以及對求職者的學歷要求要多高進行分析。

三、網絡爬蟲設計方案

（1）爬蟲名稱：爬取獵聘網的數據進行分析　　

參考書籍：

1. 《Python3網絡爬蟲開發實戰》-崔慶才
2. 《Python數據可視化》-Kirthi Raman
3. 《深入淺出MySQL》

參考文檔：

1. python 3.6官方文檔；
2. Requests:讓HTTP服務人類；
3. Beautiful Soup documentation；
4. pyecharts；

四、python爬蟲抓取IT類招聘信息的實現

2.1、代碼

mport requests
import lxml
import re
import pymysql
from bs4 import BeautifulSoup
from multiprocessing import Pool

def getTableName(ID):
"""
有些分類標識符ID中帶有MySql數據庫表名不支持的符號，該函數返回合法表名
"""
replaceDict={
"Node.JS":"NodeJS",
".NET":"NET",
"C#":"CC",
"C++":"CPP",
"COCOS2D-X":"COCOS2DX"
}
if ID in replaceDict:
return replaceDict[ID]
else:
return ID

def parseWage(wage):
"""
該函數實現了解析工資字符串wage，如果是'面議'或者其它則返回列表[0,0](代表工資面議）,否則返回
相應工資（數值類型,單位為萬)
"""
parsedResult=re.findall('(.*?)-(.*?)萬.*?',wage,re.S)
if not parsedResult:
return [0,0]
else:
return [parsedResult[0][0],parsedResult[0][1]]


"""
該函數實現判斷某一個表是否在數據庫方案里存在，存在返回True，不存在返回False
"""
sql = "show tables;"
cursor.execute(sql)
tables = [cursor.fetchall()]
table_list = re.findall('(\'.*?\')',str(tables))
table_list = [re.sub("'",'',each) for each in table_list]
if table_name in table_list:
return True
else:
return False
def isUrlValid(url):
"""
由於在爬蟲運行過程中發現有些類別招聘信息中含有的詳細招聘信息的入口地址在獲取響應的時候會拋出Missing Schema異常，
發現是url中有些是.../job/...（往往是獵聘網自己發布的招聘信息），有些是.../a/...（這類招聘信息通常是代理發布），
導致無法解析，從而使爬蟲運行到此處時停止抓取數據。
該函數實現對代理發布的URL進行過濾，若為代理發布的信息，則跳過該條招聘信息，函數返回False,否則返回True。
"""
isValid=re.search('.*?www\.liepin\.com/job/.*?$',url,re.S)
if isValid:
return True
else:
return False

def getPageHtml(url,headers=None):
"""
返回服務器響應頁面的html,不成功返回None
"""
if not headers:
headers={
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36",
}

try:
response=requests.get(url,headers=headers)
if response.status_code==200:
return response.text
else:
return None
except requests.RequestException as e:
#debug
print('Exception occur in funciton getPageHtml()')

return None
def getEntry(html):
"""
解析Html,該函數為生成器類型，每一次迭代返回某一子項目的入口地址URL和description組成的字典entry
"""

if not html:
#html為None則返回None，無法從該html中解析出子項目入口地址
#debug
print('html is None in function getEntry()')
return None

soup=BeautifulSoup(html,'lxml')
for items in soup.find_all(name='li'):
for item in items.find_all(name='dd'):
for usefulURL in item.find_all(name='a',attrs={"target":"_blank","rel":"nofollow"}):
yield{
"URL":'https://www.liepin.com'+usefulURL.attrs['href'],
"URL_Description":usefulURL.text
}


def getCountryEntry(entry):
"""
entry為子項目地址URL和描述URL_Description組成的字典,該函數實現了從子項目頁面信息中獲取響應，並
且最終返回全國子項目地址CountryURL和CountryURLDescription(實際上就是URL_Description)組成的字典
"""

if not entry:
#debug
print('ERROR in function getCountryEntry:entry is None')
return None

headers={
"Host":"www.liepin.com",
"Referer":"https://www.liepin.com/it/",
"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}

countryHtml=getPageHtml(entry['URL'],headers=headers)
soup=BeautifulSoup(countryHtml,'lxml')
citiesInfo=soup.find(name='dd',attrs={"data-param":"city"})

if not citiesInfo:
#debug
print('ERROR in function getCountryEntry():citiesInfo is None.')
return None

db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='spider')
cursor=db.cursor()
if not table_exists(cursor,entry['URL_Description']):
createTableSql="""CREATE TABLE IF NOT EXISTS spider.{} like spider.positiondescription;""".format(getTableName(entry['URL_Description']))
try:
cursor.execute(createTableSql)
print('--------------create table %s--------------------' % (entry['URL_Description']))
except:
print('error in function getCountryEntry():create table failed.')
finally:
db.close()



return {
"CountryURL":"https://www.liepin.com"+citiesInfo.find(name='a',attrs={"rel":"nofollow"}).attrs['href'],
"CountryURLDescription":entry['URL_Description']
}

def getCountryEmployeeInfo(CountryEntry):
"""
CountryEntry是getCountryEntry函數返回的由全國招聘信息CountryURL和地址分類描述
CountryURLDescription構成的字典,該函數提取出想要的信息
"""

if not CountryEntry:
#debug
print('ERROR in function getCountryEmpolyeeInfo():CountryEntry is None.')
return None

db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='spider')
cursor=db.cursor()

indexOfPage=0
theMaxLength=0

#遍歷該類招聘信息的每一頁
while indexOfPage<=theMaxLength:
URL=CountryEntry['CountryURL']+'&curPage='+str(indexOfPage)
pageHtml=getPageHtml(URL)
soup=BeautifulSoup(pageHtml,'lxml')

#提取出該類招聘信息總共的頁數,僅需要提取一次即可
if indexOfPage==0:
prepareReString=soup.find(name='a',attrs={"class":"go","href":"javascript:;"}).attrs['onclick']
pattern=re.compile('Math\.min\(Math\.max\(\$pn,\s\d\),(.*?)\)')
theMaxLength=int(re.findall(pattern,prepareReString)[0])

#debug，檢測訪問到第幾頁
print('Accessing page {} of {}'.format(indexOfPage,CountryEntry['CountryURLDescription']))
#進入下一頁
indexOfPage+=1

"""
這里代碼實現對信息的有效信息的提取
"""
for detailedDescriptionURL in getDetailedDescriptionURL(soup):
#如果詳細招聘信息入口URL是代理發布（即無效，這里不爬取這類信息），則跳過該條招聘信息
if not isUrlValid(detailedDescriptionURL):
continue
detailedDescriptionHtml=getPageHtml(detailedDescriptionURL)
#將分區標識符（例如java、php等）添加進返回的字典
result=detailedInformation(detailedDescriptionHtml)
result['ID']=CountryEntry['CountryURLDescription']
"""
if 'ID' in result:
print(type(result['ID']),'>>>',result)
"""
if result['Available']:
#獲取工資最小值和最大值
min_max=parseWage(result['wage'])
#有些公司沒有福利tag
reallyTag=''
if not result['tag']:
reallyTag='無'
else:
reallyTag=result['tag']

insertSql="""insert into spider.{} values(0,'{}','{}','{}',{},{},'{}','{}','{}','{}','{}','{}','{}');""".format(getTableName(result['ID']),result['position'],result['company'],result['wage'],min_max[0],min_max[1],result['education'],result['workExperience'],result['language'],result['age'],result['description'],reallyTag,result['workPlace'])

try:
cursor.execute(insertSql)
db.commit()
except:
db.rollback()
#debug
print('ERROR in function getCountryEmployeeInfo():execute sql failed.')
#爬取完該類招聘信息之后關閉數據庫連接
db.close()

def getDetailedDescriptionURL(soup):
"""
soup為全國招聘信息列表頁面解析的BeautifulSoup對象，該函數為生成器，每一次迭代產生一條招聘信息
詳細內容的URL字符串
"""
if not soup:
#debug
print('ERROR in function getDetailedDescroption():soup is None.')
return None

for item in soup.find_all(name='div',attrs={"class":"job-info"}):
detailedDescriptionURL=item.find(name='a',attrs={"target":"_blank"}).attrs['href']
yield detailedDescriptionURL


def detailedInformation(detailedDescriptionHtml):
"""
該函數實現對具體的一條詳細招聘信息的提取，detailedDescriptionHtml為一條詳細招聘信息網頁的
HTML,該函數返回值為職位具體要求構成的字典positionDescription
"""
if not detailedDescriptionHtml:
#debug
print('ERROR in function detailedInformation():detailedDescriptionHtml is None.')
return None

soup=BeautifulSoup(detailedDescriptionHtml,'lxml')

#提取出招聘職位和公司，類型為str
positionItem=soup.find(name='div',attrs={"class":"title-info"})
#有時候招聘信息被刪除了但是招聘信息的入口仍然留在招聘列表中，這里就是防止這種情況導致運行失敗
if not positionItem:
return {
'Available':False
}
position=positionItem.h1.text
company=soup.find(name='div',attrs={"class":"title-info"}).a.text

#提取出工資水平（類型為str,有些是面議）、工作地點、學歷要求、工作經驗、語言要求和年齡要求
items=soup.find(name='div',attrs={"class":"job-title-left"})
wage=items.find(name='p',attrs={"class":"job-item-title"}).text.split('\r')[0]
workPlace=items.find(name='a')
#有些工作地點在國外，該網站不提供該地區招聘信息的網頁，沒有標簽a,這里就是處理這樣的異常情況
if not workPlace:
workPlace=items.find(name='p',attrs={"class":"basic-infor"}).span.text.strip()
else:
workPlace=workPlace.text

#這里返回一個大小為4的列表，分別對應學歷要求、工作經驗、語言要求、年齡要求
allFourNec=items.find(name='div',attrs={"class":"job-qualifications"}).find_all(name='span')

#有些招聘信息中帶有公司包含的福利tag，這里也提取出來,所有tag組成一個由-分隔的字符串,沒有則為空字符串
tagItems=soup.find(name='ul',attrs={"class":"comp-tag-list clearfix","data-selector":"comp-tag-list"})
tags=''
if tagItems:
tempTags=[]
for tag in tagItems.find_all(name='span'):
tempTags.append(tag.text)
tags='-'.join(tempTags)

#提取出詳細的職位技能要求
descriptionItems=soup.find(name='div',attrs={"class":"job-item main-message job-description"})
description=descriptionItems.find(name='div',attrs={"class":"content content-word"}).text.strip()

positionDescription={
"Available":True,
"position":position,
"company":company,
"wage":wage,
"workPlace":workPlace,
"education":allFourNec[0].text,
"workExperience":allFourNec[1].text,
"language":allFourNec[2].text,
"age":allFourNec[3].text,
"tag":tags,
"description":description,
}

return positionDescription
if __name__=="__main__":
startURL='https://www.liepin.com/it/'
startHtml=getPageHtml(startURL)

#多進程抓取數據
pool=Pool(4)
for entry in getEntry(startHtml):
countryEntry=getCountryEntry(entry)
pool.apply_async(getCountryEmployeeInfo,args=(countryEntry,))
pool.close()
pool.join()
print('All subprocesses done.')

2.2 代碼的部分補充說明

2.2.1 getEntry(html)

　　爬蟲初始入口地址startURL對應於獵聘網下圖所示的頁面

　　在該頁面對應於代碼中的函數getEntry(html)，下面是子項目入口地址於HTML中所在的位置：

2.2.2 getCountryEntry(entry)

　　對應於如下頁面：

　　不僅僅只抓取當前地區，需要抓取全國的招聘信息，因此要進入全國招聘信息的URL，位置如下所示：

　　第一條href即為全國的入口URL。

　　除此之外在該函數中還根據每一個招聘信息子分類創建了各自的表，由於有些分類名中含有MySQL數據庫表名不支持的特殊符號，所以函數getTableName(ID)功能就是根據分類名ID返回合法表名。

2.2.3 getCountryEmployeeInfo(CountryEntry)

　　對應如下頁面：

　　在該頁面可以抓取到每一條招聘信息詳細信息的入口地址URL，以及該分類（在上圖中就是Java）中總頁面數量：

　　招聘信息詳細信息的入口地址URL位置如下所示：

 

 

 

 　　總頁面數所在位置如下所示（即div class="pager"那一個標簽中）：

2.2.4 detailedInformation(detailedDescriptionHtml)

　　對應於如下所示的頁面結構：

　　具體在該頁面上抓取的信息所在位置在函數detailedInformation(detailedDescriptionHtml)中表示得很明白。

五、數據庫部分

　　在上面給出的代碼中，在函數getCountryEntry中對每一類招聘信息都在數據庫spider中（spider是我事先已經建立好的一個schema）建立了相應的表，其中有一個positionDescription表是我在抓取前建立的一個模板表，目的是為了便於各分類表的創建，各分類表的結構都和positionDescription表一樣，其字段類型如下所示：

 

　　然后抓取之后就會生成各分類的表，這些表的結構和positionDescription表結構完全一樣，例如（未完全顯示）：

 

 

六、數據可視化的實現

6.1 直方圖

6.1.1 各分類招聘信息數量直方圖

import matplotlib.pyplot as plt
import matplotlib
import pymysql
 
def drawPic():
    db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='spider')
    cursor=db.cursor()
 
    try:
        cursor.execute("select table_name as 表名,table_rows from information_schema.tables where table_schema='spider' order by table_rows desc;")
        results=cursor.fetchall()
        #print(results)
        tags=[]
        amount=[]
        for item in results:
            if item[1]:
                tags.append(item[0])
                amount.append(item[1])
    
        
    except:
        print('failed')
    db.close()
 
    #解決中文顯示亂碼問題
    plt.rcParams['font.sans-serif']=['FangSong']
    plt.rcParams['axes.unicode_minus']=False
 
    plt.barh(range(len(tags)),amount,height=0.7,color='steelblue',alpha=0.8)
    plt.yticks(range(len(tags)),tags)
    plt.xlim(min(amount)-10,max(amount)+100)
    plt.xlabel("招聘信息數量")
    plt.title("各分類招聘信息數量")
    for x,y in enumerate(amount):
        plt.text(y+1,x-0.4,'%s' % y)
    plt.show()
 
if __name__=='__main__':
    drawPic()

　　效果如下所示：

6.2 圓餅圖

6.2.1 按照學歷要求分類繪制圓餅圖

代碼如下：

import matplotlib.pyplot as plt
import matplotlib
import pymysql
 
#根據學歷要求繪制圓餅圖
def drawPic():
    plt.rcParams['font.sans-serif']=['FangSong']
    plt.rcParams['axes.unicode_minus']=False
 
    labels='本科及以上','大專及以上','統招本科','學歷不限','其它'
    sizes=[39519/79380*100,16726/79380*100,15844/79380*100,5781/79380*100,(1102+211+197)/79380*100]
    explode=(0.1,0,0,0,0)
 
    fig1,ax1=plt.subplots()
    ax1.pie(sizes,explode=explode,labels=labels,autopct='%1.1f%%',shadow=True,startangle=90)
    ax1.axis('equal')
    ax1.set_title('招聘信息學歷要求占比')
 
    plt.show()

　　效果如下所示：