Python爬蟲學習之使用beautifulsoup爬取招聘網站信息

菜鳥一只，也是在嘗試並學習和摸索爬蟲相關知識。

1.首先分析要爬取頁面結構。可以看到一列搜索的結果，現在需要得到每一個鏈接，然后才能爬取對應頁面。

 

關鍵代碼思路如下：

html = getHtml("http://www.zhrczp.com/jobs/jobs_list/key/%E5%BB%BA%E6%98%8E%E9%95%87/page/1.html")

soup = BeautifulSoup(html, 'lxml')  #聲明BeautifulSoup對象

hrefbox = soup.find_all("div","td-j-name",True);

links = [];
for href in range(0,len(hrefbox)):    
    links.append("http://www.zhrczp.com"+hrefbox[href].contents[0].get('href'));#拼接鏈接

 

現在已經得到一系列鏈接，下面分析需要爬取的鏈接頁面的結構。

 

 2.分析頁面，頁面所有感興趣的內容均在 div標簽里面，可以使用beautifulsoup提供的find_all函數來查找。

main = soup.find_all("div","main",True); 意思是查找div標簽class為main的內容

 

 

爬取並保存文件，效果如下：

 

詳細代碼如下：

#!/usr/bin/python
# -*- coding: utf-8 -*-

import urllib
from bs4 import BeautifulSoup

def getHtml(url):
    page = urllib.request.urlopen(url)
    html = page.read()
    return html

html = getHtml("http://www.zhrczp.com/jobs/jobs_list/key/%E5%BB%BA%E6%98%8E%E9%95%87/page/1.html")

soup = BeautifulSoup(html, 'lxml')  #聲明BeautifulSoup對象

hrefbox = soup.find_all("div","td-j-name",True);

links = [];
for href in range(0,len(hrefbox)):    
    links.append("http://www.zhrczp.com"+hrefbox[href].contents[0].get('href'));#拼接鏈接

f=open('a.txt','w',encoding='utf-8')
for link in links:
    print(link);
    html = getHtml(link)
    soup = BeautifulSoup(html, 'lxml')  #聲明BeautifulSoup對象
    
    main = soup.find_all("div","main",True);
    f.write("\n**********************************************************************\n\n")
    f.write("職位名稱:"+main[0].contents[1].contents[5].contents[1].contents[0]+"\n");#職位名稱
    f.write("發布時間:"+main[0].contents[1].contents[3].contents[1].contents[0]+"\n");#發布時間
    f.write("\n--------------------職位待遇--------------------\n");
    f.write("工資:"+main[0].contents[1].contents[7].contents[0]+"\n");#wage
    f.write("福利：");
    for i in range(1,len(main[0].contents[1].contents[9].contents)-3):
        f.write(main[0].contents[1].contents[9].contents[i].contents[0]+" ");
        
    f.write("\n\n--------------------聯系方式--------------------\n")
    f.write(main[0].contents[5].contents[3].contents[0].strip()+"\n");#聯系人 去掉空格
    f.write(main[0].contents[5].contents[7].contents[0]+main[0].contents[5].contents[7].contents[1].contents[0]+"\n");#聯系電話
    
    f.write("\n--------------------聯系描述--------------------\n")
    describe = main[0].contents[7].contents;
    f.write(describe[1].contents[0]+describe[3].contents[0]+"\n");#職位描述
    
    item = soup.find_all("div","item",True);
    f.write("\n--------------------職位要求--------------------\n");
    f.write(item[0].contents[3].contents[0].contents[0]+":"+item[0].contents[3].contents[1]+"\n");#工作性質
    f.write(item[0].contents[5].contents[0].contents[0]+":"+item[0].contents[5].contents[1]+"\n");#職位類別
    f.write(item[0].contents[7].contents[0].contents[0]+":"+item[0].contents[7].contents[1]+"\n");#招聘人數
    f.write(item[0].contents[11].contents[0].contents[0]+":"+item[0].contents[11].contents[1]+"\n");#學歷要求
    f.write(item[0].contents[13].contents[0].contents[0]+":"+item[0].contents[13].contents[1]+"\n");#工作經驗
    f.write(item[0].contents[15].contents[0].contents[0]+":"+item[0].contents[15].contents[1]+"\n");#性別要求
    f.write(item[0].contents[19].contents[0].contents[0]+":"+item[0].contents[19].contents[1]+"\n");#年齡要求
    f.write(item[0].contents[21].contents[0].contents[0]+":"+item[0].contents[21].contents[1]+"\n");#招聘部門
    f.write(item[0].contents[25].contents[0].contents[0]+":"+item[0].contents[25].contents[1]+"\n");#招聘部門
    
    company = soup.find_all("div","cominfo link_gray6",True);
    f.write("\n--------------------公司信息--------------------\n");
    f.write(company[0].contents[3].contents[1].contents[0]+"\n");#公司名稱
    f.write(company[0].contents[5].contents[0].contents[0]+":"+company[0].contents[5].contents[1]+"\n");#公司性質
    f.write(company[0].contents[7].contents[0].contents[0]+":"+company[0].contents[7].contents[1]+"\n");#公司行業
    f.write(company[0].contents[9].contents[0].contents[0]+":"+company[0].contents[9].contents[1]+"\n");#公司規模
    f.write(company[0].contents[11].contents[0].contents[0]+":"+company[0].contents[11].contents[1]+"\n");#公司地區
    
    f.write("\n**********************************************************************\n")
f.close();

 參考：

http://www.cnblogs.com/Albert-Lee/p/6232745.html

https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html