拉鈎項目(一)--項目流程+數據提取

聲明：

　　　1）僅作為個人學習，如有冒犯，告知速刪！

　　　2）不想誤導，如有錯誤，不吝指教！

　　   3）文章配套視頻：http://www.bilibili.com/video/BV1aC4y1a7nR?share_medium=android&share_source=copy_link&bbid=XY1C2901EE0D25CCEC5E23A673F2026B36BEF&ts=1592703866866

目標：

　　　1. 爬取拉鈎網中的關於編程語言的 1）薪資，2）城市范圍，3）工作年限，4）學歷要求;

　　　2 .將四部分保存到mysql中;

　　　3.對四部分進行數據可視化;

　　　4.最后通過pyecharts+bootstrap進行網頁美化 .

技能點：

　　   1. python網絡基礎(requests,xpath語法等)；

　　　2. MySQL+ pymysql的語法基礎；

　　　3. pyecharts基礎；

　　　4. bootstrap基礎；

項目流程及邏輯：

　　　大方向：先完成爬取一類的信息，進行可視化，走一遍流程很重要，再拓展！

 

1.進入以下位置：

 

 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　------->刷新找到請求url：<--------

 

 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　------->分析+請求參數：<--------

 

 

　　　　　　　　　　　　　　　　　　　　　　　------->因為url是post請求，我們需要提交參數，往下滑：<-------

 

2.解決反爬機制

1. 上面的操作解決的是------>拉鈎的ajax請求方式

2. 隱藏在cookies中的時間戳處理：------>session來保持會話-----實時更新cookies

#獲取cookies的函數
#start_url = "https://www.lagou.com/jobs/list_python?#labelWords=&fromSearch=true&suginput="
def cookieRequest(start_url):
    r = requests.Session()
    r.get(url=start_url, headers=headers, timeout=3)
    return r.cookies

 

3.構造流程

1.構造主函數：

if __name__ == '__main__':
    #初始url---獲取cookies
    start_url = "https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput="
    #模擬請求url
    post_url = "https://www.lagou.com/jobs/positionAjax.json?"
    #headers
    headers = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.61 Safari/537.36",
        "accept": "application/json, text/javascript, */*; q=0.01",
        "accept-encoding": "gzip, deflate, br",
        "accept-language": "zh-CN,zh;q=0.9,en;q=0.8",
        "referer": "https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput=",
    }
    # 動態cookies
    cookies = cookieRequest(start_url)
    time.sleep(1)
    #異常處理
    try:
        data = {
            "first": "true",
            "pn": 1  # 1
            "kd": "python",
        }
        textInformation(post_url, data, cookies)
        time.sleep(7)
        print('------------第%s頁爬取成功，正在進行下一頁--------------' % s)
    except requests.exceptions.ConnectionError:
        r.status_code = "Connection refused"

 

2.構造基礎頁函數

def textInformation(post_url, data, cookies):
    response = requests.post(post_url, headers=headers, data=data, cookies=cookies,timeout=3).text
    div1 = json.loads(response)
    # 拿到該頁的職位信息
    position_data = div1["content"]["positionResult"]["result"]
    n = 1
    for list in position_data:
        infor = {
                    "positionName": result["positionName"],
​
                    "companyFullName": result["companyFullName"],
                    "companySize": result["companySize"],
                    "industryField": result["industryField"],
                    "financeStage": result["financeStage"],
​
                    "firstType": result["firstType"],
                    "secondType": result["secondType"],
                    "thirdType": result["thirdType"],
​
                    "positionLables": result["positionLables"],
​
                    "createTime": result["createTime"],
​
                    "city": result["city"],
                    "district": result["district"],
                    "businessZones": result["businessZones"],
​
                    "salary": result["salary"],
                    "workYear": result["workYear"],
                    "jobNature": result["jobNature"],
                    "education": result["education"],
​
                    "positionAdvantage": result["positionAdvantage"]
                }
​
        print(infor)
        time.sleep(5)
        print('----------寫入%s次-------' %n)
        n +=1

 

3.單獨獲取每個類的show_id(詳情頁使用):

https://www.lagou.com/jobs/4254613.html? show=0977e2e185564709bebd04fe72a34c9f

show_id = []
def getShowId(post_url, headers, cookies):
    data = {
        "first": "true",
        "pn": 1,
        "kd": "python",
    }
    response = requests.post(post_url, headers=headers, data=data, cookies=cookies).text
    div1 = json.loads(response)
    # 拿到該頁的職位信息
    position_data = div1["content"]["positionResult"]["result"]
    # 詳情頁的show_id
    position_show_id = div1['content']['showId']
    show_id.append(position_show_id)
    # return position_show_id

 

4.詳情頁信息

def detailinformation(detail_id, show_id):
     get_url = "https://www.lagou.com/jobs/{}.html?show={}".format(detail_id, show_id)
     # time.sleep(2)
     # 詳情頁信息
     response = requests.get(get_url, headers=headers,timeout=5).text
     # print(response)
     html = etree.HTML(response)
     div1 = html.xpath("//div[@class='job-detail']/p/text()")
     # 職位詳情/清洗數據
     position_list = [i.replace(u'\xa0', u'') for i in div1]
     # print(position_list)
     return position_list

 

完整代碼放在GitHub中：

　　https://github.com/xbhog/studyProject

4.暫沒解決/完善的問題

1. 詳情頁在mysql保存到的時候，有些沒有數據，可能是網絡抖動或者請求頻繁

2. 沒有使用多線程

3. 沒有使用scrapy框架

4. 沒有使用類方法

   ------>下期內容<---------

數據存儲：----存儲環境ubuntu

1. Mysql存儲

2. csv存儲

數據存儲鏈接：https://www.cnblogs.com/xbhog/p/13141128.html