Python 爬取騰訊招聘職位詳情 2019/12/4有效

我爬取的是Python相關職位，先po上代碼，（PS：本人小白，這是跟着B站教學視頻學習后，老師留的作業，因為騰訊招聘的網站變動比較大，老師的代碼已經無法運行，所以po上），一些想法和過程在后面。

from lxml import etree
import requests

HEADERS = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36.36',
    'Cookie': '__ga=GA1.2.212176558.1568885824; pgv_pvi=2298593280; _gcl_au=1.1.1370638257.1568885828; loading=agree',
    'Referer': 'https://careers.tencent.com/search.html?keyword=python',
    'Authority': 'careers.tencent.com',
    "Dnt": "1"
}


#通過傳入的indexNum獲取Dict
def GetJsonByIndexUrl(indexNum):
    base_url = "https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1575374831812&countryId=&cityId" \
               "=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=&keyword=python&pageIndex={" \
               "}&pageSize=10&language=zh-cn&area=cn"
    url = base_url.format(indexNum)  # 傳入indexNum的值，構造出完整的indexURL
    response = requests.get(url, headers=HEADERS)
    postDict = response.json()
    return postDict

#通過獲取的Dict取得每個職位的Id
def GetPostIdByDict(postDict):
    postIds = []
    data = postDict["Data"]
    posts = data["Posts"]
    for post in posts:
        postId = post["PostId"]
        postIds.append(postId)
    return postIds

#取得Id后，再獲取職位詳情內容
# post_url="https://careers.tencent.com/jobdesc.html?postId="這是詳情頁面，但是數據也是在json里面，所以直接獲取json內容，
# 也就是下面的detail_url
def GetDetailByPostId(postIds):
    detail_url = "https://careers.tencent.com/tencentcareer/api/post/ByPostId?timestamp=1575389747280&postId={}&language=zh-cn"
    for id in postIds:
        detail_url_byId = detail_url.format(id)
        rsp = requests.get(detail_url_byId)
        detailData = rsp.json()
        print(detailData["Data"])


if __name__ == '__main__':
    for x in range(1, 11):  # 獲取前10頁的信息
        mydict = GetJsonByIndexUrl(x)
        postIds = GetPostIdByDict(mydict)
        print("第", x, "頁", "*" * 20)
        GetDetailByPostId(postIds)
        print("*" * 20)

一些想法和過程：

①一開始做的時候，發現職位的List不在當前頁面，所以爬取這個無法獲取信息，於是查看NetWork發現一個路徑才是列表信息，

我命名為base_url，通過requests.get可以獲得此List中的postId。

②點開一個職位的詳情頁面，發現其實詳情內容也不在當前頁面，內容又是一個新的路徑，我命名為detail_url，通過requests.get，

其實就可以獲得想得到的信息了。