【python】:用爬虫脚本爬取招聘网站上的信息

方法：

1，一个招聘只为下，会显示多个页面数据，依次把每个页面的连接爬到url；

 

 2，在page_x页面中，爬到15条的具体招聘信息的s_url保存下来；

 3，打开每个s_url链接，获取想要的信息例如，title，connect，salary等；

 4，将信息保存并输入到csv文本中去。

代码：

from lxml import etree
import requests
import time
#要爬取的网站链接
url = "https://www.lagou.com/zhaopin/Java/?labelWords=label"
#设置信息头，模拟人为操作，可以避免一些反爬虫
head = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3534.4 Safari/537.36'}

res = requests.get(url, headers=head).content.decode("utf-8")
re = etree.HTML(res)
#获得该页面翻页地址链接
s_url = re.xpath("//div[@class='pager_container']/a[position()>2 and position()<7]/@href")
print('s_url=', s_url)
#依次循环page1，page2等等
for x in s_url:
    res = requests.get(x, headers=head).content.decode("utf-8")
    re = etree.HTML(res)
    print('x==', x)
    #获取当前页面下的所有招聘信息链接
    list_url = re.xpath("//div[@class='s_position_list ']/ul/li[position()>=0 and position()<15]/div/div[1]/div/a/@href")
    print('list_url=', list_url)
    #依次循环每个招聘信息，将标题，内容，薪资获取到
    for y in list_url:
        r01 = requests.get(y, headers=head).content.decode("utf-8")
        html01 = etree.HTML(r01)
        print('y==', y)
        
        title = html01.xpath("string(//div[@class='job-name'])")
        print('title===', title)
        content = html01.xpath("string(//div[@class='job-detail'])")
        print('content===', content)
        salary = html01.xpath("string(/html/body/div[5]/div/div[1]/dd/h3/span[1])")
        print('salary===', salary)
        #设置休眠是防止网站识别自己，最好是random休眠
        time.sleep(5)
        # 保存爬虫信息内容
        with open("cn-blog.csv", "a+", encoding="utf-8") as file:
            file.write(title + "\n")
            file.write(content + "\n")
            file.write(salary + "\n")
            file.write("*" * 50 + "\n")

总结：

1，设置head信息以及sleep，防止网站识别自己（虽然网站还是会屏蔽些，但是也能抓取大部分数据了）；

2，用xpath获取同一个元素下所有内容，用下标[position()>x and position()<y]表示；