破解拉勾网反爬虫-3月25

前一个多月，我试了一下去爬取拉钩网上的信息，但是很遗憾，并没有做成功，还好我今天破解了哈哈哈

破解方法主要根据一个视频：https://study.163.com/course/courseLearn.htm?courseId=1005001016#/learn/video?lessonId=1051195841&courseId=1005001016

一个文章：https://blog.csdn.net/qq_37462361/article/details/87856659

 

经验：1.post请求得到的是json文件格式并用json解析获取，get得到的是网页源码，用bs这些解析

2.在pycharm用crtl+f就可以搜索python输出的内容了！

3.职位信息隐藏了，是通过异步加载，所以还需要努力得到职位信息，网页控制台的network中的XHR是用来过滤Ajax请求的

4.选出https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false；然后在右边选择Preview，content,positionResult,result

5.因为已经在params中添加了原网址的?needAddtionalResult=false，所以网址简略为https://www.lagou.com/jobs/positionAjax.json

如果不去掉?needAddtionalResult=false会无法显示数据；因为使用的是post请求，所以还要发送data这些数据体！

6.破解拉勾网爬虫主要依靠更新cookie！，把cookie进行解析，获得cookie更新的是哪些内容

7.需要对城市名字这些数据进行转码，网址：http://tool.chinaz.com/tools/unicode.aspx；

json数据也需要进行解析，否则很难看出需要解析的数据在哪里，网址：https://www.json.cn/

 

编码思路：先依靠cookie更新破解反爬虫，然后解析相关信息，再打开数据库创建表格，然后编码把第一页的数据写入数据库

，再加一个for循环，把该城市所有页的数据写入数据库，再加一个for循环把广佛深三个城市的数据写入数据库，最后可以在数据库中点击导出向导，

把数据导出为xls数据表格式

 

附上源码：

import requests
import pymysql
import time

#链接数据库
db=pymysql.connect(host='localhost',user='root',password='123456',port=3306,db='python')
#声明游标
cursor=db.cursor()
#插入数据语句
sql='insert into lagou(city,positionName,workYear,education,salary,industryField,companyFullName,companyLabelList,district,businessZones)' \
    'values(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)'


url='https://www.lagou.com/jobs/list_python%E7%88%AC%E8%99%AB?px=default&city=%E5%B9%BF%E5%B7%9E#filterBox'
def get_url(p):  #传入爬取的城市号
    if p==0:
        url='https://www.lagou.com/jobs/list_python%E7%88%AC%E8%99%AB?px=default&city='+str(
            '%E6%B7%B1%E5%9C%B3#filterBox')  #深圳
    elif p==1:
        url = 'https://www.lagou.com/jobs/list_python%E7%88%AC%E8%99%AB?px=default&city=' + str(
            '%E5%B9%BF%E5%B7%9E#filterBox')  #广州
    else:
        url='https://www.lagou.com/jobs/list_python%E7%88%AC%E8%99%AB?px=default&city=' + str(
            '%E4%BD%9B%E5%B1%B1#filterBox')  #佛山
    return url

def get_content():

    for p in range(3):
        # 构造第一个请求头
        headers1 = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
            'Host': 'www.lagou.com',
            'Upgrade-Insecure-Requests': '1',
        }
        response = requests.get(get_url(p), headers=headers1)  #获取不同城市的源码
        if p==0:
            city_code='\u6df1\u5733'
        elif p==1:
            city_code='\u5e7f\u5dde'
        else:
            city_code='\u4f5b\u5c71'


        for i in range(1,4):#最多页数的深圳也只有3页！
            # ajax网页的请求头，和之前的不一样！
            headers = {
                # 不加cookie就可以出现真实源码,请求头添加原则：添加和其他网页不同的部分
                # 拉钩网的反爬虫比较强，添加Cookie要添加登录后的Cookie
                'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
                'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
                'Referer': 'https://www.lagou.com/jobs/list_python%E7%88%AC%E8%99%AB?labelWords=sug&fromSearch=true&suginput=python',
            # 从哪个网址跳转过来的
                'Origin': 'https://www.lagou.com',
                'Host': 'www.lagou.com',
                'X-Anit-Forge-Code': '0',
                'X-Anit-Forge-Token': 'None',
                'X-Requested-With': 'XMLHttpRequest',
            }

            # 网址参数
            params = {
                'needAddtionalResult': 'false',
                'city': city_code  # 城市转换编码后的结果
            }
            data = {
                'kd': '\u0050\u0079\u0074\u0068\u006f\u006e\u722c\u866b',  # Python爬虫转换编码后的结果，关键字
                'first': 'true',  # 转码网址：http://tool.chinaz.com/tools/unicode.aspx
                'pn': str(i),  # 页数
            }


            r = requests.utils.dict_from_cookiejar(response.cookies)  # 获取cookies
            # 构造cookie参数
            r['LGRID'] = r['LGRID']
            r['JSESSIONID'] = r['JSESSIONID']
            r['SEARCH_ID'] = r['SEARCH_ID']

            cookies = {
                '_gat': '1',
                'PRE_UTM': '',
                'hasDeliver': '0',
                'showExpriedMyPublish': '1',
                'showExpriedCompanyHome': '1',
                'showExpriedIndex': '1',
                'login': 'true',
                'sajssdk_2015_cross_new_user': '1',
                'PRE_HOST': 'blog.csdn.net',
                'TG-TRACK-CODE': 'search_code',
                'LGRID': '20190324213839-21d2ecda-4e3a-11e9-b493-5254005c3644',
                'Hm_lpvt_4233e74dff0ae5bd0a3d81c6ccf756e6': '1553434719',
                'SEARCH_ID': '6ad9250f920c43d3a6145d14253f4c79',
                'X_MIDDLE_TOKEN': 'ea516bb77285d71a3f70c60654f86a6a',
                'Hm_lvt_4233e74dff0ae5bd0a3d81c6ccf756e6': '1553427486,1553429096,1553434584,1553434601',
                'PRE_LAND': 'https%3A%2F%2Fwww.lagou.com%2Fjobs%2Flist_java%3FlabelWords%3D%26fromSearch%3Dtrue%26suginput%3D%3FlabelWords%3Dhot',
                'JSESSIONID': 'ABAAABAAADEAAFIA7A0A6CE93C3B7F272ABD8DC5BC6DAA8',
                '_ga': 'GA1.2.161595218.1553427486',
                '_gid': 'GA1.2.1268872210.1553427486',
                'user_trace_token': '20190324193806-4aaf56a0-4e29-11e9-8ac8-525400f775ce',
                'LGUID': '20190324193806-4aaf59b0-4e29-11e9-8ac8-525400f775ce',
                'sensorsdata2015jssdkcross': '%7B%22distinct_id%22%3A%22169afb5765410c-00ad34089f8264-3c604504-2073600-169afb576551bf%22%2C%22%24device_id%22%3A%22169afb5765410c-00ad34089f8264-3c604504-2073600-169afb576551bf%22%7D',
                'LG_LOGIN_USER_ID': '96d26cc9a60fb19d8f1c8ffff5f9068b92c1d8f3c024b59b817b841c0c3a5bff',
                'PRE_SITE': 'https%3A%2F%2Fblog.csdn.net%2Fqq_37462361%2Farticle%2Fdetails%2F87856659',
                'LGSID': '20190324213624-d177e32c-4e39-11e9-8af2-525400f775ce',
                '_putrc': 'C4C6A5FE2C61AA92123F89F2B170EADC',
                'unick': '%E5%8F%B6%E7%90%86%E4%BD%A9',
                'gate_login_token': 'd0a8a428cd39437390e15e201294324c466e65461414742cd90eaadddfb52e3f',
                'index_location_city': '%E5%B9%BF%E5%B7%9E',
            }
            cookies.update(r)  # 更新接口的cookie

            html=requests.post('https://www.lagou.com/jobs/positionAjax.json'
                               ,headers=headers,cookies=cookies,data=data,params=params)   #职位所在的异步网页是post请求

            # print(r)  #此时的cookie不显示！
            html=html.json()   #在一些网页中下载json可能会出现16进制码，可以导入json包，使用dump方法
            # print(html)

        #新问题！通过在https://www.json.cn/中格式化json数据，发现拉勾网识别出爬虫并且返回假数据！！！
        #但是我们加上formdata中的data后，再次请求就可以了
            result=html['content']['positionResult']['result']  #此时是列表了，列表里面是字典

            #由于列太多，所以把数据导入到数据库
            for i in result:
                city=i['city']  #城市
                positionName=i['positionName']   #职位名称
                workYear=i['workYear']   #工作年限
                education=i['education']  #学历
                salary=i['salary']  #薪资
                industryField=i['industryField'] #公司领域
                companyFullName=i['companyFullName']  #公司全名
                companyLabelList=','.join(i['companyLabelList'])  #列表是公司福利，转为字符串
                district=i['district']  #详细地址
                try:
                    businessZones=','.join(i['businessZones'])  #公司区域,也是个列表
                except:
                    businessZones='None'
                params=(city,positionName,workYear,education,salary,industryField,companyFullName,companyLabelList,district,businessZones)
                print(params)
                cursor.execute(sql,params)  #执行sql语句
                db.commit()#提交
            time.sleep(2)

get_content()
db.close() #关闭数据库