爬虫的三种数据解析方式和验证码的处理

本文转载自查看原文 2019-01-28 21:01 1722 数据采集

1,正则解析:就是通过正则匹配定位到要获取数据的标签,获取响应的数据

直接上代码(以爬取糗事百科为例)

import requests
import re import os if __name__ == '__main__': # 访问请求的url url = "https://www.qiushibaike.com/pic/page/%s/" # 定制请求头 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" } # 指定其实和结束页码 page_start = input("请输入起始页码:") page_end = input("请输入结束页码:") # 创建文件夹 if not os.path.exists("images"): os.mkdir("images") # 循环解析且下载指定页码中的图片数据 for page in range(int(page_start), int(page_end)+1): print("第%s页图片正在下载" % page) new_url = format(url % page) response = requests.get(url=new_url, headers=headers) # 解析response中的图片链接 e = '<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>' pa = re.compile(e, re.S) image_urls = pa.findall(response.text) # 循环下载该页码下的多有url图片数据 for image_url in image_urls: image_url = "https:" + image_url image_name = image_url.split("/")[-1] image_path = "images/" + image_name image_data = requests.get(url=image_url, headers=headers).content # 存储到本地 with open(image_path, "wb") as fp: fp.write(image_data)

2,xpath的表达式:是一种用来定位标签的层级关系的一中表达式

xpath表达式的要点:

# 属性定位:
    # 找到class属性值为xuexue的div标签
    //div[@class='xuexue']  # //表示多层目录下
# 层级&索引定位:
    
    # 找到class属性值为xue的div的直系子标签ul下的第二个子标签li下的直系a标签
    //div[@class="xue"]/ul/li[2]/a  # xpath表达式支持索引,但索引是从1开始的
# 逻辑运算:
    # 找到href属性值为空且class属性值为du的a标签
    //a[@href="" and @class="du"]  # xpath 表达式支持偶家运算
#模糊胡匹配:
    //div[contains(@class, "ng")]
    //div[starts-with(@class, "ta")] #取文本: #表示获取某个标签下的文本内容 #//表示获取某个标签下文本内容和所有子标签下的文本内容 //div[@class="xuexue"]/p[1]/text() //div[@class="xuexue"]//text() # 取属性: // div[@class="xuexue"]//li[2]/a/@href

代码中xpath表达式进行数据解析:
1. 下载:pip install lxml
2. 导包: from lxml import etree
3. 将html文档或xml文档转换成一个etree对象,然后调用对象中的方法查找指定的节点
  1. 本地文件: tree = etree.parse(文件名) tree.xpath("xpath表达式")
  2. 网络数据:tree = etree.HTML(网页内容字符串) tree.xpath("xpath表达式")
安装xpath插件在浏览器中对xpath表达式进行验证:可以在插件中直接执行xpath表达式
- 将xpath插件拖动到谷歌浏览器拓展程序(更多工具中),真能装成功!!!
- 启动和关闭插件:ctrl + shift + x
下载简单中的图片数据

import requests
from lxml import etree import base64 from urllib import request # 指定要访问的url url = "http://jandan.net/ooxx" # 指定响应头 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" } page_text = requests.get(url=url, headers=headers).text tree = etree.HTML(page_text) imgCode_list = tree.xpath("//span[@class='img-hash']/text()") imgUrl_list = [] for url in imgCode_list: img_url = "http:" + base64.b64decode(url).decode() imgUrl_list.append(img_url) for url in imgUrl_list: filePath = url.split("/")[-1] request.urlretrieve(url=url, filename=filePath) print(filePath + "下载成功!") # 查看页面源码：发现所有图片的src值都是一样的。 #简单观察会发现每张图片加载都是通过jandan_load_img(this)这个js函数实现的。 #在该函数后面还有一个class值为img-hash的标签，里面存储的是一组hash值，该值就是加密后的img地址 #加密就是通过js函数实现的，所以分析js函数，获知加密方式，然后进行解密。 #通过抓包工具抓取起始url的数据包，在数据包中全局搜索js函数名（jandan_load_img），然后分析该函数实现加密的方式。 #在该js函数中发现有一个方法调用，该方法就是加密方式，对该方法进行搜索 #搜索到的方法中会发现base64和md5等字样，md5是不可逆的所以优先考虑使用base64解密 #print(page_text) #在抓包工具的数据包响应对象对应的页面中进行xpath的编写，而不是在浏览器页面中。 #获取了加密的图片url数据

3,BeautifulSoup解析

环境的安装
1. 需要将pip原设置为国内源,阿里源,豆瓣源,网易源等
2. windows
  1. 打开文件资源管理器(文佳佳地址栏中)
  2. 地址栏上面输入 %appdata%
  3. 在这里建一个文件夹 pip
  4. 在pip文件夹里新建一个文件叫做pip.ini,内容如下写即可
    - [global]
    - timeout = 6000
    - index-url = https://mirrors.aliyun.com/pypi/simple/
    - trusted-host = mirrors.aliyun.com
3. linux中:
  1. cd ~
  2. mkdir ~/.pip
  3. vi ~/.pip/pip.conf
  4. 编辑内容,和windows一样
4. 需要安装:pip install bs4
- - bs4在使用时候需要一个第三方的库, 把这个库也安装一下
  - pip install lxml
基础使用
1. 导包: from bs4 import BeautifulSoup
2. 使用方式:可以将html文档,转化为BeautifulSoup对象,然后通过对象的方法或者属性去查找指定节点的内容
  1. 转化本地文件: soup = BeautifulSoup(open("本地文件"), "lxml")
  2. 转化网络文件: soup = BeautifulSoup("字符串类型或者字节类型", "lxml")
  3. 打印soup对象显示内容为htnl文件中的内容
BeautifulSoup知识点:
1. 根据标签名查找:
  - soup.a 只能查找第一符合要求的标签
2. 获取属性:
  - soup.a.attrs 获取所有属性和属性值,返回一个字典
  - soup.a.attrs["href"] 获取href属性
  - soup.a["href"] 也可以简写成这种形式
3. 获取内容
  - soup.a.string
  - soup.a.text
  - soup.a.get_text()
  - 注意,如果标签还有标签,那么string获取到的结果为None,而其他两个,可以获取文本内容
4. find:找到第一个符合要求的标签
  - soup.find("a") 找到第一个符合要求的
  - soup.find("a", title="xuexue")
  - soup.find("a", alt="xuexue")
  - soup.find("a", class="xuexue")
  - soup.find("a", id="xuexue")
5. find_all:找到所有符合要求的标签
  - soup.find_all("a")
  - soup.find_all(["a","b"]) # 找到所有的a标签和b标签
  - soup.find_all("a", limit=2) # 限制前两个
6. 根据选择器选择指定的内容
  - select:soup.select("#feng")
  - 常见的选择器:标准选择器(a),类选择器(.),id选择器(#),层级选择器
    - 层级选择器:
      - div.xuexue #xiaoxue.haha .hehe 下面好多级
      - div>p>a>.xuexue 只能是下面一级
    - 注意:select选择器返回的永远是列表,需要通过下标提取指定的对象

相关的代码如下:

import requests
from bs4 import BeautifulSoup # 指定响应头 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" } # 定义解析内容的函数 def parse_content(url): # 获取标题正文页数据 page_text = requests.get(url=url, headers=headers).text # 实例化一个BeautifulSoup对象 soup = BeautifulSoup(page_text, "lxml") # 解析获得标签 element = soup.find("div", class_="chapter_content") content = element.text # 获取标签中的数据值 return content if __name__ == '__main__': url = "http://www.shicimingju.com/book/sanguoyanyi.html" # 发送请求后的响应体 response = requests.get(url=url, headers=headers) page_text = response.text print(page_text) # 创建soup对象 soup = BeautifulSoup(page_text, "lxml") # 解析数据 a_else = soup.select(".book-mulu>ul>li>a") print(a_else) cap = 1 for ele in a_else: print("开始下载di%s章节" % cap) cap += 1 title = ele.string content_url = "http://www.shicimingju.com" + ele["href"] content = parse_content(content_url) print(content) content = content.replace("\xa0", "") # 持久化存储 with open("./mengsanguo.txt", "w") as fp: fp.write(title + ":" + content + "\n\n\n\n\n") print("结束下载第%s章节" % cap)

4,验证码的处理

相关门户网站进行登录的时候,如果用户连续登录的次数超过3次或者5次的时候,就会在登录页面中生成验证码,通过验证码达到分流和反爬的效果
云打码处理平台是一个很好的处理验证码的平台

云打码平台处理验证码实现流程:

对携带验证码的页面数据进行爬取
可以将页面数据中验证码进行解析,验证码图片下载到本地
可以将验证码图片提交给第三方平台进行识别,返回验证码图片上的数据值
- 云打码平台:
  1. 在官网中注册(普通用户和开发者用户)
  2. 登录开发者用户:
    1. 实例代码的下载
    2. 创建一个软件
  3. 使用实例代码中的源码文件中的代码进行修改,让其识别验证码图片中的数据值
代码展示:

# 该函数调用了打码平台的相关的接口对指定的验证码图片进行识别,返回图片上的数据值
def getCode(codeImg):
    # 云打码普通用户的用户名
    username = "xueren"
    # 云打码平台普通用户的密码
    password = "xueren123"
    # 软件ID,开发者分成必要参数,登录开发者后台[我的软件]获得!
    # 软件密钥,开发者分成必要参数 ,登录开发者后台[我的软件]获得!
    appkey = "4997f67b0128c77cda6db5259f5f76a9"
    # 验证码图片文件
    filename = codeImg # 验证码类型, 列如:1004表示4位字母数字,不同类型收费不同,请准确 填写,否则影响别率 查询所有验证码类型:http://www.yundama.com/price.html codetype = 3000 # 超市时间,秒 timeout = 20 # 检查 if (username == "username"): print("请设置好相关参数再测试") else: # 初始化 yundama = YDMHttp(username, password, appid, appkey) # 登录云打码 uid = yundama.login() print("uid: %s" % uid) # 查询余额 balance = yundama.balance() print("balance:"% balance) # 开始识别,图片路径, 验证码类型ID,超时时间(秒), 识别结果 cid, result = yundama.decode(filename, codetype, timeout) print("cod: %s, result: %s" % (cid, result)) return result

人人网验证码的爬取及处理:

def get_code_text(codeType, imgPath):
    # 用户名:普通用户
    username = "xueren"
    # 密码
    password = "xueren123"
    # 软件ID, 开发者分成必要参数.登录开发者后台[我的软件]获得!
    appid = 6609
    # 软件密钥,开发者分成必要参数,登录开发者后台[我的软件]获得!
    appkey = "4997f67b0128c77cda6db5259f5f76a9"
    # 图片文件
    filename = imgPath # 验证码类型, # 列:1004表示4位字母数字,不同类型收费不同.请准确填写,否则影响识别率. # 在此查询所有类型 http://www.yundama.com/price.html codetype = codeType # 超时时间,秒 timeout = 10 # 检查 if(username == "username"): print("请设置好相关参数在测试") else: yundama = YDMHttp(username, password, appid, appkey) # 登录云打码 uid = yundama.login(); print("uid:%s" % uid) # 查询余额 balance = yundama.balance(); print("balance %s" % balance) # 开始识别,图片路径,验证码类型ID, 超时时间(秒), 识别结果 cid, result = yundama.decode(filename, codeType, timeout); # print("cid: %s, result: %s" % (cid, result)) return result

import requests
from lxml import etree from urllib import request # 获取一个session对象 session = requests.Session() # session对象和requests作用几乎一样,都可以进行请求的发送,并且请求发送的方式也是一样的 # session进行请求的发送,如果会产生cookie的话 ,则cookie会自动被存储到session中 # 获取验证码图片 # 找到请求的url url = "http://www.renren.com/" # 找到请求的请求头UA headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" } # 向人人网发送请求,拿到验证码 page_text = requests.get(url=url, headers=headers).text # 将验证码图片解析出来进行持久化存储 tree = etree.HTML(page_text) # 拿到验证码的url code_img_src = tree.xpath('//*[@id="verifyPic_login"]/@src')[0] code = None if code_img_src: # 保存验证码图片 request.urlretrieve(url=code_img_src, filename="./code.jpg") # 调用damayun破解验证码 code = get_code_text(2004, "./code.jpg") print(code) # 模拟登陆 login_url = "http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=201903209693" data = { 'email': "18731229751", "icode": code, "origURL": "http://www.renren.com/home", "domain": "renren.com", "key_id":"1", "captcha_type": "web_login", "password": "2ffe7682a8e5f246b91115f02ed84bec462e9e81cb1d53c26159c422b2bf4b23", "rkey": "8903172b11d2f2476d3db75417116a1c", "f": "https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D52HnJhxy_aSfPbj2R5LMlG4a6294qGfXen5puJr--HG%26wd%3D%26eqid%3D9e26635d000114c1000000035c35e61e", } # 进行登录, 当登录成功之后,可以获取cookie # cookie会被保存到sessio中 response = session.post(url=login_url, headers=headers, data=data) # 对登录成功后对应的当前用户的个人详情页面进行请求发送 detail_url = "http://www.renren.com/969397800/profile" # 该次请求使用的是session对象,该请求已经携带了cookie page_text = session.get(url=detail_url, headers=headers).text # 保存到本地 with open("./renren.html", "w", encoding="utf-8") as fp: fp.write(page_text) print("ok")

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 爬虫-三种数据解析方式 <爬虫>验证码登录三种方式 Python爬虫之三种数据解析方式 (五) Python网络爬虫之三种数据解析方式 Python爬虫的三种数据解析方式三种数据解析方式爬虫之四种数据解析方式 python网络爬虫数据中的三种数据解析方式 05.Python网络爬虫之三种数据解析方式爬虫数据解析的三种方式