爬虫的三种数据解析方式和验证码的处理


1,正则解析:就是通过正则匹配定位到要获取数据的标签,获取响应的数据

  • 直接上代码(以爬取糗事百科为例)
import requests
import re import os if __name__ == '__main__': # 访问请求的url url = "https://www.qiushibaike.com/pic/page/%s/" # 定制请求头 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" } # 指定其实和结束页码 page_start = input("请输入起始页码:") page_end = input("请输入结束页码:") # 创建文件夹 if not os.path.exists("images"): os.mkdir("images") # 循环解析且下载指定页码中的图片数据 for page in range(int(page_start), int(page_end)+1): print("第%s页图片正在下载" % page) new_url = format(url % page) response = requests.get(url=new_url, headers=headers) # 解析response中的图片链接 e = '<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>' pa = re.compile(e, re.S) image_urls = pa.findall(response.text) # 循环下载该页码下的多有url图片数据 for image_url in image_urls: image_url = "https:" + image_url image_name = image_url.split("/")[-1] image_path = "images/" + image_name image_data = requests.get(url=image_url, headers=headers).content # 存储到本地 with open(image_path, "wb") as fp: fp.write(image_data)

2,xpath的表达式:是一种用来定位标签的层级关系的一中表达式

 

  • xpath表达式的要点:
# 属性定位:
    # 找到class属性值为xuexue的div标签
    //div[@class='xuexue']  # //表示多层目录下
# 层级&索引定位:
    
    # 找到class属性值为xue的div的直系子标签ul下的第二个子标签li下的直系a标签
    //div[@class="xue"]/ul/li[2]/a  # xpath表达式支持索引,但索引是从1开始的
# 逻辑运算:
    # 找到href属性值为空且class属性值为du的a标签
    //a[@href="" and @class="du"]  # xpath 表达式支持偶家运算
#模糊胡匹配:
    //div[contains(@class, "ng")]
    //div[starts-with(@class, "ta")] #取文本: #表示获取某个标签下的文本内容 #//表示获取某个标签下文本内容和所有子标签下的文本内容 //div[@class="xuexue"]/p[1]/text() //div[@class="xuexue"]//text() # 取属性: // div[@class="xuexue"]//li[2]/a/@href
  • 代码中xpath表达式进行数据解析:
    1. 下载:pip install lxml
    2. 导包: from lxml import etree
    3. 将html文档或xml文档转换成一个etree对象,然后调用对象中的方法查找指定的节点
      1. 本地文件: tree = etree.parse(文件名)    tree.xpath("xpath表达式")
      2. 网络数据:tree = etree.HTML(网页内容字符串)   tree.xpath("xpath表达式")
  • 安装xpath插件在浏览器中对xpath表达式进行验证:可以在插件中直接执行xpath表达式
    • 将xpath插件拖动到谷歌浏览器拓展程序(更多工具中),真能装成功!!!
    • 启动和关闭插件:ctrl + shift + x
  • 下载简单中的图片数据
import requests
from lxml import etree import base64 from urllib import request # 指定要访问的url url = "http://jandan.net/ooxx" # 指定响应头 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" } page_text = requests.get(url=url, headers=headers).text tree = etree.HTML(page_text) imgCode_list = tree.xpath("//span[@class='img-hash']/text()") imgUrl_list = [] for url in imgCode_list: img_url = "http:" + base64.b64decode(url).decode() imgUrl_list.append(img_url) for url in imgUrl_list: filePath = url.split("/")[-1] request.urlretrieve(url=url, filename=filePath) print(filePath + "下载成功!") # 查看页面源码:发现所有图片的src值都是一样的。 #简单观察会发现每张图片加载都是通过jandan_load_img(this)这个js函数实现的。 #在该函数后面还有一个class值为img-hash的标签,里面存储的是一组hash值,该值就是加密后的img地址 #加密就是通过js函数实现的,所以分析js函数,获知加密方式,然后进行解密。 #通过抓包工具抓取起始url的数据包,在数据包中全局搜索js函数名(jandan_load_img),然后分析该函数实现加密的方式。 #在该js函数中发现有一个方法调用,该方法就是加密方式,对该方法进行搜索 #搜索到的方法中会发现base64和md5等字样,md5是不可逆的所以优先考虑使用base64解密 #print(page_text) #在抓包工具的数据包响应对象对应的页面中进行xpath的编写,而不是在浏览器页面中。 #获取了加密的图片url数据

3,BeautifulSoup解析

  • 环境的安装
    1. 需要将pip原设置为国内源,阿里源,豆瓣源,网易源等
    2. windows
      1. 打开文件资源管理器(文佳佳地址栏中)
      2. 地址栏上面输入 %appdata%
      3. 在这里建一个文件夹 pip
      4. 在pip文件夹里新建一个文件叫做pip.ini,内容如下写即可
        • [global]
        • timeout = 6000
        • index-url = https://mirrors.aliyun.com/pypi/simple/
        • trusted-host = mirrors.aliyun.com
    3. linux中:
      1. cd ~
      2. mkdir ~/.pip
      3. vi ~/.pip/pip.conf
      4. 编辑内容,和windows一样
    4. 需要安装:pip install bs4
      • bs4在使用时候需要一个第三方的库, 把这个库也安装一下
      • pip install lxml
  • 基础使用
    1. 导包: from bs4 import BeautifulSoup
    2. 使用方式:可以将html文档,转化为BeautifulSoup对象,然后通过对象的方法 或者属性去查找指定节点的内容
      1.  转化本地文件: soup = BeautifulSoup(open("本地文件"), "lxml")
      2. 转化网络文件: soup = BeautifulSoup("字符串类型或者字节类型", "lxml")
      3. 打印soup对象显示内容为htnl文件中的内容
  • BeautifulSoup知识点:
    1. 根据标签名查找:
      • soup.a   只能查找第一符合要求的标签
    2. 获取属性:
      • soup.a.attrs    获取所有属性和属性值,返回一个字典
      • soup.a.attrs["href"]    获取href属性
      • soup.a["href"]    也可以简写成这种形式
    3. 获取内容
      • soup.a.string
      • soup.a.text
      • soup.a.get_text()
      • 注意,如果标签还有标签,那么string获取到的结果为None,而其他两个,可以获取文本内容
    4. find:找到第一个 符合要求的标签
      • soup.find("a")   找到第一个符合要求的
      • soup.find("a", title="xuexue")
      • soup.find("a", alt="xuexue")
      • soup.find("a", class="xuexue")
      • soup.find("a", id="xuexue")
    5. find_all:找到所有符合 要求的标签
      • soup.find_all("a")
      • soup.find_all(["a","b"])   # 找到所有的a标签和b标签
      • soup.find_all("a", limit=2)  # 限制前两个
    6. 根据选择器选择指定的内容
      • select:soup.select("#feng")
      • 常见的选择器:标准选择器(a),类选择器(.),id选择器(#),层级选择器
        • 层级选择器:
          • div.xuexue #xiaoxue.haha .hehe   下面好多级
          • div>p>a>.xuexue   只能是下面一级
        • 注意:select选择器返回的 永远是列表,需要通过下标提取指定的对象

相关的代码如下:

import requests
from bs4 import BeautifulSoup # 指定响应头 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" } # 定义解析内容的函数 def parse_content(url): # 获取标题正文页数据 page_text = requests.get(url=url, headers=headers).text # 实例化一个BeautifulSoup对象 soup = BeautifulSoup(page_text, "lxml") # 解析获得标签 element = soup.find("div", class_="chapter_content") content = element.text # 获取标签中的数据值 return content if __name__ == '__main__': url = "http://www.shicimingju.com/book/sanguoyanyi.html" # 发送请求后的响应体 response = requests.get(url=url, headers=headers) page_text = response.text print(page_text) # 创建soup对象 soup = BeautifulSoup(page_text, "lxml") # 解析数据 a_else = soup.select(".book-mulu>ul>li>a") print(a_else) cap = 1 for ele in a_else: print("开始下载di%s章节" % cap) cap += 1 title = ele.string content_url = "http://www.shicimingju.com" + ele["href"] content = parse_content(content_url) print(content) content = content.replace("\xa0", "") # 持久化存储 with open("./mengsanguo.txt", "w") as fp: fp.write(title + ":" + content + "\n\n\n\n\n") print("结束下载第%s章节" % cap)

4,验证码的处理

 

  • 相关门户网站进行登录的时候,如果用户连续登录的次数超过3次或者5次的时候,就会在登录页面中生成验证码,通过验证码达到分流和反爬的效果
  • 云打码处理平台是一个很好的处理验证码的平台

云打码平台处理验证码实现流程:

 

  1. 对携带验证码的页面数据进行爬取
  2. 可以将页面数据中验证码进行解析,验证码图片下载到本地
  3. 可以将 验证码图片提交给第三方平台进行识别,返回验证码图片上的数据值
    • 云打码平台:
      1. 在官网中注册(普通用户和开发者用户)
      2. 登录开发者用户:
        1. 实例代码的下载
        2. 创建一个软件
      3. 使用实例代码中的源码文件中的代码进行修改,让其识别验证码图片中的数据值
  4. 代码展示:
# 该函数调用了打码平台的相关的接口对指定的验证码图片进行识别,返回图片上的数据值
def getCode(codeImg):
    # 云打码普通用户的用户名
    username = "xueren"
    # 云打码平台普通用户的密码
    password = "xueren123"
    # 软件ID,开发者分成必要参数,登录开发者后台[我的软件]获得!
    # 软件密钥,开发者分成必要参数 ,登录开发者后台[我的软件]获得!
    appkey = "4997f67b0128c77cda6db5259f5f76a9"
    # 验证码图片文件
    filename = codeImg # 验证码类型, 列如:1004表示4位字母数字,不同类型收费不同,请准确 填写,否则影响别率 查询所有验证码类型:http://www.yundama.com/price.html codetype = 3000 # 超市时间,秒 timeout = 20 # 检查 if (username == "username"): print("请设置好相关参数再测试") else: # 初始化 yundama = YDMHttp(username, password, appid, appkey) # 登录云打码 uid = yundama.login() print("uid: %s" % uid) # 查询余额 balance = yundama.balance() print("balance:"% balance) # 开始识别,图片路径, 验证码类型ID,超时时间(秒), 识别结果 cid, result = yundama.decode(filename, codetype, timeout) print("cod: %s, result: %s" % (cid, result)) return result

人人网验证码的爬取及处理:

def get_code_text(codeType, imgPath):
    # 用户名:普通用户
    username = "xueren"
    # 密码
    password = "xueren123"
    # 软件ID, 开发者分成必要参数.登录开发者后台[我的软件]获得!
    appid = 6609
    # 软件密钥,开发者分成必要参数,登录开发者后台[我的软件]获得!
    appkey = "4997f67b0128c77cda6db5259f5f76a9"
    # 图片文件
    filename = imgPath # 验证码类型, # 列:1004表示4位字母数字,不同类型收费不同.请准确填写,否则影响识别率. # 在此查询所有类型 http://www.yundama.com/price.html codetype = codeType # 超时时间,秒 timeout = 10 # 检查 if(username == "username"): print("请设置好相关参数在测试") else: yundama = YDMHttp(username, password, appid, appkey) # 登录云打码 uid = yundama.login(); print("uid:%s" % uid) # 查询余额 balance = yundama.balance(); print("balance %s" % balance) # 开始识别,图片路径,验证码类型ID, 超时时间(秒), 识别结果 cid, result = yundama.decode(filename, codeType, timeout); # print("cid: %s, result: %s" % (cid, result)) return result
import requests
from lxml import etree from urllib import request # 获取一个session对象 session = requests.Session() # session对象和requests作用几乎一样,都可以进行请求的发送,并且请求发送的方式也是一样的 # session进行请求的发送,如果会产生cookie的话 ,则cookie会自动被存储到session中 # 获取验证码图片 # 找到请求的url url = "http://www.renren.com/" # 找到请求的请求头UA headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36" } # 向人人网发送请求,拿到验证码 page_text = requests.get(url=url, headers=headers).text # 将验证码图片解析出来进行持久化存储 tree = etree.HTML(page_text) # 拿到验证码的url code_img_src = tree.xpath('//*[@id="verifyPic_login"]/@src')[0] code = None if code_img_src: # 保存验证码图片 request.urlretrieve(url=code_img_src, filename="./code.jpg") # 调用damayun破解验证码 code = get_code_text(2004, "./code.jpg") print(code) # 模拟登陆 login_url = "http://www.renren.com/ajaxLogin/login?1=1&uniqueTimestamp=201903209693" data = { 'email': "18731229751", "icode": code, "origURL": "http://www.renren.com/home", "domain": "renren.com", "key_id":"1", "captcha_type": "web_login", "password": "2ffe7682a8e5f246b91115f02ed84bec462e9e81cb1d53c26159c422b2bf4b23", "rkey": "8903172b11d2f2476d3db75417116a1c", "f": "https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3D52HnJhxy_aSfPbj2R5LMlG4a6294qGfXen5puJr--HG%26wd%3D%26eqid%3D9e26635d000114c1000000035c35e61e", } # 进行登录, 当登录成功之后,可以获取cookie # cookie会被保存到sessio中 response = session.post(url=login_url, headers=headers, data=data) # 对登录成功后对应的当前用户的个人详情页面进行请求发送 detail_url = "http://www.renren.com/969397800/profile" # 该次请求使用的是session对象,该请求已经携带了cookie page_text = session.get(url=detail_url, headers=headers).text # 保存到本地 with open("./renren.html", "w", encoding="utf-8") as fp: fp.write(page_text) print("ok")

 

打赏

免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2020 CODEPRJ.COM