(五) Python网络爬虫之三种数据解析方式

 

回顾requests实现数据爬取的流程

1. 指定url
2. 基于requests模块发起请求
3. 获取响应对象中的数据
4. 进行持久化存储

其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整个页面的数据。因此，本次课程中会给大家详细介绍讲解三种聚焦爬虫中的数据解析方式。至此，我们的数据爬取的流程可以修改为：

1. 指定url
2. 基于requests模块发起请求
3. 获取响应中的数据
4. 数据解析
5. 进行持久化存储

今日概要

• 正则解析
• xpath解析
• bs4解析

一. 正则解析

常用正则表达式回顾：

 单字符：
        . : 除换行以外所有字符
        [] ：[aoe] [a-w] 匹配集合中任意一个字符
        \d ：数字  [0-9]
        \D : 非数字
        \w ：数字、字母、下划线、中文
        \W : 非\w
        \s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \f\n\r\t\v]。
        \S : 非空白
    数量修饰：
        * : 任意多次  >=0
        + : 至少1次   >=1
        ? : 可有可无  0次或者1次
        {m} ：固定m次 hello{3,}
        {m,} ：至少m次
        {m,n} ：m-n次
    边界：
        $ : 以某某结尾 
        ^ : 以某某开头
    分组：
        (ab)  
    贪婪模式： .*
    非贪婪（惰性）模式： .*?

    re.I : 忽略大小写
    re.M ：多行匹配
    re.S ：单行匹配

    re.sub(正则表达式, 替换内容, 字符串)

回顾练习：

import re
#提取出python
key="javapythonc++php"
re.findall('python',key)[0]
#####################################################################
#提取出hello world
key="<html><h1>hello world<h1></html>"
re.findall('<h1>(.*)<h1>',key)[0]
#####################################################################
#提取170
string = '我喜欢身高为170的女孩'
re.findall('\d+',string)
#####################################################################
#提取出http://和https://
key='http://www.baidu.com and https://boob.com'
re.findall('https?://',key)
#####################################################################
#提取出hello
key='lalala<hTml>hello</HtMl>hahah' #输出<hTml>hello</HtMl>
re.findall('<[Hh][Tt][mM][lL]>(.*)</[Hh][Tt][mM][lL]>',key)
#####################################################################
#提取出hit. 
key='[e-mail]'#想要匹配到hit.
re.findall('h.*?\.',key)
#####################################################################
#匹配sas和saas
key='saas and sas and saaas'
re.findall('sa{1,2}s',key)
#####################################################################
#匹配出i开头的行
string = '''fall in love with you
i love you very much
i love she
i love her'''

re.findall('^.*',string,re.M)
#####################################################################
#匹配全部行
string1 = """<div>静夜思
窗前明月光
疑是地上霜
举头望明月
低头思故乡
</div>"""

re.findall('.*',string1,re.S)

项目需求：爬取糗事百科指定页面的糗图，并将其保存到指定文件夹中

新需求: 爬取妹子图网站https://www.meizitu.com/a/xiaoqingxin.htm

import re
import os
import requests


url = 'https://www.qiushibaike.com/pic/page/%s/?s=5201892'
headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
}
# 指定起始也结束页码
page_start = int(input('enter start page:'))
page_end = int(input('enter end page:'))

# 创建文件夹
if not os.path.exists('images'):
    os.mkdir('images')

# 循环解析且下载指定页码中的图片数据
for page in range(page_start, page_end + 1):
    print('正在下载第%d页图片' % page)
    new_url = format(url % page)
    print(new_url)
    response = requests.get(url=new_url, headers=headers)

    # 解析response中的图片链接
    ex = '<div class="thumb">.*?<img src="(.*?)".*?>.*?</div>'
    pa = re.compile(ex, re.S)
    image_urls = pa.findall(response.text)

    # 循环下载该页码下所有的图片数据
    for image_url in image_urls:
        image_url = 'https:' + image_url
        image_name = image_url.split('/')[-1]
        image_path = 'images/' + image_name

        image_data = requests.get(url=image_url, headers=headers).content
        with open(image_path, 'wb') as fp:
            fp.write(image_data)

二. BeautifulSoup解析

环境安装

- 需要将pip源设置为国内源，阿里源、豆瓣源、网易源等
   - windows （1）打开文件资源管理器(文件夹地址栏中) （2）地址栏上面输入 %appdata% （3）在这里面新建一个文件夹 pip （4）在pip文件夹里面新建一个文件叫做 pip.ini ,内容写如下即可 [global] timeout = 6000 index-url = https://mirrors.aliyun.com/pypi/simple/ trusted-host = mirrors.aliyun.com - linux （1）cd ~ （2）mkdir ~/.pip （3）vi ~/.pip/pip.conf （4）编辑内容，和windows一模一样 - 需要安装：pip install bs4 把lxml库也安装一下, 它是一个解析器,如果使用bs4进行数据解析,需要依靠lxml pip install lxml

测试页面数据

<html lang="en">
<head>
    <meta charset="UTF-8" />
    <title>测试bs4</title>
</head>
<body>
    <div>
        <p>百里守约</p>
    </div>
    <div class="song">
        <p>李清照</p>
        <p>王安石</p>
        <p>苏轼</p>
        <p>柳宗元</p>
        <a href="http://www.song.com/" title="赵匡胤" target="_self">
            <span>this is span</span>
        宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a>
        <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a>
        <img src="http://www.baidu.com/meinv.jpg" alt="" />
    </div>
    <div class="tang">
        <ul>
            <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li>
            <li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li>
            <li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li>
            <li><a href="http://www.sina.com" class="du">杜甫</a></li>
            <li><a href="http://www.dudu.com" class="du">杜牧</a></li>
            <li><b>杜小月</b></li>
            <li><i>度蜜月</i></li>
            <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li>
        </ul>
    </div>
</body>
</html>

基础使用

bs4解析原理
    - 实例化一个BeautifulSoup对象，必须把即将被解析的页面源码加载到该对象中
    - 调用该对象中相关的属性或方法进行标签的定位和内容的提取

如何实例化一个BeautifulSoup对象：       
    - 导包：from bs4 import BeautifulSoup
    - 使用方式：可以将一个html文档，转化为BeautifulSoup对象，然后通过对象的方法或者属性去查找指定的节点内容
        （1）转化本地文件：
             # 将本地存储的页面所对应的源码加载到实例化好的BeautifulSoup对象中
             soup = BeautifulSoup(open('本地文件'), 'lxml')
        （2）转化网络文件：
             # 直接把响应数据作为构造方法的第一个参数,再通过对象调用解析
             soup = BeautifulSoup('字符串类型或者字节类型', 'lxml')
        （3）打印soup对象显示内容为html文件中的内容

基础巩固:

（1）根据标签名查找
    - soup.a   获取页面源码中第一个符合要求的标签
（2）获取属性, 返回的永远是一个单数
    - soup.a.attrs  获取a所有的属性和属性值，返回一个字典
    - soup.a.attrs['href']   获取href属性
    - soup.a['href']   也可简写为这种形式
（3）获取文本内容
    - soup.string: 只可以获取直系标签中的文本内容
    - soup.text: 获取标签下的所有文本内容
    - soup.get_text(): 获取标签下的所有文本内容
   【注意】如果标签还有标签，那么string获取到的结果为None，而其它两个，可以获取文本内容
（4）find()：找到第一个符合要求的标签, 返回的永远是一个单数
    - soup.find('a') 通过标签名进行数据解析
    通过标签属性进行数据解析:
    - soup.find('a', title="xxx")
    - soup.find('a', alt="xxx")
    - soup.find('a', class_="xxx")
    - soup.find('a', id="xxx")
（5）find_all：找到所有符合要求的标签, 返回的永远是一个列表
    - soup.find_all('a')
    - soup.find_all(['a','b']) 找到所有的a和b标签
    - soup.find_all('a', limit=2)  限制前两个
（6）根据选择器选择指定的内容
    select选择器, 返回的永远是一个列表: soup.select('#feng') 
    - 常见的选择器：标签选择器(a)、类选择器(.)、id选择器(#)、层级选择器
    - 层级选择器：
        - 单层级: div > p > a > .lala          只能是下面一级
        - 多层级: div .dudu #lala .meme .xixi  下面好多级
【注意】select选择器返回永远是列表，需要通过下标提取指定的对象

需求：使用bs4实现将诗词名句网站中三国演义小说的每一章的内容爬取到本地磁盘进行存储

http://www.shicimingju.com/book/sanguoyanyi.html

# !/usr/bin/env python
# -*- coding:utf-8 -*-

import requests
from bs4 import BeautifulSoup

headers={
         'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36',
     }
def parse_content(url):
    #获取标题正文页数据
    page_text = requests.get(url,headers=headers).text
    soup = BeautifulSoup(page_text,'lxml')
    #解析获得标签
    ele = soup.find('div',class_='chapter_content')
    content = ele.text #获取标签中的数据值
    return content

if __name__ == "__main__":
     url = 'http://www.shicimingju.com/book/sanguoyanyi.html'
     reponse = requests.get(url=url,headers=headers)
     page_text = reponse.text

     #创建soup对象
     soup = BeautifulSoup(page_text,'lxml')
     #解析数据
     a_eles = soup.select('.book-mulu > ul > li > a')
     print(a_eles)
     cap = 1
     for ele in a_eles:
         print('开始下载第%d章节'%cap)
         cap+=1
         title = ele.string
         content_url = 'http://www.shicimingju.com'+ele['href']
         content = parse_content(content_url)

         with open('./sanguo.txt','w') as fp:
             fp.write(title+":"+content+'\n\n\n\n\n')
             print('结束下载第%d章节'%cap)

三. Xpath解析

代码中使用xpath表达式进行数据解析：

1. 特性: 通用性比较强
2. 下载：pip install lxml
3. 导包：from lxml import etree

4. 解析原理:
    (1). 实例化一个etree对象，且将解析的页面源码加载到该对象中
    (2). 使用该对象中的xpath方法结合着xpath表达式进行标签定位和数据解析提取

5. 将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点

　　(1). 本地文件：tree = etree.parse(文件名)
                tree.xpath("xpath表达式")

　　(2). 网络数据：tree = etree.HTML(网页内容字符串)
                tree.xpath("xpath表达式")

常用xpath表达式

/: 从标签开始实现层级定位
//: 从任意位置实现标签的定位

属性定位：
    语法: tag[@attrName="attrValue"]
    //div[@class="song"]  # 找到class属性值为song的div标签
层级&索引定位：
    # 注意索引值是从1开始
    //div[@class="tang"]/ul/li[2]/a  # 找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a
逻辑运算：
    //a[@href="" and @class="du"]  # 找到href属性值为空且class属性值为du的a标签
模糊匹配：
    //div[contains(@class, "ng")]
    //div[starts-with(@class, "ta")]
取文本：
    //div[@class="song"]/p[1]/text()  # 取直系文本内容
    //div[@class="tang"]//text()  # 取所有文本内容
取属性：
    //div[@class="tang"]//li[2]/a/@href

安装xpath插件在浏览器中对xpath表达式进行验证：可以在插件中直接执行xpath表达式

• 将xpath插件拖动到谷歌浏览器拓展程序（更多工具）中，安装成功

• 启动和关闭插件 ctrl + shift + x

项目需求：解析58二手房的相关数据

#解析出一级页面的标题和二级页面的价格和描述
import requests
from lxml import etree
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
url = 'https://bj.58.com/changping/ershoufang/?utm_source=sem-baidu-pc&spm=105916147073.26420796294&PGTID=0d30000c-0000-17fc-4658-9bdfb947934d&ClickID=3'
page_text = requests.get(url=url,headers=headers).text

tree = etree.HTML(page_text)
li_list = tree.xpath('//ul[@class="house-list-wrap"]/li')
data = []
for li in li_list:
    #解析标题
    title = li.xpath('.//div[@class="list-info"]/h2/a/text()')[0]
    detail_page_url = li.xpath('.//div[@class="list-info"]/h2/a/@href')[0]
    if detail_page_url.split('//')[0] != 'https:':
        detail_page_url = 'https:'+detail_page_url
    detail_text = requests.get(url=detail_page_url,headers=headers).text
    tree = etree.HTML(detail_text)
    #解析二级页面的描述和价格
    desc = ''.join(tree.xpath('//div[@id="generalDesc"]//div[@class="general-item-wrap"]//text()')).strip(' \n \t')
    price = ''.join(tree.xpath('//div[@id="generalExpense"]//div[@class="general-item-wrap"]//text()')).strip(' \n \t')
    dic = {
        'title':title,
        'desc':desc,
        'price':price
    }
    data.append(dic)
#进行持久化存储
print(data)

解析出所有城市名称https://www.aqistudy.cn/historydata/

# 需求: 爬取当前页面全部的城市名称https://www.aqistudy.cn/historydata/
url = "https://www.aqistudy.cn/historydata/"
page_text = requests.get(url=url, headers=headers).text

tree = etree.HTML(page_text)

# 热门城市: //div[@class="bottom"]/ul/li/a/text()
# 全部城市: //div[@class="bottom"]/ul/div[2]/li/a/text()
all_city_names = tree.xpath('//div[@class="bottom"]/ul/li/a/text() | //div[@class="bottom"]/ul/div[2]/li/a/text()')

print(all_city_names, len(all_city_names))

import requests
from lxml import etree 
url = 'https://www.aqistudy.cn/historydata/'
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
response = requests.get(url=url,headers=headers)
#获取页面原始编码格式
print(response.encoding)
page_text = response.text
tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@class="bottom"]/ul/li | //div[@class="bottom"]/ul//li')
for li in li_list:
    city_name = li.xpath('./a/text()')[0]
    city_url = 'https://www.aqistudy.cn/historydata/'+li.xpath('./a/@href')[0]
    print(city_name,city_url)

项目需求：获取好段子中段子的内容和作者   http://www.haoduanzi.com

from lxml import etree
import requests

url='http://www.haoduanzi.com/category-10_2.html'
headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36',
    }
url_content=requests.get(url,headers=headers).text
# 使用xpath对url_conten进行解析
# 使用xpath解析从网络上获取的数据
tree=etree.HTML(url_content)
# 解析获取当页所有段子的标题
title_list=tree.xpath('//div[@class="log cate10 auth1"]/h3/a/text()')

ele_div_list=tree.xpath('//div[@class="log cate10 auth1"]')

text_list=[] # 最终会存储12个段子的文本内容
for ele in ele_div_list:
    # 段子的文本内容（是存放在list列表中）
    text_list=ele.xpath('./div[@class="cont"]//text()')
    # list列表中的文本内容全部提取到一个字符串中
    text_str=str(text_list)
    # 字符串形式的文本内容防止到all_text列表中
    text_list.append(text_str)
print(title_list)
print(text_list)

解析图片数据：http://pic.netbian.com/4kmeinv/

import requests
from lxml import etree 
url = 'http://pic.netbian.com/4kmeinv/'
headers = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
}
response = requests.get(url=url,headers=headers)
#获取页面原始编码格式
print(response.encoding)
page_text = response.text

tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@class="slist"]/ul/li')
for li in li_list:
    img_url = 'http://pic.netbian.com'+li.xpath('./a/img/@src')[0]
    img_name = li.xpath('./a/img/@alt')[0]
    img_name = img_name.encode('iso-8859-1').decode('gbk')
    print(img_url,img_name)

【重点】下载煎蛋网中的图片数据：http://jandan.net/ooxx

import requests
from lxml import etree
from fake_useragent import UserAgent
import base64
import urllib.request
url = 'http://jandan.net/ooxx'
ua = UserAgent(verify_ssl=False,use_cache_server=False).random
headers = {
    'User-Agent':ua
}
page_text = requests.get(url=url,headers=headers).text

# 查看页面源码：发现所有图片的src值都是一样的。
# 简单观察会发现每张图片加载都是通过jandan_load_img(this)这个js函数实现的。
# 在该函数后面还有一个class值为img-hash的标签，里面存储的是一组hash值，该值就是加密后的img地址
# 加密就是通过js函数实现的，所以分析js函数，获知加密方式，然后进行解密。
# 通过抓包工具抓取起始url的数据包，在数据包中全局搜索js函数名（jandan_load_img），然后分析该函数实现加密的方式。
# 在该js函数中发现有一个方法调用，该方法就是加密方式，对该方法进行搜索
# 搜索到的方法中会发现base64和md5等字样，md5是不可逆的所以优先考虑使用base64解密
# print(page_text)

tree = etree.HTML(page_text)
# 在抓包工具的数据包响应对象对应的页面中进行xpath的编写，而不是在浏览器页面中。
# 获取了加密的图片url数据
imgCode_list = tree.xpath('//span[@class="img-hash"]/text()')
imgUrl_list = []
for url in imgCode_list:
    # base64.b64decode(url)为byte类型，需要转成str
    img_url = 'http:'+base64.b64decode(url).decode()
    imgUrl_list.append(img_url)

for url in imgUrl_list:
    filePath = url.split('/')[-1]
    urllib.request.urlretrieve(url=url,filename=filePath)
    print(filePath+'下载成功')

面试题：如何爬取携带标签的指定页面内容

1.我现在想要实现数据解析,但是我解析的内容不是纯粹的文本数据,而是携带标签的文本数据,并不是光拿链接的文本数据,而是还要拿到这个a标签

2.为什么我们要去爬取携带标签的文本内容呢?是因为如果这个指定的文本内容携带了标签的话,意味着这个文本内容的样式就有了,下次想用的时候直接把它放到相关的HTML当中,它就有了对应的样式

3.那我们如何去实现呢?
因为正则太麻烦,所以我们在bs4和xpath之间去选择
但是我们使用xpath定位到某一个标签之后,它返回的是一个Element类型的对象,并不是页面源码,所以我们可以暂时不考虑xpath

4.那bs4呢,你会发现当我们实例化了一个bs4对象之后,打印对象的结果是页面的源码数据,里面就包含了携带标签的文本内容,比如soup.a返回的是a标签的源码,所以我们使用bs4是可以解析到携带标签的源码数据

5.所以说如果我们想要解析到携带标签的源码数据的话,使用bs4是最简单最便捷的

【重点】

- 问题：往往在进行大量请求发送的时候，经常会报出这一样的一个错误：HTTPConnectionPool（host:XX）Max retries exceeded with url。

- 原因： 1.每次数据传输前客户端要和服务器建立TCP连接，为节省传输消耗，默认为keep-alive，即连接一次，传输多次。然而如果连接迟迟不断开的话，则连接池满后则无法产生新的链接对象，导致请求无法发送。 2.ip被封 3.请求频率太频繁 - 解决：如果下列解决未生效，则可以尝试再次执行程序 1.设置请求头中的Connection的值为close，表示每次请求成功后断开连接 2.更换请求ip 3.每次请求之间使用sleep进行等待间隔

import requests
from fake_useragent import UserAgent
from lxml import etree
import random
import time

url = 'http://sc.chinaz.com/jianli/free_%d.html'
ua = UserAgent(verify_ssl=False,use_cache_server=False).random
headers = {
    'User-Agent':ua,
    #保证http请求成功后，立即断开连接，以解决HTTPConnectionPool（host:XX）Max retries exceeded with url的问题
    'Connection': 'close', #该行不写，则会报错
}
#proxy_list = ['101.255.56.201:36501','39.137.69.10:8080','195.29.106.178:58292','120.76.77.152:9999','178.75.1.111:50411','78.156.225.170:41258','193.192.177.196:56480']
for pageNum in range(1,3):
    get_url = format(url%pageNum)
    if pageNum==1:
        get_url = 'http://sc.chinaz.com/jianli/free.html'
    response = requests.get(url=get_url,headers=headers)
    response.encoding = 'utf-8'#处理中文乱码问题
    page_text = response.text
    tree = etree.HTML(page_text)
    div_list = tree.xpath('//div[@id="container"]/div')
    for div in div_list:
        second_url = div.xpath('./a/@href')[0]
        name = div.xpath('./p/a/text()')[0]+'.rar'
        second_page_text = requests.get(url=second_url,headers=headers).text
        second_tree = etree.HTML(second_page_text)
        download_url_list = second_tree.xpath('//div[@class="clearfix mt20 downlist"]/ul/li/a/@href')
        download_url = random.choice(download_url_list)
        data = requests.get(url=download_url,headers=headers).content
        with open(name,'wb') as fp:
            fp.write(data)
            print('下载完毕===>'+name)

#解决HTTPConnectionPool（host:XX）Max retries exceeded with url的问题：
        #time.sleep(3) #延长请求时间，模拟浏览器，否则请求频率太快会请求失败
        #使用代理池
        #设置请求头信息中的Connection为close

 

今日作业

　　1. 爬取梨视频的视频数据https://www.pearvideo.com/category_3
　　2. 爬取站长素材中免费的简历模板http://sc.chinaz.com/jianli/free.html