Beautiful Soup就是Python的一個HTML或XML的解析庫，可以用它來方便地從網頁中提取數據。它有如下三個特點：
- Beautiful Soup提供一些簡單的、Python式的函數來處理導航、搜索、修改分析樹等功能。它是一個工具箱，通過解析文檔為用戶提供需要抓取的數據，因為簡單，所以不需要多少代碼就可以寫出一個完整的應用程序。
- Beautiful Soup自動將輸入文檔轉換為Unicode編碼，輸出文檔轉換為UTF-8編碼。你不需要考慮編碼方式，除非文檔沒有指定一個編碼方式，這時你僅僅需要說明一下原始編碼方式就可以了。
- Beautiful Soup已成為和lxml、html6lib一樣出色的Python解釋器，為用戶靈活地提供不同的解析策略或強勁的速度。
首先，我們要安裝它：pip install bs4,然后安裝 pip install beautifulsoup4.
一、Beautiful Soup支持的解析器
下面我們以lxml解析器為例：
from bs4 import BeautifulSoup soup = BeautifulSoup('<p>Hello</p>', 'lxml') print(soup.p.string)
結果：
Hello
beautiful soup美化的效果實例：
html = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title" name="dromouse"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'lxml')
#調用prettify()方法。這個方法可以把要解析的字符串以標准的縮進格式輸出 print(soup.prettify()) print(soup.title.string)
結果：
<html> <head> <title> The Dormouse's story </title> </head> <body> <p class="title" name="dromouse"> <b> The Dormouse's story </b> </p> <p class="story"> Once upon a time there were three little sisters; and their names were <a class="sister" href="http://example.com/elsie" id="link1"> <!-- Elsie --> </a> , <a class="sister" href="http://example.com/lacie" id="link2"> Lacie </a> and <a class="sister" href="http://example.com/tillie" id="link3"> Tillie </a> ; and they lived at the bottom of a well. </p> <p class="story"> ... </p> </body> </html> The Dormouse's story
二、下面舉例說明選擇元素、屬性、名稱的方法
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'lxml')
print('輸出結果為title節點加里面的文字內容:\n',soup.title)
print('輸出它的類型:\n',type(soup.title))
print('輸出節點的文本內容:\n',soup.title.string)
print('結果是節點加其內部的所有內容:\n',soup.head)
print('結果是第一個p節點的內容:\n',soup.p)
print('利用name屬性獲取節點的名稱:\n',soup.title.name)
#這里需要注意的是，有的返回結果是字符串，有的返回結果是字符串組成的列表。
# 比如，name屬性的值是唯一的，返回的結果就是單個字符串。
# 而對於class，一個節點元素可能有多個class，所以返回的是列表。
print('每個節點可能有多個屬性，比如id和class等:\n',soup.p.attrs)
print('選擇這個節點元素后，可以調用attrs獲取所有屬性：\n',soup.p.attrs['name'])
print('獲取p標簽的name屬性值：\n',soup.p['name'])
print('獲取p標簽的class屬性值：\n',soup.p['class'])
print('獲取第一個p節點的文本:\n',soup.p.string)
結果：
輸出結果為title節點加里面的文字內容:
<title>The Dormouse's story</title>
輸出它的類型:
<class 'bs4.element.Tag'>
輸出節點的文本內容:
The Dormouse's story
結果是節點加其內部的所有內容:
<head><title>The Dormouse's story</title></head>
結果是第一個p節點的內容:
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
利用name屬性獲取節點的名稱:
title
每個節點可能有多個屬性，比如id和class等:
{'class': ['title'], 'name': 'dromouse'}
選擇這個節點元素后，可以調用attrs獲取所有屬性：
dromouse
獲取p標簽的name屬性值：
dromouse
獲取p標簽的class屬性值：
['title']
獲取第一個p節點的文本:
The Dormouse's story
在上面的例子中，我們知道每一個返回結果都是bs4.element.Tag類型，它同樣可以繼續調用節點進行下一步的選擇。
html = """ <html><head><title>The Dormouse's story</title></head> <body> """ from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'lxml') print('獲取了head節點元素，繼續調用head來選取其內部的head節點元素:\n',soup.head.title) print('繼續調用輸出類型：\n',type(soup.head.title)) print('繼續調用輸出內容：\n',soup.head.title.string)
結果：
獲取了head節點元素，繼續調用head來選取其內部的head節點元素: <title>The Dormouse's story</title> 繼續調用輸出類型： <class 'bs4.element.Tag'> 繼續調用輸出內容： The Dormouse's story
三、方法選擇器
（1）find_all()
find_all，顧名思義，就是查詢所有符合條件的元素。給它傳入一些屬性或文本，就可以得到符合條件的元素，它的功能十分強大。
find_all(name , attrs , recursive , text , **kwargs)
他的用法：
html=''' <div class="panel"> <div class="panel-heading"> <h4>Hello</h4> </div> <div class="panel-body"> <ul class="list" id="list-1"> <li class="element">Foo</li> <li class="element">Bar</li> <li class="element">Jay</li> </ul> <ul class="list list-small" id="list-2"> <li class="element">Foo</li> <li class="element">Bar</li> </ul> </div> </div> ''' from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'lxml') print('查詢所有ul節點，返回結果是列表類型，長度為2:\n',soup.find_all(name='ul')) print('每個元素依然都是bs4.element.Tag類型:\n',type(soup.find_all(name='ul')[0])) #將以上步驟換一種方式，遍歷出來 for ul in soup.find_all(name='ul'): print('輸出每個u1:',ul.find_all(name='li')) #遍歷兩層 for ul in soup.find_all(name='ul'): print('輸出每個u1:',ul.find_all(name='li')) for li in ul.find_all(name='li'): print('輸出每個元素：',li.string)
結果：
查詢所有ul節點，返回結果是列表類型，長度為2: [<ul class="list" id="list-1"> <li class="element">Foo</li> <li class="element">Bar</li> <li class="element">Jay</li> </ul>, <ul class="list list-small" id="list-2"> <li class="element">Foo</li> <li class="element">Bar</li> </ul>] 每個元素依然都是bs4.element.Tag類型: <class 'bs4.element.Tag'> 輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>] 輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>] 輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>] 輸出每個元素： Foo 輸出每個元素： Bar 輸出每個元素： Jay 輸出每個u1: [<li class="element">Foo</li>, <li class="element">Bar</li>] 輸出每個元素： Foo 輸出每個元素： Bar
(2) attrs()
除了根據節點名查詢，我們也可以傳入一些屬性來查詢，示例如下：
html=''' <div class="panel"> <div class="panel-heading"> <h4>Hello</h4> </div> <div class="panel-body"> <ul class="list" id="list-1" name="elements"> <li class="element">Foo</li> <li class="element">Bar</li> <li class="element">Jay</li> </ul> <ul class="list list-small" id="list-2"> <li class="element">Foo</li> <li class="element">Bar</li> </ul> </div> </div> ''' from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'lxml') print('返回符合id為list-1的所有節點:\n',soup.find_all(attrs={'id': 'list-1'})) print('返回符合name為elements的所有節點:\n',soup.find_all(attrs={'name': 'elements'})) #對於一些常用的屬性，比如id和class等，我們可以不用attrs來傳遞 print('返回符合id為list-1的所有節點(簡單版):\n',soup.find_all(id='list-1')) #而對於class來說，由於class在Python里是一個關鍵字，所以后面需要加一個下划線 print('返回符合name為elements的所有節點(簡單版):\n',soup.find_all(class_='element'))
結果：
返回符合id為list-1的所有節點: [<ul class="list" id="list-1" name="elements"> <li class="element">Foo</li> <li class="element">Bar</li> <li class="element">Jay</li> </ul>] 返回符合name為elements的所有節點: [<ul class="list" id="list-1" name="elements"> <li class="element">Foo</li> <li class="element">Bar</li> <li class="element">Jay</li> </ul>] 返回符合id為list-1的所有節點(簡單版): [<ul class="list" id="list-1" name="elements"> <li class="element">Foo</li> <li class="element">Bar</li> <li class="element">Jay</li> </ul>] 返回符合name為elements的所有節點(簡單版): [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>]
(3) text
text參數可用來匹配節點的文本，傳入的形式可以是字符串，可以是正則表達式對象，示例如下：
import re html=''' <div class="panel"> <div class="panel-body"> <a>Hello, this is a link</a> <a>Hello, this is a link, too</a> </div> </div> ''' from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'lxml') #這里在find_all()方法中傳入text參數，該參數為正則表達式對象 # 結果返回所有匹配正則表達式的節點文本組成的列表。 print('含link列表：\n',soup.find_all(text=re.compile('link')))
結果：
列表： ['Hello, this is a link', 'Hello, this is a link, too']
(4) find()
除了find_all()方法，還有find()方法，只不過后者返回的是單個元素，也就是第一個匹配的元素，而前者返回的是所有匹配的元素組成的列表。示例如下：
html=''' <div class="panel"> <div class="panel-heading"> <h4>Hello</h4> </div> <div class="panel-body"> <ul class="list" id="list-1"> <li class="element">Foo</li> <li class="element">Bar</li> <li class="element">Jay</li> </ul> <ul class="list list-small" id="list-2"> <li class="element">Foo</li> <li class="element">Bar</li> </ul> </div> </div> ''' from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'lxml') print('返回第一個匹配的節點元素:\n',soup.find(name='ul')) print('返回第一個匹配的節點元素類型:\n',type(soup.find(name='ul'))) print('返回第一個匹配的節點元素:\n',soup.find(class_='list'))
結果：
返回第一個匹配的節點元素: <ul class="list" id="list-1"> <li class="element">Foo</li> <li class="element">Bar</li> <li class="element">Jay</li> </ul> 返回第一個匹配的節點元素類型: <class 'bs4.element.Tag'> 返回第一個匹配的節點元素: <ul class="list" id="list-1"> <li class="element">Foo</li> <li class="element">Bar</li> <li class="element">Jay</li> </ul>
四、CSS選擇器
Beautiful Soup還提供了另外一種選擇器，那就是CSS選擇器。使用CSS選擇器時，只需要調用select()方法，傳入相應的CSS選擇器即可，示例如下：
html=''' <div class="panel"> <div class="panel-heading"> <h4>Hello</h4> </div> <div class="panel-body"> <ul class="list" id="list-1"> <li class="element">Foo</li> <li class="element">Bar</li> <li class="element">Jay</li> </ul> <ul class="list list-small" id="list-2"> <li class="element">Foo</li> <li class="element">Bar</li> </ul> </div> </div> ''' from bs4 import BeautifulSoup soup = BeautifulSoup(html, 'lxml') print('選擇panel下的panel-heading標簽:\n',soup.select('.panel .panel-heading')) print('選擇ul下的li標簽:\n',soup.select('ul li')) print('選擇list-2下的element標簽:\n',soup.select('#list-2 .element')) print('返回第一個u1的類型:\n',type(soup.select('ul')[0])) #嵌套選擇 for ul in soup.select('ul'): print('打印每個u1下的li標簽：\n',ul.select('li')) #嘗試獲取每個ul節點的id屬性： for ul in soup.select('ul'): print('打印每個u1下的id的內容:\n',ul['id']) print('打印每個u1下的id的內容(另一種方法):\n',ul.attrs['id']) #獲取文本 for li in soup.select('li'): print('獲取li的文本信息:', li.get_text()) print('獲取li的文本信息(另一種方法):', li.string)
結果：
選擇panel下的panel-heading標簽: [<div class="panel-heading"> <h4>Hello</h4> </div>] 選擇ul下的li標簽: [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>, <li class="element">Foo</li>, <li class="element">Bar</li>] 選擇list-2下的element標簽: [<li class="element">Foo</li>, <li class="element">Bar</li>] 返回第一個u1的類型: <class 'bs4.element.Tag'> 打印每個u1下的li標簽： [<li class="element">Foo</li>, <li class="element">Bar</li>, <li class="element">Jay</li>] 打印每個u1下的li標簽： [<li class="element">Foo</li>, <li class="element">Bar</li>] 打印每個u1下的id的內容: list-1 打印每個u1下的id的內容(另一種方法): list-1 打印每個u1下的id的內容: list-2 打印每個u1下的id的內容(另一種方法): list-2 獲取li的文本信息: Foo 獲取li的文本信息(另一種方法): Foo 獲取li的文本信息: Bar 獲取li的文本信息(另一種方法): Bar 獲取li的文本信息: Jay 獲取li的文本信息(另一種方法): Jay 獲取li的文本信息: Foo 獲取li的文本信息(另一種方法): Foo 獲取li的文本信息: Bar 獲取li的文本信息(另一種方法): Bar
到此，Beautiful Soup的用法基本就介紹完了，最后做一下簡單的總結。
推薦使用lxml解析庫，必要時使用html.parser。
節點選擇篩選功能弱但是速度快。
建議使用find()或者find_all()查詢匹配單個結果或者多個結果。
如果對CSS選擇器熟悉的話，可以使用select()方法選擇。
原文鏈接：https://blog.csdn.net/qq_35490191/article/details/80598620
