要想學好爬蟲，必須把基礎打扎實，之前發布了兩篇文章，分別是使用XPATH和requests爬取網頁，今天的文章是學習Beautiful Soup並通過一個例子來實現如何使用Beautiful Soup爬取網頁。
什么是Beautiful Soup
- Beautiful Soup是一款高效的Python網頁解析分析工具，可以用於解析HTL和XML文件並從中提取數據。
- Beautiful Soup輸入文件的默認編碼是Unicode，輸出文件的編碼是UTF-8。
- Beautiful Soup具有將輸入文件自動補全的功能，如果輸入的HTML文件的title標簽沒有閉合，則在輸出的文件中會自動補全，並且還可以將格式混亂的輸入文件按照標准的縮進格式輸出。
Beautiful Soup要和其他的解析器搭配使用，例如Python標准庫中的HTML解析器和其他第三方的lxml解析器，由於lxml解析器速度快、容錯能力強，因此一般和Beautiful Soup搭配使用。
初始化Beautiful Soup對象的代碼：
html =
'''
<html><title>Hello Beautiful Soup</title><p>Hello</p></html>
'''
soup = BeautifulSoup(html,'lxml')
只需把第二個參數寫成"lxml"即可使用lxml解析器初始化Beautiful Soup對象。
Beautiful Soup提供了三種選擇器用去爬取節點中的數據，分別是節點選擇器、方法選擇器和CSS選擇器。下面分別介紹着三個選擇器的用法。
節點選擇器：
HTML網頁有title、p、a、head、tr、td等節點。通過Beautiful Soup對象+"."+節點即可直接訪問到節點。
Beautiful Soup對象+"."+節點+"."+string即可提取到節點的文本信息。
| 用法 | 描述 |
|---|---|
| soup.title | 選擇第一個title節點 |
| soup.title.string | 提取第一個title節點的文本信息 |
| soup.title.attrs | 獲取第一個title節點的所有屬性，返回的結果的詞典。 如果有class屬性，則class屬性返回的是list，class屬性之間以空格當做分隔符 |
| soup.p.contents | 獲取第一個p節點的所有直接子節點。 該方法返回的是第一個p節點中包含的所有直接子字節點和文本， 不包含孫節點，兩個節點之間的文本也當做是一個節點返回。 返回的結果是列表 |
| soup.p.children | 返回第一個p節點的所有直接子節點，返回的結果是list_iterator對象 |
| soup.p.descendants | 獲取第一個p節點的所有子孫節點 |
| soup.a.parent | 獲取第一個a節點的父節點 |
| soup.a.parents | 獲取第一個a節點的所有祖先節點 |
| soup.p.next_siblings | 獲取第一個p節點的下一個兄弟節點 |
| soup.p.previous_siblings | 獲取第一個p節點的上一個兄弟節點 |
方法選擇器：
根據傳入的參數查找符合條件的節點。
下面是方法選擇器提供的方法：
| 方法 | 描述 |
|---|---|
| find_all(name,attrs,recursive,text,**kwargs) | 根據傳入參數查找所有符合條件的節點， name是節點名，attrs屬性值，text文本內容等。 text參數可以是字符串，也可以是正則表達式: soup.find_all(text=re.compile('test')) |
| find(name,attrs,recursive,text,**kwargs) | 返回第一個符合條件的節點 |
| find_parents() | 返回所有祖先節點 |
| find_parent() | 返回父節點 |
| find_next_siblings() | 往后查找，所有兄弟節點 |
| find_next_sibling() | 往后查找，返回第一個兄弟節點 |
| find_previous_siblings() | 往前查找，返回所有兄弟節點 |
| find_previous_sibling() | 往前查找，返回第一個兄弟節點 |
在使用上面的方法時，如果參數中有Python的關鍵字，則需要在參數下面加一個下划線，例如下面的代碼，class是Python的關鍵字，必須在class后加下划線class_="title_class"：
from bs4 import BeautifulSoup
html = '''
<html>
<body>
<title id="title_id" class="title_class" name="title name">Test BeautifulSoup</title>
<p>
<a href = "./test_beautifulsoup.html">test beautifulsoup link<a>
</p>
<ul>
<li class="animal">cat</li>
<li class="animal">dog</li>
</ul>
</body>
</html>
'''
soup = BeautifulSoup(html,'lxml')
print(soup.find_all(name='title',class_='title_class'))
CSS選擇器：
BeautifulSoup還支持獲取css元素，例如ul、div、li等元素。CSS選擇器主要提供select()方法獲取符合條件的節點(Tag對象)，然后通過節點的get_text()方法和text屬性可以獲取該節點的文本值。
select方法還可以根據css的樣式規則選擇相應的節點：
from bs4 import BeautifulSoup
html = '''
<html>
<body>
<title id="title_id" class="title_class" name="title name">Test BeautifulSoup</title>
<p>
<a href = "./test_beautifulsoup.html">test beautifulsoup link<a>
</p>
<ul class="animal" id="aninal_id">
<li class="cat">cat</li>
<li class="animal dog">dog</li>
</ul>
<ul class="fruit" id = "fruit_id">
<li class="apple">apple</li>
<li class="banana">banana</li>
</ul>
</body>
</html>
'''
soup = BeautifulSoup(html,'lxml')
print('獲取id為title_的所有節點')
print(soup.select('#title_id'))
print('獲取class為title_的所有節點')
print(soup.select('.title_class'))
print('獲取所有ul節點下面的所有li節點')
print(soup.select('ul li'))
print('獲取所有class為fruit節點下的所有li節點')
print(soup.select('.fruit li'))
print('獲取所有class為fruit節點下的第一個li節點的文本值')
print(soup.select('.fruit li')[0].string)
print('獲取所有class為fruit節點下的第一個li節點的文本值')
print(soup.select('.fruit li')[0].get_text())
print('獲取所有class為fruit節點下的第一個li節點的class屬性值，注意class屬性返回的是list列表，屬性之間用空格分隔')
print(soup.select('.fruit li')[0].attrs['class'])
print(soup.select('.animal li')[1].attrs['class'])
print('循環迭代所有ul下面的所有li節點的文本值')
for li in soup.select('ul li'):
print(li.text)
下面使用Beautiful Soup爬取豆瓣音樂排行榜。
在瀏覽器中打開豆瓣音樂排行榜，打開瀏覽器，輸入網址：https://music.douban.com/chart，我們要抓取的是每首歌曲的排名、歌曲名、演唱者、播放次數、上榜天數等數據。
下面分析怎么通過beautiful soup抓取到我們的數據。
通過開發者工具，我們可以看到所有歌曲是在class為article的div中，然后每首個在class為clearfix的li中。
因此首先使用css選擇器獲取到class為article下面的所有li節點：
soup.select(".article li")
然后查看每首歌曲的html代碼：
紅色框部分是一首歌的html代碼。
歌曲排名在class為“gree-num-box”的span節點中，因為span節點是<li class="clearfix">節點的子節點，獲取排名的代碼為：li.span.text
綠色框中A節點中是歌曲的鏈接和圖片鏈接，獲取歌曲鏈接的代碼為：li.a['href']
藍色框中是歌曲的名字、演唱者和播放次數，歌曲名是在class="icon-play"的H3節點中，因此可以使用方法選擇器中的find()方法獲取到H3節點，然后獲取H3節點下面a節點中的文本信息就是歌曲的名字，代碼為：li.find(class_="icon-play").a.text
獲取演唱者和播放次數的代碼為：
li.find(class_="intro").p.text.strip()
獲取上榜天數的代碼為：
li.find(class_="days").text.strip()
在豆瓣音樂排行榜的頁面一個現實20首歌曲，前面10首歌曲會有圖片，后面10首歌曲是沒有圖片的，因此后面10首歌曲將不獲取圖片的地址。
另外還有一點需要注意的是，后面10首歌曲的演唱者和播放次數是在class="icon-play"的p節點中：
而該節點中有a節點，要想獲取a節點外的信息，必須使用節點選擇器的contents方法：
li.find(class_="intro").p.contents[2].strip()
contents返回的是p節點的直接子節點，以列表的形式返回，這里返回列表中有3個元素，分別是
后的字符串，a節點、演唱者/播次數。contents會將直接子節點之間的換行符也當做一個元素。
代碼整理后如下：
# coding:utf-8
from bs4 import BeautifulSoup
import requests
def parseHtml(url):
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"}
response = requests.get(url,headers=headers)
soup = BeautifulSoup(response.text,'lxml')
#使用css選擇器獲取class="article"的節點下面的所有li節點
for index,li in enumerate(soup.select(".article li")):
if(index <10):
print('歌曲排名：' + li.span.text)
print('歌曲鏈接：' + li.a['href'])
print('歌曲名：' + li.find(class_="icon-play").a.text)#使用方法選擇器
print('演唱者/播放次數：' + li.find(class_="intro").p.text.strip())
print('上榜時間：'+li.find(class_="days").text.strip())
else:
print('歌曲排名：' + li.span.text)
print('歌曲名：' + li.find(class_="icon-play").a.text)
print('演唱者/播放次數：' + li.find(class_="intro").p.contents[2].strip())#方法選擇器和節點選擇器搭配使用
print('上榜時間：' + li.find(class_="days").text.strip())
print('—————————————————強力分隔符———————————————————')
def main():
url = "https://music.douban.com/chart"
parseHtml(url)
if __name__ == '__main__':
main()
本文通過爬取豆瓣音樂排行榜的小項目學習了如何使用Beautiful Soup的節點選擇器、方法選擇器、CSS選擇器來爬取一個網頁。這三個選擇器可以混合搭配使用。