Beautiful Soup 是一個可以從HTML或XML文件中提取數據的Python庫，它能夠通過你喜歡的轉換器實現慣用的文檔導航、查找、修改文檔的方式。
Beautiful Soup 4 官方文檔：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
一、安裝Beautiful Soup
運行cmd，cd切換到python安裝目錄下的Scripts目錄，執行命令
pip3 install beautifulsoup4
二、安裝解析器lxml
Beautiful Soup支持Python標准庫中的HTML解析器，也支持一些第三方的解析器，推薦用lxml，速度快，文檔容錯能力強，需要安裝。
pip3 install lxml
三、使用實例
下面測試抓取博客園首頁一些信息
1、簡單信息的抓取
import re import requests from bs4 import BeautifulSoup r = requests.get('https://www.cnblogs.com') soup = BeautifulSoup(r.text, 'lxml') #lxml為解析器 print(soup.title, soup.title.string) #獲取指定標簽，獲取指定標簽里面的內容 print(soup('title'), soup('title')[0].string) #獲取指定標簽也可以寫成這樣 print(soup.meta.get('charset')) #獲取指定標簽的屬性 print(soup.meta['charset']) #獲取指定標簽的屬性也可寫成這樣 print(soup.meta) #獲取第一個標簽（多個只取第一個） print(soup.find('meta')) #獲取第一個標簽，結果和上面一樣 print(soup.find('meta', attrs={'name':'viewport'})) #獲取第一個標簽，根據屬性過濾獲取 print(soup.find_all('meta', attrs={'charset':True})) #獲取所有標簽的列表，同時根據是否含有屬性charset過濾獲取
運行結果：
<title>博客園 - 開發者的網上家園</title> 博客園 - 開發者的網上家園 [<title>博客園 - 開發者的網上家園</title>] 博客園 - 開發者的網上家園 utf-8 utf-8 <meta charset="utf-8"/> <meta charset="utf-8"/> <meta content="width=device-width, initial-scale=1" name="viewport"/> [<meta charset="utf-8"/>]
2、抓取首頁的導航條信息
print('抓取導航，實現方法1') for item in soup.select('div#nav_menu a'): print(item.get('href'), item.string) print('抓取導航，實現方法2') for item in soup.find('div', {'id':'nav_menu'}).children: print(item['href'], item.string)
運行結果：
抓取導航，實現方法1 https://home.cnblogs.com/ 園子 https://news.cnblogs.com 新聞 https://q.cnblogs.com/ 博問 https://ing.cnblogs.com/ 閃存 https://group.cnblogs.com/ 小組 https://wz.cnblogs.com/ 收藏 https://job.cnblogs.com/ 招聘 https://edu.cnblogs.com/ 班級 http://zzk.cnblogs.com/ 找找看 抓取導航，實現方法2 https://home.cnblogs.com/ 園子 https://news.cnblogs.com 新聞 https://q.cnblogs.com/ 博問 https://ing.cnblogs.com/ 閃存 https://group.cnblogs.com/ 小組 https://wz.cnblogs.com/ 收藏 https://job.cnblogs.com/ 招聘 https://edu.cnblogs.com/ 班級 http://zzk.cnblogs.com/ 找找看
3、抓取網站分類
print('抓取網站分類，實現方法1') for item in soup.select('ul#cate_item li'): print(item.find('a').get('href'),item.find('a').string) print('抓取網站分類，實現方法2') for item in soup.find_all(id=re.compile('^cate_item_')): print(item.find('a').get('href'),item.find('a').string)
運行結果：
抓取網站分類，實現方法1 /cate/108698/ .NET技術(8) /cate/2/ 編程語言(41) /cate/108701/ 軟件設計(0) /cate/108703/ Web前端(10) /cate/108704/ 企業信息化(0) /cate/108705/ 手機開發(3) /cate/108709/ 軟件工程(0) /cate/108712/ 數據庫技術(9) /cate/108724/ 操作系統(9) /cate/4/ 其他分類(16) /cate/all/ 所有隨筆(1571) /comment/ 所有評論(491) 抓取網站分類，實現方法2 /cate/108698/ .NET技術(8) /cate/2/ 編程語言(41) /cate/108701/ 軟件設計(0) /cate/108703/ Web前端(10) /cate/108704/ 企業信息化(0) /cate/108705/ 手機開發(3) /cate/108709/ 軟件工程(0) /cate/108712/ 數據庫技術(9) /cate/108724/ 操作系統(9) /cate/4/ 其他分類(16) /cate/all/ 所有隨筆(1571) /comment/ 所有評論(491)
4、抓取首頁的所有隨筆信息
print('抓取隨筆信息') post_item_body = soup.find_all('div', 'post_item_body') for item in post_item_body: print(item.h3.a['href']) print(item.h3.a.string) print(item.p.get_text().strip()) print(item.div.a.string) print(item.div.a.next_sibling.replace('發布於','').strip())
運行結果：
抓取隨筆信息 https://www.cnblogs.com/chq1234/p/11400367.html js全選與取消全選 實現全選與取消全選的效果 要求1(將軍影響士兵)：點擊全選按鈕，下面的復選框全部選中，取消全選按鈕，下面的復選框全部取消 思路：復選框是否被選中，取決於check屬性,將全選按鈕的check屬性值賦值給下面所有復選框的check值 要求2（士兵影響將軍）: 當下面的某個復選框沒有被選中時，全選按鈕自 ... 源氏西格瑪 2019-08-23 15:36 https://www.cnblogs.com/lenve/p/11400056.html 40 篇原創干貨，帶你進入 Spring Boot 殿堂！ 兩個月前，松哥總結過一次已經完成的 Spring Boot 教程，當時感受到了小伙伴們巨大的熱情。 兩個月過去了，松哥的 Spring Boot 教程又更新了不少，為了方便小伙伴們查找，這里再給大家做一個索引參考。 需要再次說明的是，這一系列教程不是終點，而是一個起點，松哥后期還會不斷完善這個教程， ... 江南一點雨 2019-08-23 14:58 .....................后面內容太長了省略....................