前言 以博客園為例，爬取我的博客上首頁的發布時間、標題、摘要，本篇先小試牛刀，先了解下它的強大之處，后面講beautifulsoup4的詳細功能。 一、安裝 1.打開cmd用pip在線安裝beautifulsoup4 >pip install beautifulsoup4 ...

前言 本篇詳細介紹beautifulsoup4的功能，從最基礎的開始講起，讓小伙伴們都能入門 一、讀取HTML頁面 1.先寫一個簡單的html頁面，把以下內容copy出來，保存為html格式文件 <meta charset="UTF-8"> < ...

前言 很多時候我們無法直接定位到某個元素，我們可以先定位它的父元素，通過父元素來找子元素就比較容易 一、子節點 1.以博客園首頁的摘要為例：<div class="c_b_p_des ...

前言 很多時候我們無法直接定位到某個元素，我們可以先定位它的父元素，通過父元素來找子元素就比較容易 一、子節點 1.以博客園首頁的摘要為例：<div class="c_b_p_des ...

Python3用不了Scrapy! Python3用不了Scrapy! Python3用不了Scrapy! [重要的事情說三遍，據說大神們還在嘗試把scrapy移植到python3，特么浪費我半個小時pip scrapy = - =] 【更新：py3現在可以用scrapy了，感謝大神們=w ...

XML和XPATH 用正則處理HTML文檔很麻煩，我們可以先將 HTML文件 轉換成 XML文檔，然后用 XPath 查找 HTML 節點或元素。 XML 指可擴展標記語言（EXtensi ...

安裝： Beautifulsoup4 解析器使用 lxml，原因為，解析速度快，容錯能力強，效率夠高 安裝解析器： 使用方法： 加載 beautifulsoup4 模塊 加載 urllib 庫的 urlopen 模塊 使用 urlopen 讀取 ...

python 3.x 爬蟲基礎 python 3.x 爬蟲基礎---http headers詳解 python 3.x 爬蟲基礎---Urllib詳解 python 3.x 爬蟲基礎---Requersts,BeautifulSoup4（bs4） python 3.x 爬蟲基礎 ...