...

code { margin: 0; padding: 0; white-space: pre; border: none; background: transparent; } ...

　　在lxml下，很大程度上運用了DOM樹的概念，他能夠結合XPath很方便的獲取到我們想要的數據。 　　在 ...

　　我們以我的博客為例，來爬取我所有寫過的博客的標題。 　　首先，打開我的博客頁面，右鍵“檢查”開始進行網頁分析。我們選中博客標題，再次右鍵“檢查”即可找到標題相應的位置，我們繼續點擊右鍵，選擇Copy，再點擊Copy XPath，即可獲得對應的XPath編碼，我們可以先將它保存在一個文本文檔中 ...

有一個需求，爬取網頁中的圖片 思路： 1、先爬取整個網頁 2、通過控制台找到圖片地址的的規則，使用正則獲取圖片地址 由此看出地址的規則為 正則表達式為： 代碼參考 成果展示： ...

除了正則表達式處理HTML文檔，我們還可以用XPath，先將 HTML文件 轉換成 XML文檔，然后用 XPath 查找 HTML 節點或元素。 先用一個小實例開頭吧（爬取貼吧每個帖子的圖片） 運行結果： 打開存儲圖片的文件夾 ...

運行結果： ...

需求:爬取站長素材中的高清圖片 
一.數據解析（圖片的地址)
 通過xpath解析出圖片src的屬性值。只需要將img的src的屬性值進行解析,提交到管道, 管道就會對圖片的src進行請求發送獲取圖片 spider文件 
二.在管道文件中自定義一個 ...