...

code { margin: 0; padding: 0; white-space: pre; border: none; background: transparent; } ...

　　在lxml下，很大程度上运用了DOM树的概念，他能够结合XPath很方便的获取到我们想要的数据。 　　在 ...

　　我们以我的博客为例，来爬取我所有写过的博客的标题。 　　首先，打开我的博客页面，右键“检查”开始进行网页分析。我们选中博客标题，再次右键“检查”即可找到标题相应的位置，我们继续点击右键，选择Copy，再点击Copy XPath，即可获得对应的XPath编码，我们可以先将它保存在一个文本文档中 ...

有一个需求，爬取网页中的图片 思路： 1、先爬取整个网页 2、通过控制台找到图片地址的的规则，使用正则获取图片地址 由此看出地址的规则为 正则表达式为： 代码参考 成果展示： ...

除了正则表达式处理HTML文档，我们还可以用XPath，先将 HTML文件 转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。 先用一个小实例开头吧（爬取贴吧每个帖子的图片） 运行结果： 打开存储图片的文件夹 ...

运行结果： ...

需求:爬取站长素材中的高清图片 
一.数据解析（图片的地址)
 通过xpath解析出图片src的属性值。只需要将img的src的属性值进行解析,提交到管道, 管道就会对图片的src进行请求发送获取图片 spider文件 
二.在管道文件中自定义一个 ...