前言 以博客园为例，爬取我的博客上首页的发布时间、标题、摘要，本篇先小试牛刀，先了解下它的强大之处，后面讲beautifulsoup4的详细功能。 一、安装 1.打开cmd用pip在线安装beautifulsoup4 >pip install beautifulsoup4 ...

前言 本篇详细介绍beautifulsoup4的功能，从最基础的开始讲起，让小伙伴们都能入门 一、读取HTML页面 1.先写一个简单的html页面，把以下内容copy出来，保存为html格式文件 <meta charset="UTF-8"> < ...

前言 很多时候我们无法直接定位到某个元素，我们可以先定位它的父元素，通过父元素来找子元素就比较容易 一、子节点 1.以博客园首页的摘要为例：<div class="c_b_p_des ...

前言 很多时候我们无法直接定位到某个元素，我们可以先定位它的父元素，通过父元素来找子元素就比较容易 一、子节点 1.以博客园首页的摘要为例：<div class="c_b_p_des ...

Python3用不了Scrapy! Python3用不了Scrapy! Python3用不了Scrapy! [重要的事情说三遍，据说大神们还在尝试把scrapy移植到python3，特么浪费我半个小时pip scrapy = - =] 【更新：py3现在可以用scrapy了，感谢大神们=w ...

XML和XPATH 用正则处理HTML文档很麻烦，我们可以先将 HTML文件 转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。 XML 指可扩展标记语言（EXtensi ...

安装： Beautifulsoup4 解析器使用 lxml，原因为，解析速度快，容错能力强，效率够高 安装解析器： 使用方法： 加载 beautifulsoup4 模块 加载 urllib 库的 urlopen 模块 使用 urlopen 读取 ...

python 3.x 爬虫基础 python 3.x 爬虫基础---http headers详解 python 3.x 爬虫基础---Urllib详解 python 3.x 爬虫基础---Requersts,BeautifulSoup4（bs4） python 3.x 爬虫基础 ...