写在前面的话 ：最近博主在学习网络爬虫的相关技术（基于 Python 语言），作为一个学习的总结，打算用博客记录下来，也希望和大家分享一下自己在学习过程中的点点滴滴，话不多说，让我们马上开始吧 一、爬虫基本简介 什么是网络爬虫，这里先引用一下 百度百科 上的解析： 网络爬虫是一种 ...

目前网络上有不少开源的网络爬虫可供我们使用，爬虫里面做的最好的肯定是google ，不过google公布的蜘蛛是很早的一个版本，下面是几种开源的网络爬虫的简单对比表： 下面我们再对Nutch、Larbin、Heritrix这三个爬虫进行更细致的比较： Nutch 开发语言：Java ...

一、"大数据时代"，数据获取的方式： 1. 企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然的优势。 有数据意识的中小型企业，也开始积累的数据。 2. 数据管理咨询公司：通常这 ...

一、爬虫的概念 模拟浏览器，发送请求，获取响应 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟客户端(主要指浏览器)发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。 原则上,只要是客户端(浏览器)能做的事情，爬虫都能够做 爬虫也只能获取 ...

什么是网络爬虫？ 　　网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 网络爬虫会遇到的问题 　　有人抓取，就会有人想要防御。网络爬虫 ...

这次去杭州参加阿里巴巴的离线大数据处理暑期课，得到一个思路。 之前一直纠结于没有数据要怎么训练我的旅行个性化推荐。毕设木有头绪啊，做不粗来要人命呀！ 现在觉得可以在网上爬一些数据下来，看看能不能分 ...

1、爬虫基础理论 2、HTML补充知识 3、re模块与requests模块使用 4、cookie与session用法 5、爬虫实战 6、BeautifulSoup模块与lxml解析器的使用 7、爬虫实战进阶 8、Python操作Excel文件 9、爬虫实战进阶2 10、Xpath ...

一.基本概念简介 　　1.爬虫： 　　　　　　自动获取网站数据的程序，关键是批量的获取。 　　2.反爬虫： 　　　　　　使用技术手段防止爬虫程序的方法。 　　3.误伤： 　　　　　　反爬技术将普通用户识别为爬虫，如果误伤过高，效果再好也不能用。（如局域网【学校，网吧等】可能用的是同一个 ...