把网站装进爬虫里，分为几步： 新建项目 (Project)：新建一个新的爬虫项目 明确目标（Items）：明确你想要抓取的目标 制作爬虫（Spider）：制作爬虫开始爬取网页 存储内容（Pipeline）：设计管道存储爬取内容 1.新建项目（Project） 在空目录 ...

...

前面（1）（2）的内容已经足够爬虫如链家网之类的不需要登录可以直接获取数据的网站。 而要爬取社交网站比较鲜明的特点就是需要登录，否则很多东西都无法获取。经过测试发现，微博，知乎都不是很好登录，知乎有时候的验证码会类似12306那样，而微博除了验证码，在传递参数的时候会对用户名进行base64加密 ...

https://movie.douban.com/ 直奔主题，给个要爬取的豆瓣电影地址，爬取热门电影名字。 右键选择查看网页源码，我们可以发现在网页静态源码里，是找不到‘来电狂想’这些关键字的。 通过检查网页，查看network下的XHR，我们可以找到对应的信息。说明我们想要爬 ...

爬虫接触了也有段时间，跟着网上的一些教程，不仅做出了一些实用的小工具，而且对于使用Python爬虫的整个流程有了大致的了解，也知道了爬虫是怎么回事。以前做的一些小的试验，陆续也都会写成博客，今天记录的， 是我在慕课网上（http://www.imooc.com/learn/563）学到的一个爬虫 ...

Python是个功能很强大，也很齐全的语言，这在我当初学的时候是不了解的。想想半年前学习python的初衷，无非是是因为ArcGIS提供了python脚本的编译环境，当我知道ArcToolbox里那些功能强大的工具，有一部分竟然就是用所谓python写出来的，自然也就想着去尝试，简化那些冗杂的工作 ...

爬虫与反爬 爬虫：自动获取网站数据的程序，关键是批量的获取。 反爬虫：使用技术手段防止爬虫程序的方法 误伤：反爬技术将普通用户识别为爬虫，从而限制其访问，如果误伤过高，反爬效果再好也不能使用（例如封ip，只会限制ip在某段时间内不能访问） 成本：反爬虫需要的人力和机器成本 拦截：成功拦截 ...