（我是在windows下进行实验的） 准备工作： 　　　　　　1、安装python环境。 　　　　　　2、python安装selenium插件（执行以下命令就行）。 　　　　　　　 pip install selenium 　　　　　　3、Windows下配置webdriver ...

平台：mac 网站：人人网 最近练习爬虫登陆，方法一是找页面里的js文件，通过解析js文件找到cookie信息再保持。但现在的站点登陆都有验证码，而且最烦的是request时data表单里的值基本上没有不加密的，js学的不好，就别想着破解了。所以想起了用的比较少的selenium模块，用于模拟 ...

　　由于之前用Scrapy 抓了一些公司的名称，但是没有准确的联系方式，所以就自己就学习了一下使用selenium自动化工具，速度比较慢，网上也有很多这方面的代码，但是大部分的网页解析部分都出错了，可能是这种网站定时会更改一下网页的固定几个标签。 　　网上也有很多说如果遇到一些防爬虫特别强的网站 ...

cookie适用于抓取需要登录才能访问的页面网站 cookie和session机制 http协议为无连接协议，cookie: 存放在客户端浏览器，session: 存放在Web服务器 人人网登录案例 方法一：登录网站手动抓取Cookie 1、先登录成功1次，获取到携带登陆信息 ...

第一部：利用selenium登陆 导入selenium库 明确模拟浏览器在电脑中存放的位置，比如我存在当前目录 用selenium的webdriver方程指明浏览器的路径，同时打开一个浏览器。模拟浏览器有多种可选,比如Firefox, Safari。本次用的是谷歌的模拟浏览器。注意 ...

上节介绍了浏览器的常用方法，涉及到了cookie的使用，本节介绍一下如何利用cookie进行登陆系统，这里使用到了request模块，我们首先利用request模块，请求登陆地址进行登陆，登陆成功以后获取cookie值，然后再通过add_cookie添加到浏览器，使系统处于登陆状态。这里需要 ...

工作流程 　　手动登陆人人网地址，拿到一个cookie。把cookie拷下来，手动定义一个headers，发起请求 打印结果 ...

...