使用Fiddler抓包工具找到在豆瓣网的cookie。 把cookie键值对（一个）写在headers 发起请求 self.headers = { "User-Agent": "Mozihttps://accounts.douban.com/j ...

前面（1）（2）的内容已经足够爬虫如链家网之类的不需要登录可以直接获取数据的网站。 而要爬取社交网站比较鲜明的特点就是需要登录，否则很多东西都无法获取。经过测试发现，微博，知乎都不是很好登录，知乎有时候的验证码会类似12306那样，而微博除了验证码，在传递参数的时候会对用户名进行base64加密 ...

前言： 什么是cookie? Cookie，指某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据（通常经过加密）。 比如说有些网站需要登录后才能访问某个页面，在登录之前，你想抓取某个页面内容是不允许的。那么我们可以利用Urllib库保存我们登录的Cookie，然后再 ...

...

注意: 1、cookie通过发送请求后，在抓包工具中获得，比如fiddler或者charles 2、这里的cookie并非发送登录请求时的cookie，而是你要通过登录后访问的那个页面请求的cookie 3、不一定所有的网站都能通过cookie的方式实现登录，比如那些大型 ...

...

1.首先在浏览器中进入WAP版微博的网址，因为手机版微博的内容较为简洁，方便后续使用正则表达式或者beautifulSoup等工具对所需要内容进行过滤 https://login.weibo.cn/login/ 2.人工输入账号、密码、验证字符，最后最重要的是勾选（记住登录 ...

https://movie.douban.com/ 直奔主题，给个要爬取的豆瓣电影地址，爬取热门电影名字。 右键选择查看网页源码，我们可以发现在网页静态源码里，是找不到‘来电狂想’这些关键字的。 通过检查网页，查看network下的XHR，我们可以找到对应的信息。说明我们想要爬 ...