上篇介绍了如何模拟登录手机版微博,过程还是比较简单的,没有设计到复杂的加密部分。 登录Web版微博的过程还是一样的,只不过这次需要提交的数据多一点。 其中密码部分进行了加密,加密的算法在网页的js文件里,网上有人把它改成了Java代码。 下面是SinaSSoEncoder类 ...
手机版微博单点登录的URL为:http: g.sina.com.cn prog wapsite sso login.php 我们先来看一下这个网页源代码: 我们要做的就是获取服务器需要的数据,然后用HttpClient模拟浏览器提交。 有几点需要说明一下: go标签内的href是我们第二次请求的地址,通过这个地址来获取cookie。 用户密码那个field的name属性是随机变化的,需要先获取它然 ...
2012-09-16 00:08 1 5093 推荐指数:
上篇介绍了如何模拟登录手机版微博,过程还是比较简单的,没有设计到复杂的加密部分。 登录Web版微博的过程还是一样的,只不过这次需要提交的数据多一点。 其中密码部分进行了加密,加密的算法在网页的js文件里,网上有人把它改成了Java代码。 下面是SinaSSoEncoder类 ...
是有userName经过urlencode编码得来的,因此要获得用户userName,可以在登录微博后查看m.w ...
因为项目原因,我被领导委任爬取微博用户的一些信息,而作为一个爬虫经验几乎为0的python非老司机,开始了漫长的研究之路。。。。 在了解了爬虫的基本工具和著名框架scrapy后 博主还是决定自己参考网上的各路大神的脚本,写一个登录脚本。。。。 环境 tools 1、Chrome ...
环境:Ubuntu 16.04 python版本3.5+ ...
毕设题目要使用到新浪微博数据,所以要爬取新浪微博的数据。一般而言,新浪微博的爬虫有两种模式:新浪官方API和模拟登录新浪微博。两种方法的异同点和适用情况就无须赘述了。前辈的文章已经非常多了。写这篇文章主要记录自己的探究过程。 参考文章:1,解析新浪微博的登录 ...
这几天一直在研究新浪微博的爬虫,发现爬取微博的数据首先要登录。本来打算是通过账号和密码模拟浏览器登录。但是现在微博的登录机制比较复杂。通过账号密码还没有登录成功QAQ。所以就先记录下,通过cookie直接访问自己的微博主页。 微博登录的认证过程 微博登录的细节在其他的博客里已经有了详细的介绍 ...
隐式等待 显式等待 模拟登陆并获取Cookie的代码 1 ...
这几天要做个获取新浪微博@我的信息, 又不用第三方登录,所以只能通过模拟登录来获取信息,研究的一下发现直接模拟登录微博比较困难,验证的算法比较复杂,于是绕道通过登录新浪通行证后来获取cookie 来获取信息,代码如下。 ...