这几天一直在研究新浪微博的爬虫,发现爬取微博的数据首先要登录。本来打算是通过账号和密码模拟浏览器登录。但是现在微博的登录机制比较复杂。通过账号密码还没有登录成功QAQ。所以就先记录下,通过cookie直接访问自己的微博主页。 微博登录的认证过程 微博登录的细节在其他的博客里已经有了详细的介绍 ...
毕设题目要使用到新浪微博数据,所以要爬取新浪微博的数据。一般而言,新浪微博的爬虫有两种模式:新浪官方API和模拟登录新浪微博。两种方法的异同点和适用情况就无须赘述了。前辈的文章已经非常多了。写这篇文章主要记录自己的探究过程。 参考文章: ,解析新浪微博的登录过程 , Javascript 爬虫 模拟新浪微博登陆 ,用java程序模拟登陆新浪微博 背景知识:Http协议,HttpClient开源包。 ...
2014-03-25 16:22 0 5401 推荐指数:
这几天一直在研究新浪微博的爬虫,发现爬取微博的数据首先要登录。本来打算是通过账号和密码模拟浏览器登录。但是现在微博的登录机制比较复杂。通过账号密码还没有登录成功QAQ。所以就先记录下,通过cookie直接访问自己的微博主页。 微博登录的认证过程 微博登录的细节在其他的博客里已经有了详细的介绍 ...
因为项目原因,我被领导委任爬取微博用户的一些信息,而作为一个爬虫经验几乎为0的python非老司机,开始了漫长的研究之路。。。。 在了解了爬虫的基本工具和著名框架scrapy后 博主还是决定自己参考网上的各路大神的脚本,写一个登录脚本。。。。 环境 tools 1、Chrome ...
上一篇文章小试牛刀:使用Python模拟登录知乎介绍了如何模拟知乎登录,虽然用到了验证码信息,但请求的参数都是原封不动的传递,刚开始接触的时候,觉得难度适中,回头再看的时候,反而感觉挺容易的。在这篇文章,将继续介绍模拟登录。与之前不一样的是,这次选择的对象是新浪微博,难度稍微提升了点,好在以往 ...
隐式等待 显式等待 模拟登陆并获取Cookie的代码 1 ...
这几天要做个获取新浪微博@我的信息, 又不用第三方登录,所以只能通过模拟登录来获取信息,研究的一下发现直接模拟登录微博比较困难,验证的算法比较复杂,于是绕道通过登录新浪通行证后来获取cookie 来获取信息,代码如下。 ...
模拟登陆部分实现: package token.exe; import java.math.BigInteger; import java.util.Random; import org.apache.commons.codec.binary.Base64; public ...
没有调用新浪的API,在程序中加入自己的帐号和密码就能发送微博,代码完全在后台运行,不用打开浏览器。 用了HtmlUnit这个库来模拟登录还有发送微博。 先上效果图: 这个是刚登陆上获取第一页的信息。 发送微博: 没什么难的地方,找到相应的按钮和文本域,然后点 ...
mport java.io.IOException;import java.net.MalformedURLException;import com.gargoylesoftware.htmlunit.BrowserVersion;import ...