模拟登陆部分实现： package token.exe; import java.math.BigInteger; import java.util.Random; import org.apache.commons.codec.binary.Base64; public ...

前言: 兄弟们来了来了，最近有人在问如何模拟新浪微博登陆抓取数据，我听后默默地抽了一口老烟，暗暗的对自己说，老汉是时候该你出场了，所以今天有时间就整理整理，浅谈一二。 首先： 要想登陆新浪微博需要预登陆，即是将账号base64加密，密码rsa加密以及请求http ...

毕设题目要使用到新浪微博数据，所以要爬取新浪微博的数据。一般而言，新浪微博的爬虫有两种模式：新浪官方API和模拟登录新浪微博。两种方法的异同点和适用情况就无须赘述了。前辈的文章已经非常多了。写这篇文章主要记录自己的探究过程。 参考文章：1，解析新浪微博的登录 ...

一、微博API 　　使用微博API获取数据是最简单方便，同时数据完整性高的方式，缺点是微博开发平台对于API的调用次数做了严格的限制。具体使用过程参考http://open.weibo.com/，有详细的教程，对于API次数的限制，我们是通过注册多个开发者账号来绕过，对于某个IP调用API次数 ...

没有调用新浪的API，在程序中加入自己的帐号和密码就能发送微博，代码完全在后台运行，不用打开浏览器。 用了HtmlUnit这个库来模拟登录还有发送微博。 先上效果图： 这个是刚登陆上获取第一页的信息。 发送微博： 没什么难的地方，找到相应的按钮和文本域，然后点 ...

1.设置ROBOTSTXT_OBEY，由true变为false 2.设置DEFAULT_REQUEST_HEADERS，将其改为request headers 3.根据请求链接，发出第一个请求， ...

应该先说，本来相对网页加载的程序段进行规范的，但是，当再次编写的时候发现，还是不能很好的掌握网页加载的具体规则，导致获取页面的代码还是很繁杂。其他部分改的差不多了，还有就是当微博中的字符含有{}等时，会提示字符串格式错误，这个也该需要改进的，，还没改进，程序还需要一个挂空线程的功能，保留现场 ...

这几天一直在研究新浪微博的爬虫，发现爬取微博的数据首先要登录。本来打算是通过账号和密码模拟浏览器登录。但是现在微博的登录机制比较复杂。通过账号密码还没有登录成功QAQ。所以就先记录下，通过cookie直接访问自己的微博主页。 微博登录的认证过程 微博登录的细节在其他的博客里已经有了详细的介绍 ...