今天弄一个爬数据网站的弄了半天,到现在才弄好,模拟浏览器登录后进行操作 前提是没有验证码 ,网上找的资料都是好老的,基本没有什么帮助,还得靠自己找。 用火狐firebug工具在输入密码和用户名打开网络监听 如果登录后做js 跳转不太好看,就禁用js firebug 里面参数一项有多少个参数就写多少个参数 具体代码如下: import java.io.BufferedReader import j ...
2012-04-17 16:40 1 5110 推荐指数:
首先12306网站前缀为“https://” 表明是用SSL加密。 用HttpClient去模拟发送请求时,对于URL用为“https”时,先要解决证书问题,有两种解决方案: a.使证书被信任。 在查找相关资料时,对于这种方法有点麻烦,最后就没有去尝试,有兴趣的朋友 ...
package Step1; import org.apache.commons.httpclient.Cookie; import org.apache.commons.httpclient.HttpClient; import ...
最近在做Android版的博客园客户端,在考虑添加入登录功能,以实现获取更多的信息。 现在测试使用HttpClient进行模拟登陆。 登录页面:http://passport.cnblogs.com/login.aspx 登录结果页面:http://home.cnblogs.com ...
最近需要实现一个功能,批量删除索引中的doc,约有100W+条,想到了使用httpclient的方式,实现 curl来操作索引。 实现方式很简单,就是一般发送post请求,比较坑的是,一定要注意,参数后面要加换行\n,否则会报: HTTP/1.1 400 Bad Request ...
使用HttpClient来模拟浏览器登录网站,然后可以进行操作,比如发布信息等 第一步:获取实际的post网址,(不考虑复杂情况下) 1、需要使用到firefox的httpfox插件,httpfox中clear一下,然后start开始捕获 2、切换回网页的登录页面 ...
1、概述 最近想做一个校园助手类的APP,由于第一次做,所以打算先把每个功能单独实现,防止乱了阵脚。利用教务处登录获取课表和成绩等是一个基本功能,所以以获取课表为例实现了这个功能。完整代码点这里,尝试了好几次的,所以写的比较乱。 2、涉及的关键知识 首先,明确获取课表的流程 ...
手机版微博单点登录的URL为:http://3g.sina.com.cn/prog/wapsite/sso/login.php 我们先来看一下这个网页源代码: 我们要做的就是获取服务器需要的数据,然后用HttpClient模拟浏览器提交。 有几点需要说明一下: go标签 ...