最近这段时间，网页采集方面的工作做得比较多。用curl技术开发了一个微信文章聚合类产品，把抓取到的数据转换成json格式，并在android端调用json数据接口加以显示；基于weiphp做了一个掌上头条插件，也是用的网页采集技术；和一个创业团队一起在做一个高考志愿填报系统，所有的数据也是 ...

开篇：要想实现写爬虫，抓取到数据，首先我们应该分析客户端和服务器的请求/响应，前提就是我们能监控到客户端是如何与服务器交互的，下面来记录下常见的三种情况下的抓包方法 1.PC端浏览器网页抓包网页板抓包是最简单和常见的，比如Google/Firfox/IE等浏览器自带的开发者调试工具（F12 ...

一，设置Fiddler：打开Fiddler, Tools-> Fiddler Options (配置完后记得要重启Fiddler)选中"Decrpt HTTPS traffic", Fiddler就可以截获HTTPS请求 选中"Allow ...

快要结束这份工作，今晚复习一下工作中常见的内容，把遇到的失误记录一下。 内容：Fiddler抓取手机APP的包。 操作环境：Windows 10、IOS 前置条件，已经下载好HTTPS证书 1.注意手机的网络要与电脑的网络在同一个局域网中，注意电脑IP要与手机配置代理一样。（而不是IPV4 ...

1. Fiddler工作原理 Fiddler工作于OSI七层模型的应用层，Fiddler在浏览器和服务器之间建立了一个代理服务器，它可以捕获通过的http(s)请求。Fiddler启动后，会自动将代理服务器设置成本机，默认端口为8888。 Fiddler不仅能记录PC上浏览器的网络请求 ...

要使用Fiddler对手机进行抓包，需要对fiddler和手机分别进行设置 若想对手机进行限速测试，设置完fiddler和手机端后，参考另外一篇文件对fiddler进行网速设置的文章，完成设置，即可实现手机限速 1、对Fiddler进行设置 1）启动Fiddler->Tools-> ...

在做手机或移动端APP的接口测试时，需要从开发人员那里获取接口文档，接口文档应该包括完整的功能接口、接口请求方式、接口请求URL、接口请求参数、接口返回参数。如果当前项目没有接口文档，则可以使用fiddler对APP进行抓包确认。在手机上对APP进行操作，然后在Fiddler中可以抓取对应 ...

https协议（因为大部分的手机App使用的是https协议），具体步骤：点击菜单栏的"Tools"，选择 ...