QTP入门——玩玩小飞机
1.什么是QTP？ 百度百科中对QTP是这么介绍的： ——”QTP是QuickTest Professional的简称，是一种自动化测试工具。使用QTP的目的是想用它来执行重复的自动化测试，主要是 ...
原文：玩玩小爬虫——入门
前段时间做一个产品，盈利方式也就是卖数据给用户，用wpf包装一下，当然数据提供方是由公司定向爬虫采集的，虽然在实际工作 中没有接触这一块，不过私下可以玩一玩，研究研究。 既然要抓取网页的内容，肯定我们会有一个startUrl，通过这个startUrl就可以用广度优先的方式遍历整个站点，就如我们学习数据结 构中图的遍历一样。 既然有 请求网页 和 解析网页 两部分，在代码实现上，我们得需要有两个集 ...
2012-11-02 22:44 20 11459 推荐指数：
相关推荐
玩玩小爬虫——试搭小架构
第一篇我们做了一个简单的页面广度优先来抓取url，很显然缺点有很多，第一：数据结构都是基于内存的，第二：单线程抓取 速度太慢，在实际开发中肯定不会这么做的，起码得要有序列化到硬盘的机制，对于整个爬虫架构来说，构建好爬虫队列相当重要。 先上一幅我自己构思的架构图 ...
玩玩小爬虫——抓取动态页面
在ajax横行的年代，很多网页的内容都是动态加载的，而我们的小爬虫抓取的仅仅是web服务器返回给我们的html，这其中就 跳过了js加载的部分，也就是说爬虫抓取的网页是残缺的，不完整的，下面可以看下博客园首页 从首页加载中我们看到，在页面呈现后，还会有5个ajax异步 ...
玩玩小爬虫——抓取时的几个小细节
这一篇我们聊聊在页面抓取时应该注意到的几个问题。 一：网页更新 我们知道，一般网页中的信息是不断翻新的，这也要求我们定期的去抓这些新信息，但是这个“定期”该怎么理解，也就是多 ...
爬虫入门实战，知乎小爬虫
相比于爬虫框架，知乎小爬虫，更加适合初学者，尤其是想要了解爬虫技术细节、实现自己编写爬虫需求的初学者。 1. 谈爬虫工程师的价值 大数据时代已到，数据越来越具有价值了，没有数据寸步难行，有了数据好好利用，可以在诸多领域干很多事，比如很火的互联网金融。从互联网上爬来自己想要的数据 ...
放养的小爬虫--豆瓣电影入门级爬虫(mongodb使用教程~)
放养的小爬虫--豆瓣电影入门级爬虫(mongodb使用教程~) 笔者声明：只用于学习交流,不用于其他途径。源代码已上传github。githu地址：https://github.com/Erma-Wang/Spider 笔者声明：只用于学习交流,不用于其他途径。源代码已上传github ...
爬虫入门
一 介绍 官网链接：http://docs.python-requests.org/en/master/ 二 基于 ...
玩玩小程序：使用 WebApi 交互打造原生的微信小程序 - 图灵小书架
使用 WebApi 交互打造原生的微信小程序 - 图灵小书架 目录 介绍 源码地址 扫一扫体验 代码分析 其它相关信息（互联网搜集） 介绍 定时抓取图灵社区官网的首页、最热、推荐和最新等栏目的相关图书信息进行展示，并且可以下载相关的 PDF 进行 ...