QTP入門——玩玩小飛機
1.什么是QTP？ 百度百科中對QTP是這么介紹的： ——”QTP是QuickTest Professional的簡稱，是一種自動化測試工具。使用QTP的目的是想用它來執行重復的自動化測試，主要是 ...
原文：玩玩小爬蟲——入門
前段時間做一個產品，盈利方式也就是賣數據給用戶，用wpf包裝一下，當然數據提供方是由公司定向爬蟲采集的，雖然在實際工作 中沒有接觸這一塊，不過私下可以玩一玩，研究研究。 既然要抓取網頁的內容，肯定我們會有一個startUrl，通過這個startUrl就可以用廣度優先的方式遍歷整個站點，就如我們學習數據結 構中圖的遍歷一樣。 既然有 請求網頁 和 解析網頁 兩部分，在代碼實現上，我們得需要有兩個集 ...
2012-11-02 22:44 20 11459 推薦指數：
相關推薦
玩玩小爬蟲——試搭小架構
第一篇我們做了一個簡單的頁面廣度優先來抓取url，很顯然缺點有很多，第一：數據結構都是基於內存的，第二：單線程抓取 速度太慢，在實際開發中肯定不會這么做的，起碼得要有序列化到硬盤的機制，對於整個爬蟲架構來說，構建好爬蟲隊列相當重要。 先上一幅我自己構思的架構圖 ...
玩玩小爬蟲——抓取動態頁面
在ajax橫行的年代，很多網頁的內容都是動態加載的，而我們的小爬蟲抓取的僅僅是web服務器返回給我們的html，這其中就 跳過了js加載的部分，也就是說爬蟲抓取的網頁是殘缺的，不完整的，下面可以看下博客園首頁 從首頁加載中我們看到，在頁面呈現后，還會有5個ajax異步 ...
玩玩小爬蟲——抓取時的幾個小細節
這一篇我們聊聊在頁面抓取時應該注意到的幾個問題。 一：網頁更新 我們知道，一般網頁中的信息是不斷翻新的，這也要求我們定期的去抓這些新信息，但是這個“定期”該怎么理解，也就是多 ...
爬蟲入門實戰，知乎小爬蟲
相比於爬蟲框架，知乎小爬蟲，更加適合初學者，尤其是想要了解爬蟲技術細節、實現自己編寫爬蟲需求的初學者。 1. 談爬蟲工程師的價值 大數據時代已到，數據越來越具有價值了，沒有數據寸步難行，有了數據好好利用，可以在諸多領域干很多事，比如很火的互聯網金融。從互聯網上爬來自己想要的數據 ...
放養的小爬蟲--豆瓣電影入門級爬蟲(mongodb使用教程~)
放養的小爬蟲--豆瓣電影入門級爬蟲(mongodb使用教程~) 筆者聲明：只用於學習交流,不用於其他途徑。源代碼已上傳github。githu地址：https://github.com/Erma-Wang/Spider 筆者聲明：只用於學習交流,不用於其他途徑。源代碼已上傳github ...
爬蟲入門
一 介紹 官網鏈接：http://docs.python-requests.org/en/master/ 二 基於 ...
玩玩小程序：使用 WebApi 交互打造原生的微信小程序 - 圖靈小書架
使用 WebApi 交互打造原生的微信小程序 - 圖靈小書架 目錄 介紹 源碼地址 掃一掃體驗 代碼分析 其它相關信息（互聯網搜集） 介紹 定時抓取圖靈社區官網的首頁、最熱、推薦和最新等欄目的相關圖書信息進行展示，並且可以下載相關的 PDF 進行 ...