概述 現在爬蟲技術算是一個普遍的技術了，各個語言的爬蟲百家爭鳴，但是根據筆者自己的感覺還是python是主流。爬蟲涉及到太多的東西，筆者並不是專業的爬蟲工程師，只不過個人興趣分享一下。由於筆者是php工作，所以就使用php來進行簡單爬蟲。不過我的方法應該是很通用的，我相信java，C#等肯定 ...

python爬蟲采集 最近有個項目需要采集一些網站網頁，以前都是用php來做，但現在十分流行用python做采集，研究了一些做一下記錄。 采集數據的根本是要獲取一個網頁的內容，再根據內容篩選出需要的數據， python的好處是速度快，支持多線程，高並發，可以用來大量采集數據，缺點就是和php ...

使用數據庫建立關鍵字段（一個或者多個）建立索引進行去重 根據url地址進行去重 使用場景：url地址對應的數據不會變的情況，url地址能夠唯一判別一條數據的情況 思路： 　　url存在Redis中 　　拿到url地址，判斷url在Redis的集合中是否存在 　　　　存在：說明url地址 ...

1） 使用scrapy自帶的set集合去重，當程序結束的時候會被清空，缺點：再次運行會導致數據重復。 2） 使用mysql做去重，對url地址進行md5，base64加密，加密之后會得到一串字符，判斷字符串 是否在mysql表中，如果在表示已經爬取過了，如果不在，表示沒有爬取，執行 ...

（我自己寫了一個沒有太多優化，占用內存大概是hash存儲的1/4甚至更小）。---------------- ...

一、如何采集拼多多店鋪數據呢？ 拼多多如今已經成為繼淘寶、京東之后的第三大電商平台，最近兩年也是火的不行，很多的客戶需求會提到拼多多這個電商平台，首先要知道拼多多大部分商品都是在手機端的，PC電腦端展示的商品數據很少，我們采集一個店鋪的 數據，首先找到這個店鋪的ID! 1.例如我 ...

　　關於sql去重，我簡單談一下自己的簡介，如果各位有建議或有不明白的歡迎多多指出。推薦網址：www.4-yecao.com 　　關於sql去重最常見的有兩種方式：DISTINCT和ROW_NUMBER()，當然了ROW_NUMBER()除了去重還有很多其他比較重要的功能，一會我給大家簡單 ...

本文由博主原創,轉載請注明出處 知乎爬蟲系列文章： 知乎爬蟲之1:開篇序言 知乎爬蟲之2:爬蟲流程設計 知乎爬蟲之3:請求分析 知乎爬蟲之4:抓取頁面數據 知乎爬蟲之5:爬蟲優化 github爬蟲項目（源碼）地址(已完成，關注和star在哪~):https ...