概述 现在爬虫技术算是一个普遍的技术了，各个语言的爬虫百家争鸣，但是根据笔者自己的感觉还是python是主流。爬虫涉及到太多的东西，笔者并不是专业的爬虫工程师，只不过个人兴趣分享一下。由于笔者是php工作，所以就使用php来进行简单爬虫。不过我的方法应该是很通用的，我相信java，C#等肯定 ...

python爬虫采集 最近有个项目需要采集一些网站网页，以前都是用php来做，但现在十分流行用python做采集，研究了一些做一下记录。 采集数据的根本是要获取一个网页的内容，再根据内容筛选出需要的数据， python的好处是速度快，支持多线程，高并发，可以用来大量采集数据，缺点就是和php ...

使用数据库建立关键字段（一个或者多个）建立索引进行去重 根据url地址进行去重 使用场景：url地址对应的数据不会变的情况，url地址能够唯一判别一条数据的情况 思路： 　　url存在Redis中 　　拿到url地址，判断url在Redis的集合中是否存在 　　　　存在：说明url地址 ...

1） 使用scrapy自带的set集合去重，当程序结束的时候会被清空，缺点：再次运行会导致数据重复。 2） 使用mysql做去重，对url地址进行md5，base64加密，加密之后会得到一串字符，判断字符串 是否在mysql表中，如果在表示已经爬取过了，如果不在，表示没有爬取，执行 ...

（我自己写了一个没有太多优化，占用内存大概是hash存储的1/4甚至更小）。---------------- ...

一、如何采集拼多多店铺数据呢？ 拼多多如今已经成为继淘宝、京东之后的第三大电商平台，最近两年也是火的不行，很多的客户需求会提到拼多多这个电商平台，首先要知道拼多多大部分商品都是在手机端的，PC电脑端展示的商品数据很少，我们采集一个店铺的 数据，首先找到这个店铺的ID! 1.例如我 ...

　　关于sql去重，我简单谈一下自己的简介，如果各位有建议或有不明白的欢迎多多指出。推荐网址：www.4-yecao.com 　　关于sql去重最常见的有两种方式：DISTINCT和ROW_NUMBER()，当然了ROW_NUMBER()除了去重还有很多其他比较重要的功能，一会我给大家简单 ...

本文由博主原创,转载请注明出处 知乎爬虫系列文章： 知乎爬虫之1:开篇序言 知乎爬虫之2:爬虫流程设计 知乎爬虫之3:请求分析 知乎爬虫之4:抓取页面数据 知乎爬虫之5:爬虫优化 github爬虫项目（源码）地址(已完成，关注和star在哪~):https ...