MongoDB的destinct命令是获取特定字段中不同值列表。该命令适用于普通字段，数组字段和数组内嵌文档. mongodb的distinct的语句： db.users.distinct('last_name'） 等同于 SQL 语句： select DISTINCT ...

　　最近写爬虫的时候遇到了一个问题，爬一个专利网站，主要工作流是先把列表页下所有的专利包括专利号、专利名称、URL放到数据库的一个文档info中，再抽取info中的URL进行爬取详情页，爬取列表页的信息做了一个去重，爬一个就在数据库里查一个。。效率就不提了（另一种我能想到的方法是先用线程池爬取一遍 ...

查询： 删除： ...

接上一篇的，发现爬斗鱼主播信息存入Mongodb数据库后，发现很多重复的数据，毕竟斗鱼不可能有这么多的主播，所以很多页是有重复的主播房间的。 查了一下怎么去重，发现比较麻烦，与其存入重复的数据后面再去重，还不如在存入数据库的时候就检查，不去存入重复的数据，这样就避免了后期再去做去重工作。于是改动 ...

需求： 查询一张表，根据某字段去重后返回指定信息，支持分页，排序。 逻辑： 1，match查询符合条件的数据 2，利用分组进行去重 3，返回全部字段信息 4，排序 5，分页 mongodb原生语句实现 方法1 返回指定字段 db.getCollection('表名 ...

前因 项目中有查询MongoDB单表统计相关功能，涉及到MongoDB数据聚合相关操作，其中在多字段分组去重计数相关操作API上资料较少，spring-data-mongodb相关的API介绍也不够直给 需求 查询XX的ID下所有任务的数量 查询XX的ID下每个用户对应的任务 ...

一、什么是MongoDB? 二、MongoDB数据类型 三、mongodb-driver使用 四、MongoDB与MySQL的区别 一、什么是MongoDB? MongoDB是一个基于分布式文件存储的数据库。由C++语言编写。旨在为WEB应用提供可扩展的高性能数据存储 ...

MongoDB 是一款开源的面向文档的数据库（document database）， NoSQL 中一种，同样使用文档存储实现 NoSQL 的 DB 还有 MarkLogic、OrientDB、CouchDB 等等。 安装 Mac 用户可以直接使用 Homebrew 安装，命令 ...