一、前言 数据平台已迭代三个版本，从头开始遇到很多常见的难题，终于有片段时间整理一些已完善的文档，在此分享以供所需朋友的 实现参考，少走些弯路，在此篇幅中偏重于ES的优化，关于HBase，Hadoop的设计优化估计有很多文章可以参考，不再赘述。 二、需求说明 项目背景： 在一业务系统中 ...

嘿嘿，今天是周二啦，昨天开始初步学习啦数据库，那么今天我们就是详细的学习啦数据库的检索啦，或许今天学习的比较多，但是我感觉还是可以的啦，最重要的是我可以接受的啦，这个是最值得庆幸的啦，现在每天学习完在这里总结成为了我的习惯，在总结中我会有更多新的发现，或许就像今天一位友 ...

最近在做大数据处理时，遇到两个大表 join 导致数据处理太慢（甚至算不出来）的问题。我们的数仓基于阿里的 ODPS，它与 Hive 类似，所以这篇文章也适用于使用 Hive 优化。处理优化问题，一般是先指定一些常用的优化参数，但是当设置参数仍然不奏效的时候，我们就要结合具体的业务，在 SQL ...

SELECT 用于数据的选择 语法： DISTINCT 当某些列包含重复值的时候，DISTINCT用于过滤掉重复值，使重复值只显示一次。 语法： WHERE 对选取的数据进行约束 语法： 运算符： AND & OR 运算符 AND 和 OR 运算符用于 ...

如果一张表上没有聚集索引，数据将会随机的顺序存放在表里。以dbo.SalesOrderDetail_TEST为例子。它的上面没有聚集索引，只有一个在SalesOrderID上的非聚集索引。所以表格的每一行记录，不会按照任何顺序，而是随意地存放在Hash里。这个时候如果用户想要找所有单价大于200 ...

当业务规模达到一定规模之后，像淘宝日订单量在5000万单以上，美团3000万单以上。数据库面对海量的数据压力，分库分表就是必须进行的操作了。而分库分表之后一些常规的查询可能都会产生问题，最常见的就是比如分页查询的问题。一般我们把分表的字段称作shardingkey，比如订单表按照用户ID ...

集群的结构，大家可以查看我的另一遍文章，Mongodb的三种集群 在最后一种集群中，介绍到。 目前使用的数据就是最后一个测试集群，留下的数据。 简单介绍一下，四个分片的配置 mongos和conf服务器的配置也是差不多，就不贴出来了，不是很重要。 很遗憾的是，片健当初 ...

量上去（最大的单表行数达到百亿级）之后，出现了一些数据量比较大的partition。单partition ...