一、前言 數據平台已迭代三個版本，從頭開始遇到很多常見的難題，終於有片段時間整理一些已完善的文檔，在此分享以供所需朋友的 實現參考，少走些彎路，在此篇幅中偏重於ES的優化，關於HBase，Hadoop的設計優化估計有很多文章可以參考，不再贅述。 二、需求說明 項目背景： 在一業務系統中 ...

嘿嘿，今天是周二啦，昨天開始初步學習啦數據庫，那么今天我們就是詳細的學習啦數據庫的檢索啦，或許今天學習的比較多，但是我感覺還是可以的啦，最重要的是我可以接受的啦，這個是最值得慶幸的啦，現在每天學習完在這里總結成為了我的習慣，在總結中我會有更多新的發現，或許就像今天一位友 ...

最近在做大數據處理時，遇到兩個大表 join 導致數據處理太慢（甚至算不出來）的問題。我們的數倉基於阿里的 ODPS，它與 Hive 類似，所以這篇文章也適用於使用 Hive 優化。處理優化問題，一般是先指定一些常用的優化參數，但是當設置參數仍然不奏效的時候，我們就要結合具體的業務，在 SQL ...

SELECT 用於數據的選擇 語法： DISTINCT 當某些列包含重復值的時候，DISTINCT用於過濾掉重復值，使重復值只顯示一次。 語法： WHERE 對選取的數據進行約束 語法： 運算符： AND & OR 運算符 AND 和 OR 運算符用於 ...

如果一張表上沒有聚集索引，數據將會隨機的順序存放在表里。以dbo.SalesOrderDetail_TEST為例子。它的上面沒有聚集索引，只有一個在SalesOrderID上的非聚集索引。所以表格的每一行記錄，不會按照任何順序，而是隨意地存放在Hash里。這個時候如果用戶想要找所有單價大於200 ...

當業務規模達到一定規模之后，像淘寶日訂單量在5000萬單以上，美團3000萬單以上。數據庫面對海量的數據壓力，分庫分表就是必須進行的操作了。而分庫分表之后一些常規的查詢可能都會產生問題，最常見的就是比如分頁查詢的問題。一般我們把分表的字段稱作shardingkey，比如訂單表按照用戶ID ...

集群的結構，大家可以查看我的另一遍文章，Mongodb的三種集群 在最后一種集群中，介紹到。 目前使用的數據就是最后一個測試集群，留下的數據。 簡單介紹一下，四個分片的配置 mongos和conf服務器的配置也是差不多，就不貼出來了，不是很重要。 很遺憾的是，片健當初 ...

量上去（最大的單表行數達到百億級）之后，出現了一些數據量比較大的partition。單partition ...