Elasticsearch 的基本信息大致如圖所示，這里就不具體介紹了。 本次分享主要包含兩個方面的實戰經驗：索引性能和查詢性能。 一. 索引性能（Index Performance） 首先要考慮的是，索引性能是否有必要做優化？ 索引速度提高與否？主要是看瓶頸在什么地方 ...

億級規模的Elasticsearch優化實戰 Elasticsearch 的基本信息大致如圖所示，這里就不具體介紹了。 本次分享主要包含兩個方面的實戰經驗：索引性能和查詢性能。 一. 索引性能（Index Performance） 首先要考慮的是，索引性能 ...

前言 最近一年使用 Elasticsearch 完成億級別日志搜索平台「ELK」，億級別的分布式跟蹤系統。在設計這些系統的過程中，底層都是采用 Elasticsearch 來做數據的存儲，並且數據量都超過億級別，甚至達到百億級別。 所以趁着有空，就花點時間整理一下具體怎么做 ...

一、前言 數據平台已迭代三個版本，從頭開始遇到很多常見的難題，終於有片段時間整理一些已完善的文檔，在此分享以供所需朋友的 實現參考，少走些彎路，在此篇幅中偏重於ES的優化，關於HBase，Hadoop的設計優化估計有很多文章可以參考，不再贅述。 二、需求說明 項目背景： 在一業務系統中 ...

背景 最近工作中遇到了一個問題：如何對大規模題庫去重？公司經過多年的積累，有着近億道題目的題庫，但是由於題目來源不一導致題庫中有很多重復的題目，這些重復的題目在檢索時，除了增加搜索引擎的計算量外，並不會提高准確率。此外由於題目過多，搜索引擎往往采取了截斷策略，只對一部分題目進行計算，這導致 ...

　　數據優化，本質就是時間換空間或者空間換時間 　　時間換空間就是軟件層面的優化，其本質就是分開查詢，1個億的數據優化，可以按照日期來分數據， 假如說這是10天的數據量有1個億，那么按照天來分成10個文件夾，每個文件夾的名稱就是日期，這樣，先查到要找的數據是哪一天的，就能減少9千萬的數據 ...

前面已經寫了很多億級流量的文章, 中間講了各種處理思路, 這兒將這些思路與業務綜合起來, 情形一就是秒殺, 提到秒殺, 很多人都會覺得這是一件技術要求很高的事情, 因為這涉及到超大訪問量(可能瞬間千萬倍的用戶訪問商品)、維護數據一致性(不能超賣), 前者對性能有極高的要求, 而后者又正好拉低了性能 ...

目前的業務里面，有一個日志表，數據量達到了億級別，現在需要進行優化，首先要做的事情就才用加索引的方式，並不是所有的數據庫的字段都需要加索引，而是常用的搜索字段添加索引，但是要注意，如果數據量過大，索引依然會失效，此時可以考慮加上force idenx強制走索引的方式來解決不走索引的問題 ...