忽如一夜春風來，無人不談大數據。大數據就像前兩年的雲計算一樣，是一個時下被炒得很火的概念。那么什么是大數據，大數據是如何定義的，大數據處理技術有哪些，大數據能給我們帶來什么益處？雖然我不知道現在這些概念是如何被炒作的，但是作為一名互聯網行業的從業者，作為一個大數據技術的實踐者，根據自己的理解和經驗 ...

　　大數據關鍵技術淺談之大數據存儲及管理 　　 　　數據存儲作為大數據的核心環節之一，可以理解為方便對既定數據內容進行歸檔、整理和共享的過程。自磁盤系統問世以來，數據存儲已經走過了近百年的歷程。 　　 　　對於存儲，計算機就像我們的大腦一樣，兩者都可以擁有短期記憶和長期記憶，例如大腦 ...

數據作為大數據系統的核心，需要進行監控，合理的監控與報警策略不但可以幫助我們快速發現和定位故障，而且還可以智能化的預測可能發生的問題。我們可以根據業務的規則制定重點的監控指標，保證數據具備高質量。 在大數據的監控中，對數據質量進行監控是最為直接的。因為從數據使用者的角度來說 ...

互聯網內容載體變遷歷程，文字——圖片/聲音——視頻——VR/AR——……從直播1.0秀場時代（YY）、2.0游戲直播（斗魚、虎牙、熊貓）到如今全民直播3.0泛生活娛樂時代（映客、花椒），國外直播App（Meerkat 、Periscope），隨着 VA/AR/MR 提出的沉浸式視聽體驗，直播 ...

運營和業務發展提供更為有效的數據能力支撐，是虎牙大數據團隊（下面簡稱虎牙）過去和未來一直需要深入思考和 ...

大數據技術 大數據主要涉及到數據的采集、存儲、計算和分析、以及管理調度。 數據的采集 數據存儲 數據管理調度 數據計算和分析 大數據技術涉及：數據的采集、預處理、和分布式存儲、以及數據倉庫、機器學習、並行計算和可視化等方面。 對於大數據技術，應用廣泛 ...

一.大數據預處理技術 現實世界中的數據一般是不完整的、 帶有隨機性的、有噪聲的或不唯一、不一致的“臟數據”，數據質量不高，無法直接進行數據挖掘，或者挖掘的效果差強人意。為了以后的處理更加方便以及模型具有更好的效果，往往在使用模型之前需要對數據進行預處理，就產生了數據預處理技術。 數據 ...

目錄 數據源 Filebeat Kafka Flink ES Kibana 參考 最近在做企業安全建設，企業安全建設中最常見的一項就是做監控，監控的種類多種多樣，但是底層的技術棧卻基本是一致的————大數據技術，下面我記錄一下我最近學習 ...