技術人更應該學會即興表達
最近特別忙，忙里偷閑還是抽空把網易雲課堂大白老師的《即興講話，也能套公式》快速的學習了一遍，收獲很大。 作為一名程序員，為啥要去學習這種教我們怎么講話的課呢？就做一名安靜的美男子好好敲代碼難道不 ...
原文：大數據平台是否更應該容器化?
大數據的發展歷史 大數據技術起源於Google在 年前后發表的三篇論文，分布式文件系統GFS 分布式計算框架MapReduce和NoSQL數據庫系統BigTable，熟稱 三駕馬車 。在論文發表后，Lucene開源項目的創始人Doug Cutting根據論文原理初步實現了類似GFS和MapReduce的功能。並在 年，將該部分功能設置成獨立的項目即大名鼎鼎的Hadoop項目。Hadoop項目中主要 ...
2020-08-26 17:56 0 1320 推薦指數：
相關推薦
Vue3和Mobx5都使用Proxy了，你更應該了解Proxy
vue3.0的pre-alpha版代碼已經開源了，就像作者之前放出的消息一樣，其數據響應這一部分已經由ES6的Proxy來代替Object.defineProperty實現，感興趣的同學可以看其實現源碼，同樣Mobx5也使用Proxy來實現數據響應式。vue和mobx都開始使用Proxy來實現數據 ...
好用的大數據平台有哪些？
目前大數據平台有很多，這就需要我們可以對大數據平台進行分類，這就可以從大數據處理的過程、大數據處理的數據類型、大數據處理的方式以及平台對數據的部署方式這幾方面進行。 首先我們從大數據處理的方式來划分，這樣我們就能夠把大數據平台分為批量處理、實時處理、綜合處理。其中批量數據是對成批數據進行 ...
如何從0到1搭建大數據平台
大數據時代這個詞被提出已有10年了吧，越來越多的企業已經完成了大數據平台的搭建。隨着移動互聯網和物聯網的爆發，大數據價值在越來越多的場景中被挖掘，隨着大家都在使用歐冠大數據，大數據平台的搭建門檻也越來越低。借助開源的力量，任何有基礎研發能力的組織完全可以搭建自己的大數據平台。但是對於沒有了解 ...
Hadoop與大數據平台
一、概念 Hadoop誕生於2006年，一個分布式系統基礎架構，由Apache基金會開發。Hadoop的主要目標是對分布式環境下的“大數據”以一種可靠、高效、可伸縮的方式處理。 Hadoop框架透明地為應用提供可靠性和數據移動。它實現了名為MapReduce的編程范式：應用程序被分割成許多 ...
大數據平台集群
基本組件： Zookeeper： 分布式協作框架 節點數目： 測試集群：3個 生產集群：(7個差不多) 小型集群：3個或者5個 中型集群：5個或者7個 大型集群：更多，奇數個 HDFS： 存儲海量數據 YARN： 集群 ...
大數據治理——搭建大數據探索平台
在數據治理中，數據探索服務的價值在初期往往是被忽視的，但是隨着業務的增加，分析人員的增加，數據探索服務的價值就會越來越大。 一個成功的數據管理平台，不僅僅要提供各種數據分析的工具，提供各種各樣的數據源，更要提供數據探索的能力。 為什么數據探索服務很重要？ 想象一下，作為一名數據科學家 ...
大數據平台的數據采集
大數據平台的數據采集 數據采集的設計，幾乎完全取決於數據源的特性，畢竟數據源是整個大數據平台蓄水的上游，數據采集不過是獲取水源的管道罷了。 在數據倉庫的語境下，ETL基本上就是數據采集的代表，包括數據的提取（Extract)、轉換(Transform)和加載(Load)。在轉換的過程中 ...