大數據時代這個詞被提出已有10年了吧，越來越多的企業已經完成了大數據平台的搭建。隨着移動互聯網和物聯網的爆發，大數據價值在越來越多的場景中被挖掘，隨着大家都在使用歐冠大數據，大數據平台的搭建門檻也越來越低。借助開源的力量，任何有基礎研發能力的組織完全可以搭建自己的大數據平台。但是對於沒有了解 ...

本人29歲，從學大數據到現在有5年的時間，我談一下我的經驗分享 我自己的經歷：剛開始大數據是看書，一頁頁的看書，因為身邊有一個好的資源，有問題可以問我朋友，后來發現看大數據的零基礎書籍很難看下去，很多專業的東西對於一個新手根本就看不懂，沒有什么效率。（在這里我個人建議，初學不要看書，我的建議是學 ...

在數據治理中，數據探索服務的價值在初期往往是被忽視的，但是隨着業務的增加，分析人員的增加，數據探索服務的價值就會越來越大。 一個成功的數據管理平台，不僅僅要提供各種數據分析的工具，提供各種各樣的數據源，更要提供數據探索的能力。 為什么數據探索服務很重要？ 想象一下，作為一名數據科學家 ...

搭建大數據hadoop環境，遇到很多問題，這里記錄一部分，以備以后查看。 【遇到問題】、在安裝配置完hadoop以后，需要格式化namenode,輸入指令：hadoop namenode -format，報錯誤信息：hadoop： command not found 網上 ...

原文地址：http://www.sohu.com/a/66109558_116235 數據清洗， 是整個數據分析過程中不可缺少的一個環節，其結果質量直接關系到模型效果和最終結論。在實際操作中，數據清洗通常會占據分析過程的50%—80%的時間。國外有些學術機構會專門研究如何做數據清洗，相關 ...

　　一、概念 　　Hadoop是由java語言編寫的，在分布式服務器集群上存儲海量數據並運行分布式分析應用的開源框架，其核心部件是HDFS與MapReduce。HDFS是一個分布式文件系統，類似mogilefs，但又不同於mogilefs，hdfs由存放文件元數據信息的namenode和存放數據 ...

做任何事情都要有目標，然后根據這個目標根據自身的條件和外部的情況制定一個思路，這個思路也可以理解為實現目標的路徑。那么大數據的平台搭建也不例外。 腳本工具化 沒有一個統一的解決方案，針對一些基礎通用的功能也沒有做抽象和提取，導致腳本維護的成本增加，后期服用的成本也會增高，有重復造輪子的嫌疑 ...

目前大數據平台經常會用來跑一些批任務，跑批處理當然就離不開定時任務。比如定時抽取業務數據庫的數據，定時跑hive/spark任務，定時推送日報、月報指標數據。任務調度系統已經儼然成為了大數據處理平台不可或缺的一部分。 一、原始任務調度 記得第一次參與大數據平台從無到有的搭建，最 ...