進行管理，利用大數據和機器學習能力去挖掘、識別、利用數據資產。如果缺乏有效的數據整體架構設計或者部分能 ...

第28講：Hadoop 平台常見故障匯總以及操作系統性能調優 高俊峰（南非螞蟻） Hadoop 日常運維問題及其解決方法 1.如何下線一個 datanode 節點? 當一個 datanode 節點所在的服務器故障或者將要退役時，你需要 ...

一,操作命令 　　01,啟動gpstart 　　　　參數說明 View Code 　　　 　　　　操作實例 　　　　執行過程 ...

一、總體設計 初來公司時，公司還沒有大數據，我是作為大數據架構師招入的，結合公司的線上和線下業務，制定了如下的大數據架構路線圖。 二、大數據任務開發和調度平台架構設計 在設計完總體架構后，並且搭建完hadoop/yarn的大數據底層計算平台后， 按照總體架構設計思路， 首先需要構建 ...

前言 不進行優化的代碼就是耍流氓。 總體來說大數據優化主要分為三點，一是充分利用CPU，二是節省內存，三是減少網絡傳輸。 一、Hive/MapReduce調優 1.1 本地模式 Hive默認采用集群模式進行計算，如果對於小數據量，可以設置為單台機器進行計算，這樣可以大大縮減 ...

大數據開發獨攬大權 大數據技術很早就在BAT這些公司生根發芽，但直到14、15年大數據技術才廣泛應用在各大互聯網公司，大數據技術由此深入各行各業。 此時大數據開發人才非常緊缺，很多公司大數據從立項，到大數據平台構建，到項目整個流程開發，到后期大數據項目的運維，都是由大數據開發人員一手完成 ...

Hbase是三維有序存儲的，通過rowkey（行鍵），column key（column family和qualifier）和TimeStamp（時間戳）這個三個維度可以對HBase中的數據進行快速定位。 HBase中rowkey可以唯一標識一行記錄，在HBase查詢的時候，有以下幾種方式 ...

發展形勢 當前全球信息化發展面臨的環境、條件和內涵正發生深刻變化。從國際看，世界經濟在深度調整中曲折復蘇、增長乏力，全球貿易持續低迷，勞動人口數量增長放緩，資源環境約束日益趨緊，局 ...