一、系統架構 runtime framework v.s. mpp 在SQL on Hadoop系統中，有兩種架構： 1、一種是基於某個運行時框架來構建查詢引擎，典型案例是Hive； 2、另一種是仿照過去關系數據庫的MPP架構，就是參考過去的MPP數據庫架構打造一個專門的系統，於是就 ...

Hadoop 3.0 EC技術 EC的設計目標 Hadoop默認的3副本方案需要額外的200%的存儲空間、和網絡IO開銷 而一些較低I/O的warn和cold數據，副本數據的訪問是比較少的（hot數據副本會被用於計算） EC可以提供同級別的容錯能力，存儲空間要少得多（官方宣傳 ...

歡迎大家前往騰訊雲技術社區，獲取更多騰訊海量技術實踐干貨哦~ 作者：溫球良 導語 最近分享過一次關於Hadoop技術主題的演講，由於接觸時間不長，很多技術細節認識不夠，也沒講清楚，作為一個技術人員，本着追根溯源的精神，還是有必要吃透，也為自己的工作沉淀一些經驗總結。網上 ...

YARN對內存資源和CPU資源采用了不同的資源隔離方案。對於內存資源，它是一種限制性資源，它的量的大小直接決定應用程序的死活，因為應用程序到達內存限制，會發生OOM，就會被殺死。CPU資源一般用Cgr ...

轉了雲方向，代碼都少寫了 1. 為什么出現Docker 以前開發項目有開發的環境、測試的環境、還有生產的環境，每經過一階段就要遷移項目。不同的環境有不同的配置，可能導致不可預估的 ...

一、最最最基礎操作 二、簡單的時空穿梭 1. 文件修改后，查看狀態 修改 readme.md 文件，查看狀態 git status 命令告知，已經對文件修改但仍未提交暫存區，下一步運用 ...

1 Git介紹 2 Git 和SVN **Git:分布式,無網絡時也可以提交到本地版本庫,待到有網絡時再push到服務器. ** svn:非分布式.無網絡不可以提交 3 Git,G ...

Compression and Input Splits 當我們使用壓縮數據作為MapReduce的輸入時，需要確認數據的壓縮格式是否支持切片？ 假 ...