【趙強老師】使用Weblogic的WLST工具
一、什么是Weblogic WLST？ WebLogic 腳本工具 (WebLogic Scripting Tool , WLST) 是一種命令行腳本界面，系統管理員和操作員用它來監視和管理 W ...
原文：【趙強老師】在Hive中使用Load語句加載數據
一 Hive中load語句的語法說明 Hive Load語句不會在加載數據的時候做任何轉換工作，而是純粹的把數據文件復制 移動到Hive表對應的地址。語法格式如下： 幾點說明： 如果命令中帶有LOCAL，說明從本地文件系統加載數據，文件路徑可以是相對路徑，也可以是絕對路徑。在這種情況下，首先將文件從本地復制到hdfs相應的位置，然后移動到hive表格中，這個時候原始數據文件是存在於Hive表之下 ...
2020-05-22 11:40 0 992 推薦指數：
相關推薦
【趙強老師】使用kubeadmin部署K8s集群
首先，我們來看一下整體的架構。 K8s的部署方式： yum方式部署 二進制包：手動使用tar包來部署 minikube：單機版，用於開發測試。 kubeadm：可以把kubeadmin看成一個部署工具，它簡化K8s的部署過程。 （一）准備工作 安裝 ...
【趙強老師】Oracle RAC集群的概念
一、什么是Oracle RAC（Real Application Cluster）？ Oracle RAC 是一個具有共享緩存架構的集群數據庫，它克服了傳統的無共享方法和共享磁盤方法的限制，為您的所有業務應用提供了一種具有高度可擴展性和可用性的數據庫解決方案。Oracle RAC ...
【趙強老師】大數據分析引擎：Presto
一、什么是Presto？ 背景知識：Hive的缺點和Presto的背景 Hive使用MapReduce作為底層計算框架，是專為批處理設計的。但隨着數據越來越多，使用Hive進行一個簡單的數據查詢可能要花費幾分到幾小時，顯然不能滿足交互式查詢的需求。Presto是一個分布式SQL ...
【趙渝強老師】利用Python完成數據分布特征的分析
在對數據的質量進行分析后，接下來就可以對數據的特征進行分析和計算，也可以通過繪制圖表對數據的特征進行展示。數據的特征分析通過有以下幾種方式：分布分析、對比分析、統計量分析、周期性分析、貢獻度分析（帕累托分析）、相關性分析、正態性檢驗。 分布分析能揭示數據的分布特征和分布類型 ...
【趙強老師】Flink的Watermark機制（基於Flink 1.11.0實現）
在使用eventTime的時候如何處理亂序數據？我們知道，流處理從事件產生，到流經source，再到operator，中間是有一個過程和時間的。雖然大部分情況下，流到operator的數據都是按照事件產生的時間順序來的，但是也不排除由於網絡延遲等原因，導致亂序的產生，特別是使用kafka的話 ...
【趙強老師】在Spark SQL中讀取JSON文件
Spark SQL是Spark用來處理結構化數據的一個模塊，它提供了一個編程抽象叫做DataFrame並且作為分布式SQL查詢引擎的作用。為什么要學習Spark SQL？如果大家了解Hive的話，應該知道它是將Hive SQL轉換成MapReduce然后提交到集群上執行，大大簡化 ...
【趙強老師】史上最詳細的PostgreSQL體系架構介紹
PostgreSQL是最像Oracle的開源數據庫，我們可以拿Oracle來比較學習它的體系結構，比較容易理解。PostgreSQL的主要結構如下： 一、存儲結構 PG數據存儲結構分為：邏輯存儲結構和物理存儲存儲。其中：邏輯存儲結構是內部的組織和管理數據的方式；物理存儲結構是操作系統中 ...