原文:【趙強老師】在Spark SQL中讀取JSON文件

Spark SQL是Spark用來處理結構化數據的一個模塊,它提供了一個編程抽象叫做DataFrame並且作為分布式SQL查詢引擎的作用。為什么要學習Spark SQL 如果大家了解Hive的話,應該知道它是將Hive SQL轉換成MapReduce然后提交到集群上執行,大大簡化了編寫MapReduce的程序的復雜性,由於MapReduce這種計算模型執行效率比較慢。所以Spark SQL的應運 ...

2020-04-05 12:28 0 971 推薦指數:

查看詳情

老師】使用Weblogic的WLST工具

一、什么是Weblogic WLST? WebLogic 腳本工具 (WebLogic Scripting Tool , WLST) 是一種命令行腳本界面,系統管理員和操作員用它來監視和管理 W ...

Fri Jan 22 19:31:00 CST 2021 0 324
老師】Oracle RAC集群的概念

一、什么是Oracle RAC(Real Application Cluster)? Oracle RAC 是一個具有共享緩存架構的集群數據庫,它克服了傳統的無共享方法和共享磁盤方法的限制,為您 ...

Tue Apr 07 16:21:00 CST 2020 0 588
老師】Oracle存儲過程的out參數

一、什么是存儲過程 Oracle存儲過程可以說是一個記錄集吧,它是由一些PL/SQL語句組成的代碼塊,這些PL/SQL語句代碼像一個方法一樣實現一些功能(對單表或多表的增刪改查),然后再給這個代碼塊取一個名字,在用到這個功能的時候調用他就行了。 存儲過程的好處: 由於數據庫執行 ...

Sat Apr 18 19:00:00 CST 2020 0 1248
老師】在Hive中使用Load語句加載數據

一、Hiveload語句的語法說明 Hive Load語句不會在加載數據的時候做任何轉換工作,而是純粹的把數據文件復制/移動到Hive表對應的地址。語法格式如下: 幾點說明: 如果命令帶有LOCAL,說明從本地文件系統加載數據,文件路徑可以是相對路徑 ...

Fri May 22 19:40:00 CST 2020 0 992
老師】使用kubeadmin部署K8s集群

首先,我們來看一下整體的架構。 K8s的部署方式: yum方式部署 二進制包:手動使用tar包來部署 minikube:單機版,用於開發測試。 kubeadm:可以把k ...

Fri Apr 03 19:26:00 CST 2020 0 1844
老師】史上最詳細的PostgreSQL體系架構介紹

PostgreSQL是最像Oracle的開源數據庫,我們可以拿Oracle來比較學習它的體系結構,比較容易理解。PostgreSQL的主要結構如下: 一、存儲結構 PG數據存儲結構分為:邏輯存儲結構和物理存儲存儲。其中:邏輯存儲結構是內部的組織和管理數據的方式;物理存儲結構是操作系統 ...

Tue Sep 07 20:25:00 CST 2021 0 183
老師】大數據分析引擎:Presto

一、什么是Presto? 背景知識:Hive的缺點和Presto的背景 Hive使用MapReduce作為底層計算框架,是專為批處理設計的。但隨着數據越來越多,使用Hive進行一個簡單的數據查詢可能要花費幾分到幾小時,顯然不能滿足交互式查詢的需求。Presto是一個分布式SQL ...

Sat Apr 04 18:30:00 CST 2020 0 969
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM