Spark學習之路 （二十）SparkSQL的元數據
SparkSQL去構建數據倉庫的時候，必須依賴於Hive。 二、Spark-SQL腳本 如果用戶直接運行bin ...
相關推薦
Kubernetes學習之路（二十一）之網絡模型和網絡策略
目錄 Kubernetes的網絡模型和網絡策略 1、Kubernetes網絡模型和CNI插件 1.1、Docker網絡模型 1.2、Kubernet ...
Hive學習之路 （二十一）Hive 優化策略
一、Hadoop 框架計算特性 1、數據量大不是問題，數據傾斜是個問題 2、jobs 數比較多的作業運行效率相對比較低，比如即使有幾百行的表，如果多次關聯多次 匯總，產生十幾個 jobs，耗時很長 ...
FastAPI 學習之路（二十一）請求體 - 更新數據
系列文章： FastAPI 學習之路（一）fastapi--高性能web開發框架 FastAPI 學習之路（二） FastAPI 學習之路（三） FastAPI 學習之路（四） FastAPI 學習之路（五） FastAPI 學習之路（六）查詢參數 ...
Java 從入門到進階之路（二十一）
在之前的文章我們介紹了一下 Java 中的日期操作，本章我們來看一下 Java 集合框架中的Collection。 早在 Java 2 中之前，Java 就提供了特設類。比如：Dictionary, ...
二十一、clickhouse的IP函數
--1.IPv4NumToString(num) 接受一個UInt32（大端）表示的IPv4的地址，返回相應IPv4的字符串表現形式，格式為A.B.C.D（以點分割的十進制數字）。 --2.IPv4StringToNum(s) 與IPv4NumToString函數相反。如果IPv4地址格式無效 ...
Spark學習之路 （十九）SparkSQL的自定義函數UDF
在Spark中，也支持Hive中的自定義函數。自定義函數大致可以分為三種： UDF(User-Defined-Function)，即最基本的自定義函數，類似to_char,to_date等 UDAF（User- Defined Aggregation Funcation），用戶自定 ...
Hadoop學習之路（二十一）MapReduce實現Reduce Join（多個文件聯合查詢）
MapReduce Join 對兩份數據data1和data2進行關鍵詞連接是一個很通用的問題，如果數據量比較小，可以在內存中完成連接。 如果數據量比較大，在內存進行連接操會發生OOM。mapre ...