Spark学习之路 （二十）SparkSQL的元数据
SparkSQL去构建数据仓库的时候，必须依赖于Hive。 二、Spark-SQL脚本 如果用户直接运行bin ...
相关推荐
Kubernetes学习之路（二十一）之网络模型和网络策略
目录 Kubernetes的网络模型和网络策略 1、Kubernetes网络模型和CNI插件 1.1、Docker网络模型 1.2、Kubernet ...
Hive学习之路 （二十一）Hive 优化策略
一、Hadoop 框架计算特性 1、数据量大不是问题，数据倾斜是个问题 2、jobs 数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次 汇总，产生十几个 jobs，耗时很长 ...
FastAPI 学习之路（二十一）请求体 - 更新数据
系列文章： FastAPI 学习之路（一）fastapi--高性能web开发框架 FastAPI 学习之路（二） FastAPI 学习之路（三） FastAPI 学习之路（四） FastAPI 学习之路（五） FastAPI 学习之路（六）查询参数 ...
Java 从入门到进阶之路（二十一）
在之前的文章我们介绍了一下 Java 中的日期操作，本章我们来看一下 Java 集合框架中的Collection。 早在 Java 2 中之前，Java 就提供了特设类。比如：Dictionary, ...
二十一、clickhouse的IP函数
--1.IPv4NumToString(num) 接受一个UInt32（大端）表示的IPv4的地址，返回相应IPv4的字符串表现形式，格式为A.B.C.D（以点分割的十进制数字）。 --2.IPv4StringToNum(s) 与IPv4NumToString函数相反。如果IPv4地址格式无效 ...
Spark学习之路 （十九）SparkSQL的自定义函数UDF
在Spark中，也支持Hive中的自定义函数。自定义函数大致可以分为三种： UDF(User-Defined-Function)，即最基本的自定义函数，类似to_char,to_date等 UDAF（User- Defined Aggregation Funcation），用户自定 ...
Hadoop学习之路（二十一）MapReduce实现Reduce Join（多个文件联合查询）
MapReduce Join 对两份数据data1和data2进行关键词连接是一个很通用的问题，如果数据量比较小，可以在内存中完成连接。 如果数据量比较大，在内存进行连接操会发生OOM。mapre ...