原文:【赵强老师】在Spark SQL中读取JSON文件

Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。为什么要学习Spark SQL 如果大家了解Hive的话,应该知道它是将Hive SQL转换成MapReduce然后提交到集群上执行,大大简化了编写MapReduce的程序的复杂性,由于MapReduce这种计算模型执行效率比较慢。所以Spark SQL的应运 ...

2020-04-05 12:28 0 971 推荐指数:

查看详情

老师】使用Weblogic的WLST工具

一、什么是Weblogic WLST? WebLogic 脚本工具 (WebLogic Scripting Tool , WLST) 是一种命令行脚本界面,系统管理员和操作员用它来监视和管理 W ...

Fri Jan 22 19:31:00 CST 2021 0 324
老师】Oracle RAC集群的概念

一、什么是Oracle RAC(Real Application Cluster)? Oracle RAC 是一个具有共享缓存架构的集群数据库,它克服了传统的无共享方法和共享磁盘方法的限制,为您 ...

Tue Apr 07 16:21:00 CST 2020 0 588
老师】Oracle存储过程的out参数

一、什么是存储过程 Oracle存储过程可以说是一个记录集吧,它是由一些PL/SQL语句组成的代码块,这些PL/SQL语句代码像一个方法一样实现一些功能(对单表或多表的增删改查),然后再给这个代码块取一个名字,在用到这个功能的时候调用他就行了。 存储过程的好处: 由于数据库执行 ...

Sat Apr 18 19:00:00 CST 2020 0 1248
老师】在Hive中使用Load语句加载数据

一、Hiveload语句的语法说明 Hive Load语句不会在加载数据的时候做任何转换工作,而是纯粹的把数据文件复制/移动到Hive表对应的地址。语法格式如下: 几点说明: 如果命令带有LOCAL,说明从本地文件系统加载数据,文件路径可以是相对路径 ...

Fri May 22 19:40:00 CST 2020 0 992
老师】使用kubeadmin部署K8s集群

首先,我们来看一下整体的架构。 K8s的部署方式: yum方式部署 二进制包:手动使用tar包来部署 minikube:单机版,用于开发测试。 kubeadm:可以把k ...

Fri Apr 03 19:26:00 CST 2020 0 1844
老师】史上最详细的PostgreSQL体系架构介绍

PostgreSQL是最像Oracle的开源数据库,我们可以拿Oracle来比较学习它的体系结构,比较容易理解。PostgreSQL的主要结构如下: 一、存储结构 PG数据存储结构分为:逻辑存储结构和物理存储存储。其中:逻辑存储结构是内部的组织和管理数据的方式;物理存储结构是操作系统 ...

Tue Sep 07 20:25:00 CST 2021 0 183
老师】大数据分析引擎:Presto

一、什么是Presto? 背景知识:Hive的缺点和Presto的背景 Hive使用MapReduce作为底层计算框架,是专为批处理设计的。但随着数据越来越多,使用Hive进行一个简单的数据查询可能要花费几分到几小时,显然不能满足交互式查询的需求。Presto是一个分布式SQL ...

Sat Apr 04 18:30:00 CST 2020 0 969
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM