大数据基础---流式计算简介
1.流式计算是什么? 流式计算是相对于批处理来说的，我们以前学的Mapreduce就是批处理，它属于离线计算，计算的数据都是过去某个时间点的，还有我们开发的软件管理系统，查询的也是过去某个时刻录入的数据。那么流式计算呢，它是在输入录入的时候就开始计算了，而且计算的速度还很快，可以达到毫秒级，计算 ...
原文：大数据基础---Hive计算引擎Tez简介和使用
一 前言 Hive默认计算引擎时MR，为了提高计算速度，我们可以改为Tez引擎。至于为什么提高了计算速度，可以参考下图： 用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是Reduce Task，云状表示写屏蔽，需要将中间结果持久化写到HDFS。 Tez可以将多个有依赖的作业转换为一个作业，这样只需写一次HDFS，且中间节点较少，从而大大提升作业的计算性能。 二 安装包准备 ...
2020-07-19 15:25 0 5253 推荐指数：
相关推荐
Hive使用Tez作为计算引擎，hive启动报错
1、问题描述： （1）问题示例： 1）hive使用配置文件hive-site.xml配置tez为计算引擎，hive登录报错： [Hadoop@master Tmp]$ hiveHive Session ID = d7686d35-727b-4379-891a-b1279513005d ...
Hive使用Tez作为计算执行引擎的参数配置及优化
1 Tez简介 2 Tez下载与安装 2.1 下载 下载地址：https://tez.apache.org/releases/index.html 笔者下载示例版本：Apache TEZ® 0.9.2 (Jul 01, 2021) 下载示例：wget 'https ...
Hive 使用Tez引擎的配置
前提 Hive 需要是 2.0以上版本 Tez配置 下载好tar包后，将tar包上传到HDFS集群路径下 将Linux本机上的tar包解压 Hive配置 在hive/conf下新建tez-site.xml文件，并添加以下参数 ...
大数据Hadoop之——计算引擎Spark
3）Cluster Manager：资源管理器 4）Executor：执行器 5）Worker：计算 ...
【原创】大数据基础之Drill（1）简介、安装及使用
https://drill.apache.org/ 一 简介 Drill is an Apache open-source SQL query engine for Big Data exploration. Drill is designed from the ground ...
【原创】大数据基础之Presto（1）简介、安装、使用
presto 0.217 官方：http://prestodb.github.io/ 一 简介 Presto is an open source distributed SQL query engine for running interactive analytic ...
【原创】大数据基础之Airflow（1）简介、安装、使用
airflow 1.10.0 官方：http://airflow.apache.org/ 一 简介 Airflow is a platform to programmatically author, schedule and monitor workflows. Use ...