近来在做项目中的技术调研,使用最新版的hdp3.1,其中使用spark2.3和hive 3.1. 遇到 一些问题,记录如下: 一,使用spark-sql client driver去访问hive创建的数据库,发现找不到,使用presto访问hive,只能读写外部表。 经过查询资料了解 ...
,TestDFSIO write和read的性能测试,测试hadoop读写的速度。该测试为Hadoop自带的测试工具,位于 HADOOP HOME share hadoop mapreduce目录中,主要用于测试DFS的IO性能。 写入: 读取: 清空数据: ,TeraSort是由微软的数据库专家Jim Gray创建的标准benchmark,输入数据由Hadoop TeraGen产生。 生成数据 ...
2018-09-11 13:39 0 884 推荐指数:
近来在做项目中的技术调研,使用最新版的hdp3.1,其中使用spark2.3和hive 3.1. 遇到 一些问题,记录如下: 一,使用spark-sql client driver去访问hive创建的数据库,发现找不到,使用presto访问hive,只能读写外部表。 经过查询资料了解 ...
本文记录使用ambari-server安装HDP的过程,对比于使用cloudera-manager安装CDH,不得不说ambari的易用性差的比较多~_~,需要用户介入的过程较多,或者说可定制性更高。 首先、安装之前,在每个主机节点上执行下面命令,已清除缓存,避免一些repo原因导致的安装失败 ...
应用程序测试的工具。 只要在测试用例中把预期的用户行为与结果都描述出来,我们就得到了一个可以自动化运行 ...
一、 HAWQ2.3.0环境准备【全部主机节点】: 1, vim /etc/sysctl.conf,编辑如下内容: 保存退出后,使用命令“sysctl -p” 使之生效: ...
一、安装并使用MariaDB作为Ambari、Hive、Hue的存储数据库。 启动、查看状态,检查mariadb是否成功安装 二、配置mariadb 1,首先停止Ma ...
Zabbix 3.0 基础介绍 [一] #wmd-preview h1 { color: #0077bb; /* 将标题改为蓝色 */ } Zabbix 3.0 基础介绍 [一] zabbix 一、Zabbix介绍 zabbix 简介 ...
目录 1、测试套件的作用 2、使用测试套件 (1)入门示例 (2)根据不同的条件加载测试用例(了解) (3)常用方式(推荐) 1、测试套件的作用 在我们实际工作,使用unittest框架会有两个问题: 我们知道 ...
目录 1、unittest基本简介 2、unittest基本概念 (1)unittest核心的四个概念 (2)如何创建一个测试类 (3)test fixture常用的四个方法 (4)unittest编写测试方法(用例)规范 ...