第一种方式: 第二种方式: ...

spark由于一些链式的操作，spark 2.1目前只支持hive1.2.1 hive 1.2安装 到http://mirror.bit.edu.cn/apache/hive/hive-1.2.1/ 网址下载hive1.2.1的部署包 2.配置系统环境 ...

1 .安装scala 1 ). 官网下载scala > wget https://downloads.lightbend.com/scala/2.12.6/scala-2.12.6.tgz2) 解压 >tar -zxvf scala-2.12.6.tgz 3) 修改环境变量 ...

一、连接SQL 方法一、 方法二、 方法三、读取Resource上写的.properties配置： https://www.cnblogs.com/sabertobih/p/13874061.html 二、连接HIVE （一）8 9月写的，没有理解，写 ...

依赖 scala代码 hive-site.xml 还需要把hdfs上的user/hive/warehouse目录 chmod 777，不然程序访问不了会报错 ...

背景： 接到任务，需要在一个一天数据量在460亿条记录的hive表中，筛选出某些host为特定的值时才解析该条记录的http_content中的经纬度： 解析规则譬如： 需要解析host: api.map.baidu.com 需要解析的规则："result ...

Spark2.4.0（scala） 1.kerberso 认证（需要将相应用户的keytab文件引入本地） 代码如下： 2.maven 依赖 3.代码访问 main ...

　　　　之前的两篇文章是搭建Spark环境，准备工作做好之后接下来写一个简单的demo，功能是统计本地某个文件中每个单词出现的次数。开发环境为Idea+Maven，开发语言为scala，首先我们要在Idea中下载scala的插件，具体如下： 　　　　一、Idea开发环境准备 　　　　1.下载 ...