背景： 　　场景需求1：使用spark直接读取HBASE表 　　场景需求2：使用spark直接读取HIVE表 　　场景需求3：使用spark读取HBASE在Hive的外表 摘要： 　　1.背景 　　2.提交脚本 内容 场景需求1：使用spark直接读取HBASE表 编写提交 ...

1.用到的maven依赖 注意：上面两个依赖的顺序不能换，否则编译代码的Scala版本会变成 2.10（这是因为maven顺序加载pom中的依赖jar），会导致下述问题： 2、spark和elasticsearch 整合 ...

之前的几篇博客中记录的Hadoop、Spark和Hbase部署过程虽然看起来是没多大问题，但是之后在上面跑任务的时候出现了各种各样的配置问题。庆幸有将问题记录下来，可以整理出这篇部署整合篇。 确保集群的每台机器用户名都为cloud（或者一样） 为了避免过多重复的解释，这里仅仅示意 ...

软件环境 spark2.3.1 + hbase 2.0.1 这里我们用到的时hortonworks 的spark hbase connector 1.从github 下载shc源码， 2.用idea打开源码，下载依赖 因为源码中有部分依赖是来自hortonworks的，maven 中央 ...

spark-shell运行，若要载入hbase的jar包： export SPARK_CLASSPATH=/opt/hbase-1.2.4/lib/* 获取hbase中列簇中的列值： 获取hbase表DataFrame： ...

前言 在之前的大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建 中介绍了集群的环境搭建，但是在使用hive进行数据查询的时候会非常的慢，因为hive默认使用的引擎是MapReduce。因此就将spark作为hive的引擎来对hbase进行 ...

继续SparkStreaming整合Kafka 其实将offset保存在zookeeper上不适用于高并发的情况的，于是乎，借鉴上次的代码。将offset保存在Hbasea上的方法也大概写了一下，暂时运行起来是没有问题的。 直接上代码（代码比较粗糙，但是思路应该还算 ...

开发环境：Hadoop+HBASE+Phoenix+flum+kafka+spark+MySQL 默认配置好了Hadoop的开发环境，并且已经安装好HBASE等组件。 下面通过一个简单的案例进行整合： 这是整个工作的流程图： 第一步：获取数据源 　　由于外部埋点获取资源较为繁琐 ...