sql加载 格式 或者下面这种直接json加载 或者下面这种spark的text加载 以及rdd的加载 上述记得配置文件加入.mastrt("local")或者spark://master:7077 ...

spark-shell运行，若要载入hbase的jar包： export SPARK_CLASSPATH=/opt/hbase-1.2.4/lib/* 获取hbase中列簇中的列值： 获取hbase表DataFrame： ...

...

关于RDD, 详细可以参考Spark的论文, 下面看下源码 A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collection ...

[Spark][Hive][Python][SQL]Spark 读取Hive表的小例子$ cat customers.txt 1 Ali us 2 Bsb ca 3 Carls mx $ hive hive> > CREATE TABLE IF NOT EXISTS ...

背景： 　　场景需求1：使用spark直接读取HBASE表 　　场景需求2：使用spark直接读取HIVE表 　　场景需求3：使用spark读取HBASE在Hive的外表 摘要： 　　1.背景 　　2.提交脚本 内容 场景需求1：使用spark直接读取HBASE表 编写提交 ...

Hadoop 　　Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。它 ...

读写 2.Json文件 使用RDD读取JSON文件处理很复杂，同时SparkSQL集成了很好 ...