# spark读取csv文件 参考： https://blog.csdn.net/zpf336/article/details/90760384 https://bl ...

pyspark创建RDD的方式主要有两种，一种是通过spark.sparkContext.textFile 或者 sparkContext.textFile读取生成RDD数据；另一种是通过spark. ...

在文件已经导入（存入）hdfs之后，需要建表进行映射才可以show tables。 现在假设文件已导入该hdfs目录： /apps/hive/warehouse/db_name.db/tb_name ...

parquet数据：列式存储结构，由Twitter和Cloudera合作开发，相比于行式存储，其特点是： 可以跳过不符合条件的数据，只读取需要的数据，降低IO数据量； 压缩编码可以降低磁盘 ...

在linux下，执行pyspark代码 —— 实测有效：但是并不是所有的包都能够成功，一些很复杂的包或者对C依赖很深的包例如 numpy, pandas, scipy等，无法通过本方法实现，实现可以参 ...

最近执行pyspark时，直接读取hive里面的数据，经常遇到几个问题： 1. java.io.IOException: Not a file —— 然而事实上文件是存在的，是 hdfs 的默认路 ...

弹性分布式数据集（RDD）是一组不可变的JVM对象的分布集，可以用于执行高速运算，它是Apache Spark的核心。 在pyspark中获取和处理RDD数据集的方法如下： 1. 首先是导入库和环 ...

pyspark可以直接将DataFrame格式数据转成table，也可在程序中执行sql代码。 1. 首先导入库和环境，os.environ在系统中有多个python版本时需要设置 ...

pyspark可用于读取textfile格式的hive表格。 1. 查看hive表的属性方法（在hive或者spark-sql命令行均可）： 查询建表信息： 查询表的属性信息 (可 ...

spark-submit提交任务的参数很多： 1. 但是，一般提交作业到本地 [local] 模式，则很简单： 直接：spark-submit *.py即可，当然，其中是要配置好该机 ...