1.创建spark与Elasticsearch的连接 为了对Elasticsearch进行读写操作，需要添加Elasticsearch的依赖包，其中，添加依赖包（org.elasticsearch_ ...

1.创建pyspark与mongodb的连接，首先加载依赖包，其有三种方式： 1）直接将其放在在安装spark的jars目录下； 2）在spark_submit中，添加依赖包信息； 3）在创建s ...

1.Array Schema转换到Sting Schema ——array_join()方法 使用案例： 原始数据如下图所示： df.show() df1 = df.select(arra ...