hive中使用rcfile
（1）建student & student1 表：（hive 托管）create table student(id INT, age INT, name STRING)partitione ...
原文：Spark RCFile的那些“坑”
RCFile在平台的应用场景中多数用于存储需要 长期留存 的数据文件，在我们的实践过程中，RCFile的数据压缩比通常可以达到 : 或者 : ，特别适用于存储用户通过Hive MapReduce 分析的结果。目前平台的计算引擎正逐步由Hadoop MapReduce迁移至Spark，存储方面我们依然想利用RCFile的优势，但是具体实践中遇到那么几个 坑 。 数据分析师使用PySpark构建Sp ...
2015-11-11 15:26 0 4696 推荐指数：
相关推荐
Spark遇到的报错和坑
1. Java版本不一致，导致启动报错。 2. Spark1和Spark2并存，启动时报错。 3.缺少Hadoop依赖包 4. 报错信息：java.lang.Error ...
spark 从RDD createDataFrame 的坑
Scala： Python： 因为spark交叉验证的数据集必须是data frame，也是醉了！ ...
spark streaming 踩过的那些坑
系统背景 spark streaming + Kafka高级API receiver 目前资源分配（现在系统比较稳定的资源分配），独立集群 --driver-memory 50G --executor-memory ...
搭建Spark所遇过的坑
一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署 ...
spark中union的坑
关于问题描述: spark中的union导致数据不符合预期，出现数据错位的情况 这里我们的运行结果如下: 这里我们发现了几个点: dataframe中的union并没有去重复的功能(参考df1.union(df1)的结果)，实际上 更像是union all操作 ...
spark踩坑记录
spark、spark调优、spark streaming常见问题总结 1.server.TransportChannelHandler: Exception in connection from xxxxxx。java.io.IOException: Connection reset ...
搭建Spark所遇过的坑
一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署Spark任务，不用拷贝整个架包，只需拷贝 ...