一、GemFire是什么？ 如果你了解Redis或memCached，那么恭喜，你很快就能理解GemFire是什么，没错，你可以把它理解为一个增强版的Red ...

在生产中，无论是通过SQL语句或者Scala/Java等代码的方式使用Spark SQL处理数据，在Spark SQL写数据时，往往会遇到生成的小文件过多的问题，而管理这些大量的小文件，是一件非常头疼 ...

一、简介 1、概述 Impala是Cloudera公司推出，提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。 •基于Hive使用内存计算，兼顾数据仓库、具有实时 ...

前言 Catalyst是Spark SQL核心优化器，早期主要基于规则的优化器RBO，后期又引入基于代价进行优化的CBO。但是在这些版本中，Spark SQL执行计划一旦确定就不会改变。由于缺乏或者 ...

GemFire目前已经开源，开源项目的主页： http://geode.incubator.apache.org/，商业版本的主页： https://pivotal.io/big-data/p ...

RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。 RDD是一 ...

原文首发于微信公众号：躬行之(jzman-blog) Android 开发中经常考虑的一个问题就是 OOM(Out Of Memory)，也就是内存溢出，一方面大量加载图片时有可能出现 O ...

通过之前的文章【Spark RDD详解】，大家应该了解到Spark会通过DAG将一个Spark job中用到的所有RDD划分为不同的stage，每个stage内部都会有很多子任务处理数据，而每个sta ...