Learning Spark中文版--第六章--Spark高级编程（2）
Working on a Per-Partition Basis（基于分区的操作） 以每个分区为基础处理数据使我们可以避免为每个数据项重做配置工作。如打开数据库连接或者创建随机数生成器这样的操作，我们希望避免为每个元素重做配置工作。Spark有分区版本的map和foreach，通过让RDD的每个 ...
原文：Learning Spark中文版--第五章--加载保存数据（2）
SequenceFiles 序列文件 SequenceFile是Hadoop的一种由键值对小文件组成的流行的格式。SequenceFIle有同步标记，Spark可以寻找标记点，然后与记录边界重新同步。Spark还可以从多个节点并行高效地读取SequenceFile。SequenceFile也是Hadoop MapReduce中job的常用输入输出格式，如果你正使用着Hadoop系统，数据很有可能就 ...
2018-03-14 14:45 0 921 推荐指数：
相关推荐
《Spark快速大数据分析》—— 第五章 数据读取和保存
由于Spark是在Hadoop家族之上发展出来的，因此底层为了兼容hadoop,支持了多种的数据格式。如S3、HDFS、Cassandra、HBase，有了这些数据的组织形式，数据的来源和存储都可以多样化~ ...
Spark权威指南(中文版)----第1章Apache Spark是什么
Spark The Definitive Guide Spark权威指南 中文版。关注公众号，阅读中文版的Spark权威指南，系统学习Spark大数据框架！ Apache Spark是一个统一的分布式内存计算引擎，包括一组用于在计算机集群上进行并行数据处理的函数库。截止目前，Spark ...
c++ primer 第五版第五章
5.01 什么是空语句，什么时候会用到？ 空语句只含有一个单独的分号。当循环的全部工作在条件部分就可以完成时，通常就会用到空语句。 5.02 什么是块，什么时候会用到块？ 用花括 ...
《Entity Framework 6 Recipes》中文翻译系列 (23) -----第五章 加载实体和导航属性之预先加载与Find()方法
翻译的初衷以及为什么选择《Entity Framework 6 Recipes》来学习，请看本系列开篇 5-2 预先加载关联实体 问题 你想在一次数据交互中加载一个实体和与它相关联实体。 解决方案 假设你有如图5-2所示的模型。 图5-2 包含Customer和与它相关联 ...
《Entity Framework 6 Recipes》中文翻译系列 (22) -----第五章 加载实体和导航属性之延迟加载
翻译的初衷以及为什么选择《Entity Framework 6 Recipes》来学习，请看本系列开篇 第五章 加载实体和导航属性 实体框架提供了非常棒的建模环境，它允许开发人员可视化地使用映射到数据库中的表、视图、存储过程以及关系中的实体类型。本节将向你展示如何控制查询操作中 ...
数据库系统概论(第五版) 王珊 第五章课后习题答案
1. 什么是数据库的完整性？ 数据库的完整性是指数据的正确性和相容性。 2．数据库的完整性概念与数据库的安全性概念有什么区别和联系？ 数据的完整性和安全性是两个不同的概念，但是有一定的联系。前者是为了防止数据库中存在不符合语义的数据，防止错误信息的输入和输出，即所谓垃圾进垃圾出（ Garba ...
第五章 if语句
编程时经常需要检查一系列条件，并据此决定采取什么措施。在Python中，if语句让我们能够检查程序的当前状态，并据此采取相应的措施。 5.1 一个简单的示例 下面是一个简短的示例 ...