标签【分布式计算(Hadoop／Spark)】

十分钟了解分布式计算:GraphX

GraphX原型论文 GraphX是Spark中用于图(e.g., Web-Graphs and Social Networks)和图并行计算(e.g., PageRank and Collabor ...

十分钟了解分布式计算:Petuum

Petuum是一个机器学习专用分布式计算框架，本文介绍其架构，并基于文章 More Effective Distributed ML via a Stale Synchronous Parallel ...

介绍 Google Cloud Dataflow是一种构建、管理和优化复杂数据处理流水线的方法，集成了许多内部技术，如用于数据高效并行化处理的Flume和具有良好容错机制流处理的MillWheel。 ...

十分钟了解分布式计算:GraphLab

GraphLab是一个面向大规模机器学习/图计算的分布式内存计算框架，由CMU在2009年开始的一个C++项目，这里的内容是基于论文 Low, Yucheng, et al. "Distribute ...

十分钟了解分布式计算:Spark

Spark是一个通用的分布式内存计算框架，本文主要研讨Spark的核心数据结构RDD的设计思路，及其在内存上的容错。内容基于论文 Zaharia, Matei, et al. "Resilient ...

输入文件 Scalding既可以处理HDFS上的数据，也可以很方便地在本地运行处理一些test case便于debug，Source有好多种 1 TextLine(filename) Text ...