spark的数据本地性（data locality） Spark其中一个特性就是数据本地性，简单的说就是“移动数据不如移动计算”。 因为数据在网络传输中会有不小的I/O消耗，并且传输距离越长消耗越大。 所以，数据本地性可以理解为数据传输距离，而我们的目的就是避免数据在网络中传输或尽量减少传输 ...

分布式数据并行环境下，保持数据的本地性是非常重要的内容，事关分布式系统性能高下。 概念： block ： HDFS的物理空间概念，固定大小，最小是64M，可以是128,256 。。也就是说单个文件大于block的大小，肯定会被切分，被切分的数目大概是：比如文件是250M，block ...

因数据库存储数据要持之以恒，数据库中的表需要一些方法验证各种数据类型。不仅仅局限于数据类型，还有唯一值，值的范围，或者某列的值和另外一个表中的列匹配。 当你在定义表的时候其用这些数据验证方法。这叫做声明数据完整性。也就是我们说的表约束。 主键约束 Primary Key ...

一、 前言     最近在工作中需要对海量数据进行相似性查找，即对微博全量用户进行关注相似度计算，计算得到每个用户关注相似度最高的TOP-N个用户，首先想到的是利用简单的协同过滤，先定义相似性度量（cos，Pearson,Jaccard），然后利用通过两两计算相似度，计算top-n进行筛选，这种 ...

1. 在Hbase的运维过程中，我们经常需要做如下操作： 移动 regionserver 到其他的 regionserver group中 下线一台机器 增加一台机器 ...

1、概念 2、LSH操作 我们描述了LSH可以用于的主要操作类型。拟合的LSH模型具有用于每个操作的方法。 2.1、Feat ...

Data Types - MLlib（数据类型） MLlib支持存储在单机上的局部向量和局部矩阵，也可以支持通过一个或多个RDD(可伸缩数据集)表示的分布式矩阵。局部向量和局部矩阵是用作公共接口的简单数据模型，实际上底层的线性代数运算 ...