浅谈spark的数据本地性(data locality)
spark的数据本地性(data locality) Spark其中一个特性就是数据本地性,简单的说就是“移动数据不如移动计算”。 因为数据在网络传输中会有不小的I/O消耗,并且传输距离越长消耗越大。 所以,数据本地性可以理解为数据传输距离,而我们的目的就是避免数据在网络中传输或尽量减少传输 ...
spark的数据本地性(data locality) Spark其中一个特性就是数据本地性,简单的说就是“移动数据不如移动计算”。 因为数据在网络传输中会有不小的I/O消耗,并且传输距离越长消耗越大。 所以,数据本地性可以理解为数据传输距离,而我们的目的就是避免数据在网络中传输或尽量减少传输 ...