花费 5 ms
浅谈spark的数据本地性(data locality)

spark的数据本地性(data locality) Spark其中一个特性就是数据本地性,简单的说就是“移动数据不如移动计算”。 因为数据在网络传输中会有不小的I/O消耗,并且传输距离越长消耗越大。 所以,数据本地性可以理解为数据传输距离,而我们的目的就是避免数据在网络中传输或尽量减少传输 ...

Wed Jun 02 02:15:00 CST 2021 0 986

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM