利用动态资源分配优化Spark应用资源利用率
背景 在某地市开展项目的时候,发现数据采集,数据探索,预处理,数据统计,训练预测都需要很多资源,现场资源不够用。 目前该项目的资源3台旧的服务器,每台的资源 内存为128G,cores 为24 (c ...
背景 在某地市开展项目的时候,发现数据采集,数据探索,预处理,数据统计,训练预测都需要很多资源,现场资源不够用。 目前该项目的资源3台旧的服务器,每台的资源 内存为128G,cores 为24 (c ...