花費 14 ms
Spark設置Kryo序列化緩沖區大小

背景 今天在開發SparkRDD的過程中出現Buffer Overflow錯誤,查看具體Yarn日志后發現是因為Kryo序列化緩沖區溢出了,日志建議調大spark.kryoserializer.buffer.max的value,搜索了一下設置keyo序列化緩沖區的方法,特此整理記錄下來 ...

Thu Jan 09 07:39:00 CST 2020 0 5362

 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM