Spark設置Kryo序列化緩沖區大小
背景 今天在開發SparkRDD的過程中出現Buffer Overflow錯誤,查看具體Yarn日志后發現是因為Kryo序列化緩沖區溢出了,日志建議調大spark.kryoserializer.buffer.max的value,搜索了一下設置keyo序列化緩沖區的方法,特此整理記錄下來 ...
背景 今天在開發SparkRDD的過程中出現Buffer Overflow錯誤,查看具體Yarn日志后發現是因為Kryo序列化緩沖區溢出了,日志建議調大spark.kryoserializer.buffer.max的value,搜索了一下設置keyo序列化緩沖區的方法,特此整理記錄下來 ...