花费 5 ms
Spark设置Kryo序列化缓冲区大小

背景 今天在开发SparkRDD的过程中出现Buffer Overflow错误,查看具体Yarn日志后发现是因为Kryo序列化缓冲区溢出了,日志建议调大spark.kryoserializer.buffer.max的value,搜索了一下设置keyo序列化缓冲区的方法,特此整理记录下来 ...

Thu Jan 09 07:39:00 CST 2020 0 5362

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM