报错信息:
System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-mem
spark连接hadoop集群
解决方法:
这主要是运行内存的问题,所以我们在运行的时候更改JVM的资源分配:


或者:
val sparkConf = new SparkConf() .set("spark.testing.memory","2147480000")
System memory 259522560 must be at least 471859200. Please increase heap size using the --driver-mem
spark连接hadoop集群
这主要是运行内存的问题,所以我们在运行的时候更改JVM的资源分配:


或者:
val sparkConf = new SparkConf() .set("spark.testing.memory","2147480000")
本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。