spark 運行問題記錄

在CDH5.5.2上運行spark1.5的程序，運行起來就直接shutdown，並報出如下的異常：

 INFO YarnClientSchedulerBackend: SchedulerBackend is ready for scheduling beginning after waiting maxRegisteredResourcesWaitingTime: 30000(ms)
Exception in thread "main" java.lang.IllegalStateException: Cannot call methods on a stopped SparkContext
        at org.apache.spark.SparkContext.org$apache$spark$SparkContext$$assertNotStopped(SparkContext.scala:104)
        at org.apache.spark.SparkContext$$anonfun$newAPIHadoopRDD$1.apply(SparkContext.scala:1131)
        at org.apache.spark.SparkContext$$anonfun$newAPIHadoopRDD$1.apply(SparkContext.scala:1130)
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:147)
        at org.apache.spark.rdd.RDDOperationScope$.withScope(RDDOperationScope.scala:108)
        at org.apache.spark.SparkContext.withScope(SparkContext.scala:709)
        at org.apache.spark.SparkContext.newAPIHadoopRDD(SparkContext.scala:1130)
        at com.xxx.spark.etl$.parquetRun(AdEtl.scala:76)
        at com.xxx.spark.etl$.main(AdEtl.scala:32)
        at com.xxx.spark.etl.main(AdEtl.scala)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:606)
        at org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:672)
        at org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180)
        at org.apache.spark.deploy.SparkSubmit$.submit(SparkSubmit.scala:205)
        at org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:120)
        at org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala)

 

出現這個問題時，嘗試運行其他spark程序，能夠正常運行，說明並不是spark不兼容問題導致的。那么什么原因導致的這個問題發生呢。繼續查看yarn的日志，http://cloudera_master:8088查看所有yarn控制的程序，找到該異常的程序，查看運行日志：

16/05/23 15:48:53 ERROR ApplicationMaster: Uncaught exception: 
org.apache.hadoop.yarn.exceptions.InvalidResourceRequestException: Invalid resource request, requested virtual cores < 0, or requested virtual cores > max configured, requestedVirtualCores=6, maxVirtualCores=4
	at org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerUtils.validateResourceRequest(SchedulerUtils.java:212)
	at org.apache.hadoop.yarn.server.resourcemanager.RMServerUtils.validateResourceRequests(RMServerUtils.java:96)
收到如上的日志，通過這個日志可以很清楚的看到配置的執行器超出了最大執行數。所以異常了。


spark報出的異常並不是問題的真正異常，也就是出現問題的時候不要着急，一個地方發現不了問題，那么就多找幾個地方，總會有發現問題的地方。