Spark以yarn-client提交任務時報錯超時,Connection to 192.168.. /has been quiet forms while there are outstanding requests. Failed to send RPC.....


報錯信息如上,具體是運行FusionInsight給的樣例SparkPi,在local環境下是可以的,但是如果以yarn-client模式就會卡住,然后120s以后超時,其實以yarn-cluster模式也是會報錯的,開始在spark-default-conf

中加上了driver的spark.driver.host = $客戶端IP,沒用,將服務器各個主機免密登陸,沒用,再將客戶端的ip添加到主機的hosts文件中,使得hostname就可以直接訪問,沒用,再將客戶端機器的防火牆關閉,hosts文件ip也映射,沒用,一般百度得都是說將yarn-site.xml中加入兩個節點,

<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>

相信我,一般不是內存不夠,錯誤原因不一樣,沒用。

最后,還是得靠國外的stackoverflow看到了光明。

原來是我的虛擬機是單核的,設置參數spark.rpc.netty.dispatcher.numThreads=2即可!

學到最明顯的是以后技術問題,特別是較新的技術,需要在stackoverflow上搜索啊。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM