Atlas運行時資源不足報錯 -bash: fork: retry: 資源暫時不可用 Out of system resources


目的:運行Atlas並使用Azkaban執行操作任務

環境:Centos 6 內存大小:12G 啟動下面的任務后還剩內存將近5G

問題: 當mysql_to_hdfs_db和其他job同時運行時集群很容易就會報錯

  Cannot create GC thread. Out of system resources. 

  OOM等奇怪的錯誤。

  為什么明明還有內存,還報OOM?

  最重要的是極端情況下會報錯:-bash: fork: retry: 資源暫時不可用

原因:修改前非root用戶max user processes 只有1024,導致此用戶無法申請到更多的線程。

解決方案:

  sudo vim /etc/security/limits.d/90-nproc.conf  ,將nproc修改為65535並重新啟動計算機

   

 

 

啟動的任務:1. hadoop 集群

       2. Zookeeper

       3. Kafka

       4. Hbase

       5. Solr

       6. Hive

       7. Azkaban

       8. Atals 

 

 

 mysql_to_hdfs_db使用sqoop想HDSF中導數據,占用資源比較多。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM