目的:運行Atlas並使用Azkaban執行操作任務
環境:Centos 6 內存大小:12G 啟動下面的任務后還剩內存將近5G
問題: 當mysql_to_hdfs_db和其他job同時運行時集群很容易就會報錯
Cannot create GC thread. Out of system resources.
OOM等奇怪的錯誤。
為什么明明還有內存,還報OOM?
最重要的是極端情況下會報錯:-bash: fork: retry: 資源暫時不可用
原因:修改前非root用戶max user processes 只有1024,導致此用戶無法申請到更多的線程。
解決方案:
sudo vim /etc/security/limits.d/90-nproc.conf ,將nproc修改為65535並重新啟動計算機
啟動的任務:1. hadoop 集群
2. Zookeeper
3. Kafka
4. Hbase
5. Solr
6. Hive
7. Azkaban
8. Atals
mysql_to_hdfs_db使用sqoop想HDSF中導數據,占用資源比較多。