Hadoop運維操作
1. 處理hadoop的namenode宕機 處理措施： 進入hadoop的bin目錄，重啟namenode服務 操作命令： cd path/to/hadoop/bin ./hadoop-daemon.sh start namenode 2. 處理hadoop ...
原文：hadoop運維筆記
一. 故障處理部分 . . spark提交任務報錯java.lang.NoClassDefFoundError: com alibaba fastjson JSON 報錯原因： 在運行環境沒有找到fastjson的依賴庫 解決方法： 在SPARK HOME jars 添加fastjson VERSION.jar包。 例如我的環境下SPARK HOME是 usr local service spar ...
2019-02-17 14:13 0 975 推薦指數：
相關推薦
Nginx日志運維筆記
在分析服務器運行情況和業務數據時，nginx日志是非常可靠的數據來源，而掌握常用的nginx日志分析命令的應用技巧則有着事半功倍的作用，可以快速進行定位和統計。 1）Nginx日志的標准格式（ ...
Hadoop日常運維問題匯總
一：namenode出現missing blocks 日常巡檢CDH集群和HDP集群發現有些namenode下有很多missing blocks ，hadoop數據存儲單位為塊。一塊64M，這些Missing大多因為元數據丟失而毀壞，很難恢復。就行硬盤故障一樣，需要fsck並且delete ...
hadoop 性能調優與運維
hadoop 性能調優與運維 硬件選擇 1) hadoop運行環境 2) 原則一： 主節點可靠性要好於從節點 原則二：多路多核，高頻率cpu、大內存， namenode 100萬文件的元數據要消耗800M內存，內存決定了集群保存文件數的總量 ...
hadoop集群運維碰到的問題匯總
1.zookeeper報錯 2017 - 12 - 13 16 : 47 : 55 , 968 [myid:] - INFO [ma ...
hadoop運維問題記錄
hadoop綜合問題記錄 1、hdfs無法啟動 錯誤： 解決： # su hdfs //切換到hdfs用戶，若關閉了hdfs的權限則可略過這一步# hadoop dfsadmin -safemode leave //讓namenode離開安全模式 2、oozie啟動 ...
Kubernetes 運維學習筆記
一、Kubernetes 介紹 Kubernetes是一個全新的基於容器技術的分布式架構領先方案, 它是Google在2014年6月開源的一個容器集群管理系統，使用Go語言開發，Kuberne ...
MongoDB集群運維筆記
前面的文章介紹了MongoDB副本集和分片集群的做法，下面對MongoDB集群的日常維護操作進行小總結： MongDB副本集故障轉移功能得益於它的選舉機制。選舉機制采用了Bul ...