1.基本概念了解 2.配置Work內容 錯誤類型 1.$JAVA_HOME 不存在 2.ResourceManager的地址配置 3.mr-framework 錯誤 4 ...

配置docker的sudo權限 啟動Spark集群 去容器內部配置 dolphin集群 附錄說明 用戶中心 物質基礎-機器 參考 ...

docker-compose 使用 dolphinscheduler 修改配置文件：docker-compose.yml 解讀 構建生產環境中使用的 暫時的方法 Dockerfile 參考 ...

點擊上方 藍字關注我們 作者 | 宋哲琦 ✎ 編 者 按 在不久前的 Apache DolphinScheduler Meetup 2021 上，有贊大數據開發平台負責人 宋哲琦 帶來了平台調度系統從 Airflow 遷移到 Apache ...

聯童科技是一家智能化母嬰童產業平台，從事母嬰童行業以及互聯網技術多年，擁有豐富的母嬰門店運營和系統開發經驗，在會員經營和商品經營方面，能夠圍繞會員需求，深入場景，更貼近合作伙伴和消費者，提供最優服務產品，公司致力於以技術來驅動母嬰童產業的發展，公司也希望借助於大數據為客戶提供更多智能數據 ...

目前大數據平台經常會用來跑一些批任務，跑批處理當然就離不開定時任務。比如定時抽取業務數據庫的數據，定時跑hive/spark任務，定時推送日報、月報指標數據。任務調度系統已經儼然成為了大數據處理平台不可或缺的一部分。 一、原始任務調度 記得第一次參與大數據平台從無到有的搭建，最 ...

一、總體設計 初來公司時，公司還沒有大數據，我是作為大數據架構師招入的，結合公司的線上和線下業務，制定了如下的大數據架構路線圖。 二、大數據任務開發和調度平台架構設計 在設計完總體架構后，並且搭建完hadoop/yarn的大數據底層計算平台后， 按照總體架構設計思路， 首先需要構建 ...

基本組件： Zookeeper： 分布式協作框架 節點數目： 測試集群：3個 生產集群：(7個差不多) 小型集群：3個或者5個 中型集群：5個或者7個 大型集群：更多，奇數個 HDFS： 存儲海量數據 YARN： 集群 ...