本文主要針對中小型應用或網站，重點探討日常程序開發中SQL語句的優化問題，所謂“大數據”、“高並發”僅針對中小型應用而言，專業的數據庫運維大神請無視。以下實踐為個人在實際開發工作中，針對相對“大數據”和相對“高並發”場景的一些應對策略，部分措施並沒有經過嚴格的對比測試和原理分析，如有錯漏歡迎 ...

導讀： 眾所周知，在大數據/數據庫領域，數據的存儲格式直接影響着系統的讀寫性能。spark是一種基於內存的快速、通用、可擴展的大數據計算引擎，適用於新時代的數據處理場景。在“大數據實踐解析（上）：聊一聊spark的文件組織方式”中，我們分析了spark的多種文件存儲格式，以及分區和分桶的設計 ...

配置docker的sudo權限 啟動Spark集群 去容器內部配置 dolphin集群 附錄說明 用戶中心 物質基礎-機器 參考 ...

常見調度框架實現方式 開源 Oozie 成熟穩定可靠，可直接用於生產環境 Azkaban 單點、簡單粗暴，有兩套獨立的調度實現，必須二次開發才可用 ...

功能分析 內置參數 概述 為什么需要一個復雜的工作量調度器? 1、一個完整的數據分析系統通 ...

目前大數據平台經常會用來跑一些批任務，跑批處理當然就離不開定時任務。比如定時抽取業務數據庫的數據，定時跑hive/spark任務，定時推送日報、月報指標數據。任務調度系統已經儼然成為了大數據處理平台不可或缺的一部分。 一、原始任務調度 記得第一次參與大數據平台從無到有的搭建，最 ...

　　比如，對兩個list<object>進行去重，合並操作時，一般的寫法為兩個for循環刪掉一個list中重復的，然后再合並。 　　如果數據量在千條級別，這個速度還是比較快的。但如果數據量超過20W+（比如大批量的導入數據並對數據進行處理）時，則這塊代碼執行時間會比較長，非常影響用戶 ...

正月十五，夜已深，微冷，不一樣的元宵節。 經常會被問起傳統的數據建模和大數據建模有什么區別，於是就在這里總結一些自己的思考。 序號 區別項 傳統數據建模 大數據建模 1 模型用途 業務 ...