大數據技術框架淺析

 IBM提出大數據的五個特征：Volume(大量)、Velocity(高速)、Variety(多樣)、Value(價值)、Veracity(真實性)。大數據主要解決兩個問題：大數據的計算 & 大數據的存儲。隨着大數據相關技術的不斷成熟，大數據已經廣泛應用於各大行業，典型應用如電商網站商品推薦，天氣預報，分布式服務架構中的日志分析系統等。

 

    當前數據處理大致分為兩類OLTP(On-Line Transaction Processing:聯機事物處理)和OLAP(On-Line Analytical Processing:聯機分析處理)。

    OLTP：傳統關系型數據庫的主要應用，面向基本的、日常的事物處理，如銀行交易。

    OLAP：數據倉庫(Data WareHouse)系統的主要應用，支持復雜的分析操作，側重決策支持，如商品推薦。

    OLAP多以分布式文件系統作為數據來源，目前應用廣泛的HDFS(Hadoop Distributed File System:Hadoop分布式文件系統)是當前流行的大數據存儲技術，其思想源於Google的三篇經典論文：

    GFS(Google File System:Google文件系統)：一個分布式文件系統。

    Page Rank(網頁排名)：根據網頁被其他網頁引用的次數計算網頁的排名，具體實現依賴大表(BigTable)和倒排索引(與根據索引查找內容的操作相反，根據內容查找索引)。

    BigTable：Google設計用於處理海量數據、分布式的、非關系型數據庫。用一張大表來存儲數據，通過空間的擴展提高數據查詢效率，以空間換時間。

 

    Hadoop主要解決大數據的存儲問題，提供離線大數據處理方案(Map Reduce)，支持Spark、Impala等數據處理方案。實時大數據處理方案以Storm為代表，數據在內存數據庫(如Redis)中保存。大數據平台從下往上可分為五層：數據來源、數據采集、數據處理、數據挖掘、大數據應用。本文以下圖為據簡述大數據中的典型技術方案。

 

 

    數據來源：系統中可以采集到的數據，如用戶數據、業務數據等，也包含系統運行時產生的日志數據等。

 

    數據采集：不同數據源生成數據類型格式存在差異，在數據采集前可能增加數據總線(如京東JBus)對業務進行解耦，Sqoop和Flume是常用的數據采集工具。

    Sqoop：用於和關系型數據庫進行交互，使用SQL語句在Hadoop和關系型數據庫間傳送數據，Sqoop使用JDBC連接關系型數據庫。

    Flume：一個高可用、高可靠、分布式的海量日志采集、聚合和傳輸的系統。一個Flume代理由三個部分組成：Source、Channel和Sink。Source類似於接受緩沖器，將接收的事件存儲在一個或多個Channel中。Channel被動存儲事件，直到事件被Sink使用。Sink從Channel提取事件將其傳給HDFS或者下一個Flume代理。Flume使用不同的Source接收不同的網絡流，如使用Avro Flume接收Avro(一種數字序列化格式)事件。其支持的流行網絡流如：Thrift、Syslog和Netcat。

 

    數據處理：包含實時的業務邏輯處理以及離線的數據整合存儲等。大數據框架多采用主從(Master/Slave)架構，存在Master單點故障的問題，多采用Zookeeper實現高可用性。

    HDFS：分布式文件系統，由NameNode和一定數目的DataNodes組成集群。HDFS中數據通常有三個備份，用戶只需上傳1次數據，通過機架感知和水平復制自動備份數據。HDFS 2.0默認存儲文件大小為128M，適合存儲大文件。

    Yarn：新的MapReduce框架。分布式主從架構，並行處理大數據。主要分文Mapper和Reducer兩個階段。Mapper主要對數據進行分類整理，Reducer實現數據的規約匯總。2.0版本中MapReduce存在大量IO操作影響效率，在大數據平台中多用Spark代替。

    Spark：通用的大數據分析引擎，功能類似MapReduce。主要包含Spark Core，Spark SQL，Spark Streaming，Spark MLLib(協同過濾、ALS、邏輯回歸等算法庫)，Spark Graphx(圖計算)。

    Hive：用於開發SQL類型腳本用於做MapReduce操作的平台，用於處理結構化數據。

    Pig：用於開發MapReduce操作的腳本程序語言平台，用於處理結構化和半結構化數據。  

    Storm：流處理(實時計算)框架，不同於HDFS的批處理方式，Storm通過創建拓撲結構來轉換持續抵達的數據流，實時處理消息並更新數據庫。

 

    數據挖掘：結合業務需求，合理選擇算法模式(包含機器學習)深入分析當前累積的海量數據，挖掘數據背后價值。

 

    大數據應用：通過上述一系列復雜的數據處理，最終通過應用展示數據的價值。如基於系統日志的大數據分析平台，自動快速識別系統運行風險，及時通知相關人員跟進處理。