本文源碼：GitHub·點這里 || GitEE·點這里 一、大數據簡介 1、基礎概念 大數據是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據技術則主要用來解決海量 ...

大數據離線部分 1、HDFS 1：HDFS的架構部分及工作原理 NameNode：負責管理元素據，將信息保存在內存中 DataNode：保存數據，以塊的形式保存。啟動后需要定時的向NameNode發送心跳，報告自身存儲的塊信息 2：HDFS的上傳過程 3：HDFS ...

前言 不知不覺，2020年已經過去一半了，最近突然反應過來自己也看了不少文獻資料了，就想着把看過的文獻和覺得比較好的書籍做一個總結，基本都是大數據分布式領域的，回顧自己學識的同時，也給想從事或這個領域的小伙伴一些參考 😃。最后順便把接下來要看的東西列個列表，也會將自己學習的心得和經驗分享 ...

數據集成 1.背景： ​ 因業務需要，事業單位內部普遍構建了多個異構的信息系統，這些信息系統中管理的數據源彼此獨立、相互封閉，形成“信息孤島”無法形成快速有效的共享。 2.定義： ​ 數據集成把一組自治、異構數據源中的數據進行邏輯或物理上的集中，並對外提供統一的訪問接口，從而實現全面 ...

大數據知識梳理（整理中。。。） 一、大數據概述 大數據的特征（4V）： 1、Volume，數據量大 2、Variety，數據類型多 大數據由結構化和非結構化數據組成： 10%的結構化數據，存儲在數據庫中； 90%的非結構化數據，與人類信息密切相關。 3、Velocity，處理速度 ...

參考博客：做了五年大數據開發工程師總結的的大數據學習路線 大數據的4V特征： 1. 數據量大，TB->PB 2. 數據類型繁多，結構化、非結構化文本、日志、視頻、圖片、地理位置等； 3. 商業價值高，但是這種價值需要 ...

講述HDFS上傳文件和讀文件的流程 HDFS 上傳流程 過程解析：詳解這里描述的 是一個256M的文件上傳過程 ① 由客戶端 向 NameNode節點節點 發出請求②NameNode 向Client返回可以可以存數據的 DataNode 這里遵循 機架感應 原則③客戶端 ...

1、fsimage和edit的區別？ 2、列舉幾個配置文件優化？ --發揮 3、datanode 首次加入 cluster 的時候 ...