從3月份到現在2個月過去了，整個數據平台從0到1，算是有了一個基本的樣子，跌跌撞撞的勉強支撐起運營的一些基本業務，當然這僅僅是開始，接下來總結下自己這段時間的得失，以及下一階段的演化目標 關於產品架構的原則可以查看這里，我分了兩篇來寫： https ...

一、總體設計 初來公司時，公司還沒有大數據，我是作為大數據架構師招入的，結合公司的線上和線下業務，制定了如下的大數據架構路線圖。 二、大數據任務開發和調度平台架構設計 在設計完總體架構后，並且搭建完hadoop/yarn的大數據底層計算平台后， 按照總體架構設計思路， 首先需要構建 ...

技術最終為業務服務，沒必要一定要追求先進性，各個企業應根據自己的實際情況去選擇自己的技術路徑。 它不一定具有通用性，但從一定程度講，這個架構可能比BAT的架構更適應大多數企業的情況，畢竟，大多數企業，數據沒到那個份上，也不可能完全自研，商業和開源的結合可能更好一點，權當拋磚引玉。 大數據平台 ...

原文地址：https://blog.csdn.net/np4rHI455vg29y2/article/details/78954866 大數據平台是為了計算，現今社會所產生的越來越大的數據量，以存儲、運算、展現作為目的的平台。大數據技術是指從各種各樣類型的數據中，快速獲得有價值信息的能力。適用於 ...

1. 大數據技術概述 本文由本人學習過程中總結，難免有紕漏，歡迎交流學習 1.1雲計算、物聯網、大數據與人工智能 雲計算使計算機系統資源，特別是存儲和計算能力，在不需要用戶直接主動管理 的情況下隨需應變。這個術語通常用於描述Internet上許多用戶可用的數據中心。 並行計算 ...

前言 最近有很多人問我，大數據專業有什么好的畢設項目，我就簡單的回復了一下。也有直接問我要源碼的.... 所以就抽空寫一寫自己畢業設計的一個思路，大數據是我實習自學的，這個思路是我當初自己想的，就當做一份參考吧。 在我畢業那年，同學們畢業設計大多都是以Java語言開發的各種管理系統、xx ...

導讀：本文將會分上下兩篇對一個重要且常見的大數據基礎設施平台展開討論，即“實時數據平台”。 在上篇設計篇中，我們首先從兩個維度介紹實時數據平台：從現代數倉架構角度看待實時數據平台，從典型數據處理角度看待實時數據處理；接着我們會探討實時數據平台整體設計架構、對具體問題的考量以及解決思路。 在下篇技術 ...

目前大數據平台有很多，這就需要我們可以對大數據平台進行分類，這就可以從大數據處理的過程、大數據處理的數據類型、大數據處理的方式以及平台對數據的部署方式這幾方面進行。 首先我們從大數據處理的方式來划分，這樣我們就能夠把大數據平台分為批量處理、實時處理、綜合處理。其中批量數據是對成批數據進行 ...