最近公司在做一個大數據項目的時候，數據量達到了1000w+的程度，並且還有源源不斷的數據從采集上來，並需要和數據庫中的數據做一系列的邏輯比對，在此就自己的實踐總結下心得，歡迎批評指正。 　　需求：將MySQL表中的部分數據(狀態為1)的數據和采集上來的新數據(狀態為2)的數據根據已經設置好 ...

當你邁入大數據的領域，首先必要接受的是大數據開發的洗禮，編程語言作為大數據的基礎方向是你入門的突破口，一定要仔細學習。在這里很多同學都會有一個疑問：編程語言那么多，我需要學習哪一門編程語言呢？看到很多人都選擇學習Java，Java和大數據的關系是怎樣的？ 誠然，很多Java程序員都紛紛轉型大數據 ...

大數據必備 關於大數據基礎知識，以前浪尖寫過一篇文章，也多次在 知識星球里分享過經驗。 具體學習內容，可以參看如下文章： 入門大數據必讀 這個可以看到做大數據的話java是必需品，因為基本所有的大數據框架都是jvm開發，或者精確一點都是java或者scala。 況且想做一個牛x的大數據 ...

隨着2017年大數據各種應用的發展，大數據的價值得以充分的發揮，大數據已在企業、社會各個層面都成為重要的手段，數據已成為新的企業戰略制高點，也是各個企業爭奪的新焦點。那么我們一直在說着的大數據究竟是什么呢?為什么提到大數據的時候會經常提到Java，Java與大數據究竟有什么關系 ...

1、關於Java Java就是一門編程語言。實現同一個需求有上百種編程語言可以完成，Java之於大數據就是一種工具罷了。 2、關於大數據 大數據就是一個行業，實現同一個需求同樣有多種工具可以選擇，狹義一點以技術的角度講，各類框架有Hadoop，spark，storm，flink等，就這類技術 ...

學習hadoop已經有很長一段時間了，好像是二三月份的時候朋友給了一個國產Hadoop發行版下載地址，因為還是在學習階段就下載了一個三節點的學習版玩一下。在研究、學習hadoop的朋友可以去找一下看看 ...

　　進入大數據時 代， 雲計算成為大數據基礎設施，也使得大數據的核心思想和雲計算一脈相承。大數據和區塊鏈兩者之間有個共同的關鍵詞：分布式，代表了一種從技術權威壟斷到去中心化的轉變。 　 （去中心化：在一個分布有眾多節點的系統中，每個節點都具有 ...

對於數據排序大家肯定見過不少,選擇排序或者冒泡排序等等,今天我們要做的是快速排序 + 直接插入排序來對大數據（1000萬以上）進行排序,下面我們分別來看看這兩種排序規則 1， 直接插入排序 （1）基本思想：在要排序的一組數中，假設前面(n-1)[n>=2] 個數已經是排 好順序的，現在 ...