在Hadoop集群之上安裝hbase 一、安裝准備 首先我們確保在ubuntu16.04上安裝了以下的產品,java1.8及其以上,ssh,hadoop集群,其次,我們需要從hbase的官網上下載並安裝這個產品。 二、開始安裝 這里我介紹兩種安裝方式,一種是在偽分布式 ...
在Hadoop集群的基礎上搭建Spark 一 環境准備 在搭建Spark環境之前必須搭建Hadoop平台,盡管以前的一些博客上說在單機的環境下使用本地FS不用搭建Hadoop集群,可是在新版spark的安裝之中,我們必須確定SPARK DIST CLASSPATH這個環境變量的值,而這個值恰恰就是Hadoop目錄中的classpath,因為這個原因,我在搭建的過程中吃了很多的苦,希望大家引以為戒。 ...
2018-03-08 13:32 3 3699 推薦指數:
在Hadoop集群之上安裝hbase 一、安裝准備 首先我們確保在ubuntu16.04上安裝了以下的產品,java1.8及其以上,ssh,hadoop集群,其次,我們需要從hbase的官網上下載並安裝這個產品。 二、開始安裝 這里我介紹兩種安裝方式,一種是在偽分布式 ...
沉淀再出發:mongodb的使用 一、前言 這是一篇很早就想寫卻一直到了現在才寫的文章。作為NoSQL(not only sql)中出色的一種數據庫,MongoDB的作用是非常大的,這種文檔型數據庫,其實本質上的增刪改查操作,封裝的都和sql差不多了,最重要的確實其中代表的理念和設計的初衷 ...
沉淀再出發:用python畫各種圖表 一、前言 最近需要用python來做一些統計和畫圖,因此做一些筆記。 二、python畫各種圖表 2.1、使用turtle來畫圖 2.2、畫坐標系 2.3、直方圖 ...
沉淀再出發:關於java中的AQS理解 一、前言 在java中有很多鎖結構都繼承自AQS(AbstractQueuedSynchronizer)這個抽象類如果我們仔細了解可以發現AQS的作用是非常大的,但是AQS的底層其實也是使用了大量的CAS,因此我們可以看到CAS的重要性 ...
沉淀,再出發:docker的原理淺析 一、前言 在我們使用docker的時候,很多情況下我們對於一些概念的理解是停留在名稱和用法的地步,如果更進一步理解了docker的本質,我們的技術一定會有質的進步和飛躍的。再看了一些文章之后,我總結了一些docker的本質和核心 ...
沉淀,再出發:Maven的使用和規范 一、前言 Maven作為項目管理工具,在一個大型項目開發的每個階段都有着很大的用處,為什么需要這個東西呢,還是為了消除不確定性,統一化管理,正如我們做的每一件事其實都是為了消除不確定性一樣,知道的越多不確定性就越少,在程序開發之中大家分工協作,每個人 ...
沉淀,再出發:python中的pandas包 一、前言 python中有很多的包,正是因為這些包工具才使得python能夠如此強大,無論是在數據處理還是在web開發,python都發揮着重要的作用,下面我們看一下python用於數據處理的pandas包以及相應的用法 ...
沉淀再出發:xml的意義和存在的價值 一、前言 學習了那么多的語言、框架、語法和基礎知識,我們對於數據的理解或許有了一定的認識,但是如何描述、包裝、傳輸、存儲數據的手法和流程我們了解的或許並不多,其中xml就是一種我們經常使用的用來傳輸和存儲數據來描述信息的方法了。 二、xml的意義 ...