原文:沉淀,再出發——在Hadoop集群的基礎上搭建Spark

在Hadoop集群的基礎上搭建Spark 一 環境准備 在搭建Spark環境之前必須搭建Hadoop平台,盡管以前的一些博客上說在單機的環境下使用本地FS不用搭建Hadoop集群,可是在新版spark的安裝之中,我們必須確定SPARK DIST CLASSPATH這個環境變量的值,而這個值恰恰就是Hadoop目錄中的classpath,因為這個原因,我在搭建的過程中吃了很多的苦,希望大家引以為戒。 ...

2018-03-08 13:32 3 3699 推薦指數:

查看詳情

沉淀再出發——在Hadoop集群之上安裝hbase

Hadoop集群之上安裝hbase 一、安裝准備 首先我們確保在ubuntu16.04上安裝了以下的產品,java1.8及其以上,ssh,hadoop集群,其次,我們需要從hbase的官網上下載並安裝這個產品。 二、開始安裝 這里我介紹兩種安裝方式,一種是在偽分布式 ...

Sun Mar 11 22:47:00 CST 2018 0 3539
沉淀再出發:mongodb的使用

沉淀再出發:mongodb的使用 一、前言   這是一篇很早就想寫卻一直到了現在才寫的文章。作為NoSQL(not only sql)中出色的一種數據庫,MongoDB的作用是非常大的,這種文檔型數據庫,其實本質上的增刪改查操作,封裝的都和sql差不多了,最重要的確實其中代表的理念和設計的初衷 ...

Thu Oct 25 17:22:00 CST 2018 0 1585
沉淀再出發:用python畫各種圖表

沉淀再出發:用python畫各種圖表 一、前言 最近需要用python來做一些統計和畫圖,因此做一些筆記。 二、python畫各種圖表 2.1、使用turtle來畫圖 2.2、畫坐標系 2.3、直方圖 ...

Tue Nov 27 05:49:00 CST 2018 0 3501
沉淀再出發:關於java中的AQS理解

沉淀再出發:關於java中的AQS理解 一、前言 在java中有很多鎖結構都繼承自AQS(AbstractQueuedSynchronizer)這個抽象類如果我們仔細了解可以發現AQS的作用是非常大的,但是AQS的底層其實也是使用了大量的CAS,因此我們可以看到CAS的重要性 ...

Mon Oct 29 00:53:00 CST 2018 0 2688
沉淀再出發:docker的原理淺析

沉淀再出發:docker的原理淺析 一、前言 在我們使用docker的時候,很多情況下我們對於一些概念的理解是停留在名稱和用法的地步,如果更進一步理解了docker的本質,我們的技術一定會有質的進步和飛躍的。再看了一些文章之后,我總結了一些docker的本質和核心 ...

Sat Sep 15 01:14:00 CST 2018 0 974
沉淀再出發:Maven的使用和規范

沉淀再出發:Maven的使用和規范 一、前言 Maven作為項目管理工具,在一個大型項目開發的每個階段都有着很大的用處,為什么需要這個東西呢,還是為了消除不確定性,統一化管理,正如我們做的每一件事其實都是為了消除不確定性一樣,知道的越多不確定性就越少,在程序開發之中大家分工協作,每個人 ...

Wed Jul 04 04:46:00 CST 2018 0 1268
沉淀再出發:python中的pandas包

沉淀再出發:python中的pandas包 一、前言 python中有很多的包,正是因為這些包工具才使得python能夠如此強大,無論是在數據處理還是在web開發,python都發揮着重要的作用,下面我們看一下python用於數據處理的pandas包以及相應的用法 ...

Fri Sep 21 19:41:00 CST 2018 0 2658
沉淀再出發:xml的意義和存在的價值

沉淀再出發:xml的意義和存在的價值 一、前言 學習了那么多的語言、框架、語法和基礎知識,我們對於數據的理解或許有了一定的認識,但是如何描述、包裝、傳輸、存儲數據的手法和流程我們了解的或許並不多,其中xml就是一種我們經常使用的用來傳輸和存儲數據來描述信息的方法了。 二、xml的意義 ...

Sun Sep 23 04:39:00 CST 2018 0 691
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM