OGG學習筆記01-基礎概述 OGG(Oracle Golden Gate),最近幾年在數據同步、容災領域特別火,甚至比Oracle自己的原生產品DataGuard還要風光,主要是因為其跨平台、跨數據庫、跨版本的強大特性。 OGG理論概念 我們可以搜索到網上對它的簡單介紹: > ...
本篇筆記主要說一下Spark到底是個什么東西,了解一下它的基本組成部分,了解一下基本的概念,為之后的學習做鋪墊。過於細節的東西並不深究。在實際的操作過程中,才能夠更加深刻的理解其內涵。 什么是Spark Spark是由美國加州伯克利大學的AMP實驗室開發的,一款基於內存計算的大數據並行計算框架,可用於構建大型的 低延遲的數據分析應用程序。 說白了就是搞數據計算分析的框架,過於細節的東西在學習過程中 ...
2020-01-09 11:06 1 662 推薦指數:
OGG學習筆記01-基礎概述 OGG(Oracle Golden Gate),最近幾年在數據同步、容災領域特別火,甚至比Oracle自己的原生產品DataGuard還要風光,主要是因為其跨平台、跨數據庫、跨版本的強大特性。 OGG理論概念 我們可以搜索到網上對它的簡單介紹: > ...
作者:麥克煎蛋 出處:https://www.cnblogs.com/mazhiyong/ 轉載請保留這段聲明,謝謝! 為什么選擇 FastAPI ? FastAPI 是Python領域 ...
第1章 Spark 概述1.1 什么是 Spark1.2 Spark 特點1.3 Spark 的用戶和用途第2章 Spark 集群安裝2.1 集群角色2.2 機器准備2.3 下載 Spark 安裝包2.4 配置 Spark Standalone 模式2.5 配置 Spark History ...
1. Docker是個什么玩意 說Docker是什么之前,先來看一看Docker為什么會出現。我們知道,在學習過程中我們需要頻繁地安裝配置一些軟件,不管是在Windows下還是在Linux,這些東西的配置過程都是非常費時費力的,稍有不慎就得刪了重來,換一台機器,還得重來一次,更討厭的是經常出現 ...
Arduino 概述 Arduino是一個基於易用硬件和軟件的原型平台(開源)。它由可編程的電路板(稱為微控制器)和稱為Arduino IDE(集成開發環境)的現成軟件組成,用於將計算機代碼寫入並上傳到物理板。 主要特點 ...
1. HDFS產出的背景及定義 1.1 HDFS產生的背景 隨着數據量越來越大,在一個操作系統存不下所有的數據,那么就分配到更多的操作系統管理的磁盤中,但是不方便管理和維護,迫切需要一種系統來管 ...
在歷經千辛萬苦后,終於把所有的東西都配置好了。 下面開始介紹pyspark的一些基礎內容,以字數統計為例。 1)在本地運行pyspark程序 讀取本地文件 textFile=sc.textFile("file:/usr/local/spark/README.md ...
由於Scala才剛剛開始學習,還是對python更為熟悉,因此在這記錄一下自己的學習過程,主要內容來自於spark的官方幫助文檔,這一節的地址為: http://spark.apache.org/docs/latest/quick-start.html 文章主要是翻譯了文檔的內容,但也在里 ...