原文:Spark学习笔记(一)——基础概述

本篇笔记主要说一下Spark到底是个什么东西,了解一下它的基本组成部分,了解一下基本的概念,为之后的学习做铺垫。过于细节的东西并不深究。在实际的操作过程中,才能够更加深刻的理解其内涵。 什么是Spark Spark是由美国加州伯克利大学的AMP实验室开发的,一款基于内存计算的大数据并行计算框架,可用于构建大型的 低延迟的数据分析应用程序。 说白了就是搞数据计算分析的框架,过于细节的东西在学习过程中 ...

2020-01-09 11:06 1 662 推荐指数:

查看详情

OGG学习笔记01-基础概述

OGG学习笔记01-基础概述 OGG(Oracle Golden Gate),最近几年在数据同步、容灾领域特别火,甚至比Oracle自己的原生产品DataGuard还要风光,主要是因为其跨平台、跨数据库、跨版本的强大特性。 OGG理论概念 我们可以搜索到网上对它的简单介绍: > ...

Thu Jan 12 23:19:00 CST 2017 2 1647
FastAPI 基础学习(一)概述

作者:麦克煎蛋 出处:https://www.cnblogs.com/mazhiyong/ 转载请保留这段声明,谢谢! 为什么选择 FastAPI ? FastAPI 是Python领域 ...

Thu Apr 30 19:16:00 CST 2020 0 5603
Docker学习笔记(一)—— 概述

1. Docker是个什么玩意 说Docker是什么之前,先来看一看Docker为什么会出现。我们知道,在学习过程中我们需要频繁地安装配置一些软件,不管是在Windows下还是在Linux,这些东西的配置过程都是非常费时费力的,稍有不慎就得删了重来,换一台机器,还得重来一次,更讨厌的是经常出现 ...

Tue Oct 29 03:57:00 CST 2019 0 336
Arduino学习笔记 (一) -- 概述

Arduino 概述 Arduino是一个基于易用硬件和软件的原型平台(开源)。它由可编程的电路板(称为微控制器)和称为Arduino IDE(集成开发环境)的现成软件组成,用于将计算机代码写入并上传到物理板。 主要特点 ...

Fri Jan 17 18:45:00 CST 2020 0 1139
HDFS学习笔记(一)——概述

1. HDFS产出的背景及定义 1.1 HDFS产生的背景 随着数据量越来越大,在一个操作系统存不下所有的数据,那么就分配到更多的操作系统管理的磁盘中,但是不方便管理和维护,迫切需要一种系统来管 ...

Sat Oct 26 06:32:00 CST 2019 0 401
Python+Spark2.0+hadoop学习笔记——pyspark基础

在历经千辛万苦后,终于把所有的东西都配置好了。 下面开始介绍pyspark的一些基础内容,以字数统计为例。 1)在本地运行pyspark程序 读取本地文件 textFile=sc.textFile("file:/usr/local/spark/README.md ...

Tue Mar 31 18:47:00 CST 2020 0 1206
Spark (Python版) 零基础学习笔记(一)—— 快速入门

由于Scala才刚刚开始学习,还是对python更为熟悉,因此在这记录一下自己的学习过程,主要内容来自于spark的官方帮助文档,这一节的地址为: http://spark.apache.org/docs/latest/quick-start.html 文章主要是翻译了文档的内容,但也在里 ...

Sat Nov 12 14:16:00 CST 2016 0 46780
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM