Apache Spark技术实战之3 -- Spark Cassandra Connector的安装和使用
欢迎转载，转载请注明出处，徽沪一郎。 概要 前提 假设当前已经安装好如下软件 jdk sbt git scala 安装cassandra 以archlinux为例，使 ...
原文：MongoDB Spark Connector 实战指南
Why Spark with MongoDB 高性能，官方号称 x faster，因为可以全内存运行，性能提升肯定是很明显的 简单易用，支持 Java Python Scala SQL 等多种语言，使得构建分析应用非常简单 统一构建 ，支持多种数据源，通过 Spark RDD 屏蔽底层数据差异，同一个分析应用可运行于不同的数据源 应用场景广泛，能同时支持批处理以及流式处理 MongoDB Spar ...
2019-10-03 05:29 0 724 推荐指数：
相关推荐
MongoDB实战指南(三)：MongoDB的锁机制
与关系数据库一样，MongoDB也是通过锁机制来保证数据的完整性和一致性，MongoDB利用读写锁来支持并发操作，读锁可以共享写锁具有排他性。当一个读锁存在时，其他读操作也可以用这个读锁；但当一个写锁存在时，其他任何读写操作都不能共享这把锁，当一个读和写都等待一个锁时，MongoDB将优先分配 ...
Spark(1.6.1) Sql 编程指南+实战案例分析
首先看看从官网学习后总结的一个思维导图 概述(Overview) Spark SQL是Spark的一个模块，用于结构化数据处理。它提供了一个编程的抽象被称为DataFrames，也可以作为分布式SQL查询引擎。 开始Spark SQL Spark SQL中所 ...
Spark Connector Reader 原理与实践
本文主要讲述如何利用 Spark Connector 进行 Nebula Graph 数据的读取。 Spark Connector 简介 Spark Connector 是一个 Spark 的数据连接器，可以通过该连接器进行外部数据系统的读写操作，Spark Connector 包含两部分 ...
mongodb bi-connector 使用
mongodb bi-connector 是一个方便的mongodb 2 sql 工具，我们可以使用sql 的强大查询能力，分析mongo的数据，以下是一些 简单操作，以及一些部署上的细节说明，后边会介绍spring boot 集成的说明 安装 为了方便测试使用本地docker 运行 ...
项目实战从0到1之Spark（8）spark读取mongodb数据写入hive表中
一 环境： 二.数据情况： 三.Eclipse+Maven+Java 3.1 依赖： ...
Mongo Spark Connector中的分区器（一）
MongoSpark为入口类，调用MongoSpark.load，该方法返回一个MongoRDD类对象，Mongo Spark Connector框架本质上就是一个大号的自定义RDD，加了些自定义配置、适配几种分区器规则、Sql的数据封装等等，个人认为相对核心的也就是分区器的规则实现；弄清楚 ...
elasticsearch同步mongodb--mongo connector的使用
部署准备 python-3.6.4-amd64.exe mongodb-win32-x86_64-3.4.6-signed.msi （如果已经安装可以忽略） 注意点！ 之前我写的一篇文章用的是elasticsearch 6.0版本的。但是mongo connector只支持到5.x版本 ...