Apache Spark技术实战之4 -- 利用Spark将json文件导入Cassandra
欢迎转载，转载请注明出处。 概要 本文简要介绍如何使用spark-cassandra-connector将json文件导入到cassandra数据库，这是一个使用spark的综合性示例。 前提条件 假设已经阅读技术实战之3,并安装了如下软件 jdk scala sbt ...
原文：Apache Spark技术实战之3 -- Spark Cassandra Connector的安装和使用
欢迎转载，转载请注明出处，徽沪一郎。 概要 前提 假设当前已经安装好如下软件 jdk sbt git scala 安装cassandra 以archlinux为例，使用如下指令来安装cassandra 启动cassandra 创建keyspace和table, 运行 usr bin cqlsh进入cql console，然后执行下述语句创建keyspace和table 添加记录，继续使用cql c ...
2014-09-02 21:48 0 3397 推荐指数：
相关推荐
Apache Spark技术实战之5 -- SparkR的安装及使用
欢迎转载，转载请注明出处，徽沪一郎。 概要 根据论坛上的信息，在Sparkrelease计划中，在Spark 1.3中有将SparkR纳入到发行版的可能。本文就提前展示一下如何安装及使用SparkR. SparkR的出现解决了R语言中无法级联扩展的难题，同时也极大的丰富了Spark在机器学习 ...
cassandra 之 在spark-shell 中使用 spark cassandra connector 完整案例
1、cassandra 准备 启动cqlsh， 2、spark cassandra conector jar包 新建空项目，使用sbt,引入connector,打包为spark-cassandra-connector ...
Apache Spark技术实战之1 -- KafkaWordCount
欢迎转载，转载请注明出处，徽沪一郎。 概要 Spark应用开发实践性非常强，很多时候可能都会将时间花费在环境的搭建和运行上，如果有一个比较好的指导将会大大的缩短应用开发流程。Spark Streaming中涉及到和许多第三方程序的整合，源码中的例子如何真正跑起来，文档不是很多也不详细。 本篇 ...
Apache Spark技术实战之9 -- 日志级别修改
摘要 在学习使用Spark的过程中，总是想对内部运行过程作深入的了解，其中DEBUG和TRACE级别的日志可以为我们提供详细和有用的信息，那么如何进行合理设置呢，不复杂但也绝不是将一个INFO换为TRACE那么简单。 主要问题 调整Spark日志级别的配置文件是$SPARK ...
MongoDB Spark Connector 实战指南
Why Spark with MongoDB? 高性能，官方号称 100x faster，因为可以全内存运行，性能提升肯定是很明显的 简单易用，支持 Java、Python、Scala、SQL 等多种语言，使得构建分析应用非常简单 统一构建 ，支持多种数据源，通过 Spark ...
Apache Spark技术实战之6 -- spark-submit常见问题及其解决
除本人同意外，严禁一切转载，徽沪一郎。 概要 编写了独立运行的Spark Application之后，需要将其提交到Spark Cluster中运行，一般会采用spark-submit来进行应用的提交，在使用spark-submit的过程中，有哪些事情需要注意的呢？ 本文试就此做一个小小的 ...
Apache Spark简单介绍、安装及使用
Apache Spark简介 Apache Spark是一个高速的通用型计算引擎，用来实现分布式的大规模数据的处理任务。 分布式的处理方式可以使以前单台计算机面对大规模数据时处理不了的情况成为可能。 Apache ...