工作中用到了apache spark，想深入了解一下，决定从源码开始。 先导入到常用的ide，eclipse吧： 准备工作 . 下载Eclipse：http: scala ide.org . 从github上下载源码：https: github.com apache spark 第一个实验品是Spark Core项目 . exist maven project 导入Eclipse . Eclips ...
2016-01-16 13:09 0 2138 推荐指数：
在Eclipse中集成scala环境后，发现导入的Spark包报错，提示是：object apache is not a member of package org，网上说了一大推，其实问题很简单； 解决办法：在创建scala工程是，到了创建包的这一步是我们要选择： 而不是创建java工程 ...
欢迎转载，转载请注明出处。 概要 本文简要介绍如何使用spark-cassandra-connector将json文件导入到cassandra数据库，这是一个使用spark的综合性示例。 前提条件 假设已经阅读技术实战之3,并安装了如下软件 jdk scala sbt ...
Apache Commons https://en.wikipedia.org/wiki/Apache_Commons 右键项目->Properties->Java Build Path->Libraries->Add External ...
前言 最近看了看Apache Flume，在虚拟机里跑了一下flume + kafka + storm + mysql架构的demo，功能很简单，主要是用flume收集数据源（http上报信息），放入到kafka队列里，然后用storm消费kafka里的资源，计算结果并存入到mysql中 ...
准备条件 我用的Eclipse版本 Eclipse Java EE IDE for Web Developers. Version: Luna Release (4.4.0) 我用的是Eclipse for Java EE， 这个和Eclipse 是一样的 最好是用高版本 ...
欢迎转载，转载请注明出处，徽沪一郎。 楔子 Hive是基于Hadoop的开源数据仓库工具，提供了类似于SQL的HiveQL语言，使得上层的数据分析人员不用知道太多MapReduce的知识就能对存 ...
eclipse + maven + scala+spark环境搭建 一、配置eclipse + maven + scala环境 1. 在Eclipse Market中安装Scala IDE、Maven 2. 安装m2e-scala(图中的url ...
1、安装JDK及配置java环境变量 本文使用版本为jdk1.7.0_79，过程略 2、安装scala 本文使用版本为2.11.8，过程略 3、安装spark 本文使用版本为spark-2.0.1-bin-hadoop2.7，解压后路径：D ...
