本文是从 IPython Notebook 转化而来，效果没有本来那么好。 主要为体验 IPython Notebook。至于题目，改成《在 IPython Notebook 中使用 Spark》也可以，没什么差别。为什么是 Spark？因为这两天在看《Spark 机器学习》这本书第 3 章 ...

前言 使用 Hive insert SQL 后查看 Yarn 发现其跑的是 MR 方式 这里想改用 Spark 引起来缩短 HiveQL 的响应时间 有两种方式 SparkSQL Hive on Spark 两种方式都可以，看个人习惯 Hive on Spark ...

目录 步骤 一、创建maven工程，导入jar包 二、开发代码 ...

原文件名为file1.txt，压缩后原文件消失，压缩后文件名为file1.txt.gz gzip file1.txt 压缩两个文件到一个文件 cat file1.txt file2.txt | gzip > foo.gz 或 gzip -c file1.txt ...

数据库备份，导出的dmp 文件比较大，需要压缩，压缩后大小能变为原来十分之一左右吧。 写的是批处理的语句，每天调用，自动导出dmp 文件，压缩删除原文件。 首先写下路径 先将压缩软件的路径写入系统的环境变量里，加入到path中。比如将“C:\Program Files\WinRAR\”加入到 ...

hadoop对于压缩文件的支持 hadoop对于压缩格式的是透明识别,我们的MapReduce任务的执行是透明的，hadoop能够自动为我们 将压缩的文件解压，而不用我们去关心。 如果我们压缩的文件有相应压缩格式的扩展名（比如lzo，gz，bzip2等），hadoop就会根据扩展名去选择 ...

spark序列化 对于优化<网络性能>极为重要，将RDD以序列化格式来保存减少内存占用. spark.serializer=org.apache.spark.serializer.JavaSerialization Spark默认 使用Java自带 ...

:\\spark-1.6.1-bin-hadoop2.6\\spark-1.6.1-bin-hadoop2.6"); SparkConf ...