Apache Spark技术实战之1 -- KafkaWordCount
欢迎转载，转载请注明出处，徽沪一郎。 概要 Spark应用开发实践性非常强，很多时候可能都会将时间花费在环境的搭建和运行上，如果有一个比较好的指导将会大大的缩短应用开发流程。Spark Streaming中涉及到和许多第三方程序的整合，源码中的例子如何真正跑起来，文档不是很多也不详细。 本篇 ...
原文：Apache Spark技术实战之9 -- 日志级别修改
摘要 在学习使用Spark的过程中，总是想对内部运行过程作深入的了解，其中DEBUG和TRACE级别的日志可以为我们提供详细和有用的信息，那么如何进行合理设置呢，不复杂但也绝不是将一个INFO换为TRACE那么简单。 主要问题 调整Spark日志级别的配置文件是 SPARK HOME conf log j.properties，默认级别是INFO，如果曾经将其改为DEBUG的朋友可能会有这样的经历 ...
2015-04-13 22:18 1 4060 推荐指数：
相关推荐
Apache Spark技术实战之5 -- SparkR的安装及使用
欢迎转载，转载请注明出处，徽沪一郎。 概要 根据论坛上的信息，在Sparkrelease计划中，在Spark 1.3中有将SparkR纳入到发行版的可能。本文就提前展示一下如何安装及使用SparkR. SparkR的出现解决了R语言中无法级联扩展的难题，同时也极大的丰富了Spark在机器学习 ...
Apache Spark技术实战之4 -- 利用Spark将json文件导入Cassandra
欢迎转载，转载请注明出处。 概要 本文简要介绍如何使用spark-cassandra-connector将json文件导入到cassandra数据库，这是一个使用spark的综合性示例。 前提条件 假设已经阅读技术实战之3,并安装了如下软件 jdk scala sbt ...
Apache Spark技术实战之3 -- Spark Cassandra Connector的安装和使用
欢迎转载，转载请注明出处，徽沪一郎。 概要 前提 假设当前已经安装好如下软件 jdk sbt git scala 安装cassandra 以archlinux为例，使 ...
Spark设置日志级别
默认是INFO级别，输出内容太多，影响真正输出结果的查找，需要修改成 WARN 或 ERROR 级别 1 spark根目录conf/log4j.properties.template拷贝到工程的resources目录下，并改名成 log4j.properties 2 修改 ...
Spark:控制日志输出级别
Spark:控制日志输出级别 终端修改 在pySpark终端可使用下面命令来改变日志级别 sc.setLogLevel("WARN") # 或者INFO等 修改日志设置文件 ** 通过调整日志的级别来控制输出的信息量.减少Spark Shell使用过程中在终端显示的日志 ...
Apache Spark技术实战之6 -- spark-submit常见问题及其解决
除本人同意外，严禁一切转载，徽沪一郎。 概要 编写了独立运行的Spark Application之后，需要将其提交到Spark Cluster中运行，一般会采用spark-submit来进行应用的提交，在使用spark-submit的过程中，有哪些事情需要注意的呢？ 本文试就此做一个小小的 ...
修改mysql错误日志级别
show variables like '%log_warnings%'; 1代表开启warning信息，0代表关闭warning信息 set session log_warnings=0; ...