这一个月我都干了些什么 工作上，还是一如既往的写bug并不亦乐乎的修bug。学习上，最近看了一些非专业书籍，时常在公众号 JackieZheng 上写点小感悟，我刚稍稍瞄了下，最近五篇居然都跟技术无关，看来我与本行业已经是渐行渐远了。 所以，趁着这篇博客，重拾自己，认清自己，要时刻谨记我是一名码农。不过，摸着良心说，最近的技术方面也是有所感悟和积累的，比如如何写好设计文档，如何使用延时队列，如何使 ...
2017-06-04 00:18 2 4626 推荐指数：
初次尝试用 Spark+scala 完成项目的重构，由于两者之前都没接触过，所以边学边用的过程大多艰难。首先面临的是如何快速上手，然后是代码调优、性能调优。本章主要记录自己在项目中遇到的问题以及解决方式，下篇会尝试调优方法。末尾会分享自己的学习资料，也供大多菜鸟第一次使用作为参考。由于自己项目 ...
1. Java版本不一致，导致启动报错。 2. Spark1和Spark2并存，启动时报错。 3.缺少Hadoop依赖包 4. 报错信息：java.lang.Error ...
至Spark，存储方面我们依然想利用RCFile的优势，但是具体实践中遇到那么几个“坑”。 ...
Scala： Python： 因为spark交叉验证的数据集必须是data frame，也是醉了！ ...
Spark Core 一、什么是Spark？（官网：http://spark.apache.org） 1、什么是Spark？ 我的翻译：Spark是一个针对大规模数据处理的快速通用引擎。 Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学 ...
Spark SQL 一、Spark SQL基础 1、Spark SQL简介 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。http://spark.apache.org/sql/ 为什么要学习 ...
一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署Spark任务，不用拷贝整个架包，只需拷贝 ...
系统背景 spark streaming + Kafka高级API receiver 目前资源分配（现在系统比较稳定的资源分配），独立集群 --driver-memory 50G --executor-memory ...
