1: LSTM结构推导，为什么比RNN好？ 答案：推导forget gate，input gate，cell state， hidden information等的变化；因为LSTM有进有出且当前的c ...

一.sparksql读取数据源的过程 1.spark目前支持读取jdbc，hive,text,orc等类型的数据，如果要想支持hbase或者其他数据源，就必须自定义 2.读取过程 （1）s ...

...

1、为什么开启动态资源分配 ⽤户提交Spark应⽤到Yarn上时，可以通过spark-submit的num-executors参数显示地指定executor 个数，随后，ApplicationMas ...

1.并行度 在direct方式下，sparkStreaming的task数量是等于kafka的分区数，kakfa单个分区的一般吞吐量为10M/s 常规设计下：kafka的分区数一般为broken节 ...

推荐阅读： 滴滴Booster移动App质量优化框架-学习之旅 一 Android 模块Api化演练 不一样视角的Glide剖析(一) 一、Booster简介 Booster是滴滴最近开源一个的移动应用质量优化框架项目，专门为移动应用而设计的简单易用、轻量级、功能强大且可扩展 ...

滴滴三面 ...

triftserver是基于jdbc的一个spark的服务，可以做web查询，多客户端访问，但是thriftserver没有高可用，服务挂掉后就无法在访问，所有使用注册到zk的方式来实现 ...

推荐阅读： 滴滴Booster移动App质量优化框架-学习之旅 一 Android 模块Api化演练 不一样视角的Glide剖析(一) 续写滴滴Booster移动APP质量优化框架学习之旅，上篇文章分析内置的transform：booster-transform-shrink ...

sparkUi的4040界面已经有了运行监控指标，为什么我们还要自定义存入redis？ 1.结合自己的业务，可以将监控页面集成到自己的数据平台内，方便问题查找，邮 ...