spark-streaming任务提交遇到的坑 一、背景 　　基本所有公司互联网公司都会有离线和实时任务，达到实时的目的手段据个人了解有storm、spark-streaming、flink。今天来探讨一下spark-streaming任务的开发到上线过程中遇到的问题。 　　公司领导最近提了 ...

在Python3.x中，使用print时出错（SyntaxError: Missing parentheses in call to 'print'）解决办法 Python2到Python3，很多基 ...

此贴记录工作过程中遇到的那些坑爹问题。 1、spring mvc 静态资源处理 　　spring提供三种对静态资源的处理方式，我使用的是<mvc:resources mapping="/images/**" location="/images/" />方式，由于之前分文件配置 ...

在学习Spark的过程中，写程序统计单词数量的时候，突然想把统计后的（单词, 次数) 这样的集合根据各单词出现的次数从高到低倒序排列。于是在网上查了下有sortBy()函数可以实现。试了下没问题。然而由于单词过多，排序后打印出来的结果过长，于是想取前 10 条来验证，自然地想到使用top()函数 ...

1.HDFS 修复 问题描述：其他部门在yarn平台上跑spark 程序错误的生成了海量的不到100K的小文件，导致namenode压力过大，其中一个namenode宕机后，没有及时发现 使得edits文件大量积累，在namenode1宕机后，namenode2 随后在凌晨1点也宕机 ...

一.经验 1.Spark Streaming包含三种计算模式：nonstate .stateful .window 2.kafka可通过配置文件使用自带的zookeeper集群 3.Spark一切操作归根结底是对RDD的操作 4.部署Spark任务，不用拷贝整个架包，只需拷贝 ...

最近公司开发一个微信小程序项目加shiro的项目。因为微信小程序是不使用cookie，使用的是 storage 。那么我们就不能使用传统的方式来保持登录状态了。 1.首先和网上的一样，先重写一个Se ...

系统背景 spark streaming + Kafka高级API receiver 目前资源分配（现在系统比较稳定的资源分配），独立集群 --driver-memory 50G --executor-memory ...