Live m3u8播放3个文件自动停止问题
Live m3u8播放3个文件自动停止问题 1.问题描述 最近做一个转码切片播放测试，使用HLS（HTTP Live Streaming）来做直播， 每个TS分片时间为10s,根据TS分片文件生成以下live m3u8文件 将上述m3u8文件保存为live.m3u8，放到 ...
花费 29 ms
Flume+Kafka+Sparkstreaming日志分析
最近要做一个日志实时分析的应用，采用了flume+kafka+sparkstreaming框架，先搞了一个测试Demo，本文没有分析其架构原理。 简介：flume是一个分布式，高可靠，可用的 ...
spark streaming集成kafka接收数据的方式
spark streaming是以batch的方式来消费，strom是准实时一条一条的消费。当然也可以使用trident和tick的方式来实现batch消费(官方叫做mini batch)。效率嘛，有待验证。不过这两种方式都是先把数据从kafka中读取出来，然后缓存在内存或者第三方，再定时处理 ...
谈 Kylin1.6 streaming kafka cube build 成功过程中遇到的坑
坑太多 --写在片首语 看着Kylin官网(http://kylin.apache.org/docs16/tutorial/cube_streaming.html)里的轻描淡写，似乎只要一步步按着它的步骤来做，就可以很快跑通并得到期待的果子 。但，然并卵。。。这次的实践 ...
MapReduce ：基于 FileInputFormat 的 mapper 数量控制
本篇分两部分，第一部分分析使用 java 提交 mapreduce 任务时对 mapper 数量的控制，第二部分分析使用 streaming 形式提交 mapreduce 任务时对 mapper 数量的控制。 环境：hadoop-3.0.2 前言： 熟悉 hadoop ...
spark streaming(2) DAG静态定义及DStream,DStreamGraph
DAG 中文名有向无环图。它不是spark独有技术。它是一种编程思想 ，甚至于hadoop阵营里也有运用DAG的技术，比如Tez，Oozie。有意思的是，Tez是从MapReduce的基础上深 ...
spark streaming 的batchDuration slideDuration windowDuration关系
batchDuration：尝试提交Job任务的间隔，请注意这里是尝试。具体代码如下 假设slideDuration的大小是batchDuration的N倍，那么前N－1次尝试都会无法 ...