大数据开发实战：Stream SQL实时开发一
SQL抽象层，降低实时开发的门槛。 流计算SQL的原理其实很简单，就是在SQL和底层的流计算引擎 ...
原文：离线和实时大数据开发实战
离线和实时大数据开发实战 目 录 前言 第一篇 数据大图和数据平台大图 第 章 数据大图 . 数据流程 . . 数据产生 . . 数据采集和传输 . . 数据存储处理 . . 数据应用 . 数据技术 . . 数据采集传输主要技术 . . 数据处理主要技术 . . 数据存储主要技术 . . 数据应用主要技术 . 数据相关从业者和角色 . . 数据平台开发 运维工程师 . . 数据开发 运维工程师 . ...
2019-01-10 18:48 0 1046 推荐指数：
相关推荐
大数据：离线数据开发
从采集系统中收集了大量的原始数据后，数据只有被整合和计算，才能被用于洞察商业规律，挖掘潜在信息，从而实现大数据价值，达到赋能于商业和创造价值的目的； 面对海量的数据和复杂的计算，阿里的数据计算层包括两大体系：数据存储及计算平台（离线计算凭他 MaxCompute、实时计算平台 ...
大数据开发实战：离线大数据处理的主要技术--Hive,概念，SQL，Hive数据库
1、Hive出现背景 Hive是Facebook开发并贡献给Hadoop开源社区的。它是建立在Hadoop体系架构上的一层SQL抽象，使得数据相关人员使用他们最为熟悉的SQL语言就可以进行海量数据的处理、分析和统计工作， 而不是必须掌握Java等编程语言和具备开发 ...
公司招聘大数据开发工程师（离线计算、实时计算）
国内某大数据供应商 岗位要求1、本科以上学历，计算机及相关专业毕业。2、对大数据处理有强烈兴趣，掌握至少一种主流开源技术方案，如Hadoop、Spark、Flink、Hbase，ES，kafka等，熟悉开源组件开发、系统调优、高可用等技术。3、具备1-3年以上Java开发经验，掌握Python ...
大数据开发实战：数据平台大图和离线数据平台整体架构
1、数据平台 2、离线数据平台整体架构 参考资料：《离线和实时大数据开发实战》 ...
大数据实战手册-开发篇之spark实战案例：实时日志分析
2.6 spark实战案例：实时日志分析 2.6.1 交互流程图 2.6.2 客户端监听器（java） 2.6.3 sparkStream实时数据接收（python） 2.6.4 sparklSQL、RDD结算、结构化搜索 ...
大数据开发实战：实时数据平台和流计算
1、实时数据平台整体架构 实时数据平台的支撑技术主要包含四个方面：实时数据采集（如Flume）,消息中间件（如Kafka）, 流计算框架（如Storm, Spark, Flink和Beam），以及数据实时存储（如列族存储的HBase） 实时数据平台最为核心的技术 ...
SparkStreaming实时流式大数据处理实战总结
总结《SparkStreaming实时流式大数据处理实战》 一、初始spark 1. 初始sparkstreaming 1.1 大数据处理模式 1. 一种是原生流处理（Native）的方式，即所有输入记录会一条接一条地被处理，storm 和 flink 2. 另一种是微批处理（Batch ...