本文主要针对中小型应用或网站，重点探讨日常程序开发中SQL语句的优化问题，所谓“大数据”、“高并发”仅针对中小型应用而言，专业的数据库运维大神请无视。以下实践为个人在实际开发工作中，针对相对“大数据”和相对“高并发”场景的一些应对策略，部分措施并没有经过严格的对比测试和原理分析，如有错漏欢迎 ...

导读： 众所周知，在大数据/数据库领域，数据的存储格式直接影响着系统的读写性能。spark是一种基于内存的快速、通用、可扩展的大数据计算引擎，适用于新时代的数据处理场景。在“大数据实践解析（上）：聊一聊spark的文件组织方式”中，我们分析了spark的多种文件存储格式，以及分区和分桶的设计 ...

配置docker的sudo权限 启动Spark集群 去容器内部配置 dolphin集群 附录说明 用户中心 物质基础-机器 参考 ...

常见调度框架实现方式 开源 Oozie 成熟稳定可靠，可直接用于生产环境 Azkaban 单点、简单粗暴，有两套独立的调度实现，必须二次开发才可用 ...

功能分析 内置参数 概述 为什么需要一个复杂的工作量调度器? 1、一个完整的数据分析系统通 ...

目前大数据平台经常会用来跑一些批任务，跑批处理当然就离不开定时任务。比如定时抽取业务数据库的数据，定时跑hive/spark任务，定时推送日报、月报指标数据。任务调度系统已经俨然成为了大数据处理平台不可或缺的一部分。 一、原始任务调度 记得第一次参与大数据平台从无到有的搭建，最 ...

　　比如，对两个list<object>进行去重，合并操作时，一般的写法为两个for循环删掉一个list中重复的，然后再合并。 　　如果数据量在千条级别，这个速度还是比较快的。但如果数据量超过20W+（比如大批量的导入数据并对数据进行处理）时，则这块代码执行时间会比较长，非常影响用户 ...

正月十五，夜已深，微冷，不一样的元宵节。 经常会被问起传统的数据建模和大数据建模有什么区别，于是就在这里总结一些自己的思考。 序号 区别项 传统数据建模 大数据建模 1 模型用途 业务 ...