宜信数据采集平台DBus生产环境部署实战案例 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.准备工作 1>.MySQL数据库安装 ...

功能远超Sqoop、DataX、Flume、Logatash、Filebeat等采集工具 注：由于文章篇幅有限，获取资料可直接扫二维码 深知其他组件的局限性，才能彰显DBus的优越感 当前有很多数据采集工具（Sqoop、DataX、Flume、Logatash ...

大数据平台的数据采集 数据采集的设计，几乎完全取决于数据源的特性，毕竟数据源是整个大数据平台蓄水的上游，数据采集不过是获取水源的管道罢了。 在数据仓库的语境下，ETL基本上就是数据采集的代表，包括数据的提取（Extract)、转换(Transform)和加载(Load)。在转换的过程中 ...

需求场景还原 国内某二线城市某科技公司，项目、产品繁多，软硬件通吃。硬件大牛H，软件新人S，研发BOSS： H：BOSS，这两天刚刚搞出个采集电参数的模块，能不能安排人做个简单的测试程序，就是一个串口，电脑上看一下数据就行，很简单的； BOSS：可以，小S，你把老H这个功能实现下，在我原来 ...

我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文讲解数据采集 ...

关于从0到1搭建大数据平台，之前的一篇博文《如何从0到1搭建大数据平台》已经给大家介绍过了，接下来我们会分步讲解搭建大数据平台的具体注意事项。 一、“大”数据 海量的数据 当你需要搭建大数据平台的时候一定是传统的关系型数据库无法满足业务的存储计算要求了，所以首先我们面临的是海量的数据 ...

最近文章：高可用数据采集平台（如何玩转3门语言php+.net+aauto）、高并发数据采集的架构应用（Redis的应用） 项目文档：关键词匹配项目深入研究（二）- 分表思想的引入 吐槽：本人也是非常讨厌拿来主义的，有些培训每个细节都提到过，主管还找我要实际案例，而不是去安排合适的人去做这件 ...

2020-03-01 组件版本 Confluent Platform:5.2.2 : https://www.confluent.io/ Debezium:1.0.0 : https://deb ...