大数据平台的搭建思路
做任何事情都要有目标，然后根据这个目标根据自身的条件和外部的情况制定一个思路，这个思路也可以理解为实现目标的路径。那么大数据的平台搭建也不例外。 脚本工具化 没有一个统一的解决方案，针对一些基础通用的功能也没有做抽象和提取，导致脚本维护的成本增加，后期服用的成本也会增高，有重复造轮子的嫌疑 ...
原文：关于智慧大数据中心平台建设思路
一，设计目标 以ES为核心建立数据集中处理平台，支持从各个应收系统采集数据，进行清洗与转换，之后可以进行聚合操作，对外提供API查询 全平台支持数据集自建，支持转换，查询规则自由配置。 二，设计需求 .系统支持自由建立数据集，每个数据集对应一个ES的一个索引的别名。 不要直接用索引名，以后更改名称会很复杂 .数据集的数据收集可以支持多种， .物联网实时消息 .业务日志 .开放API供其它系统提交 ...
2018-08-27 08:45 0 1660 推荐指数：
相关推荐
以大数据为抓手，打造智慧审计平台
宏观决策较难。 传统审计存在的问题大数据来解决！ 大数据审计是指审计机关遵循大数据理念，运用大数据 ...
七牛云大数据平台建设实践
2017 年 1 月 14、15日，为期 2 天的 ECUG Con 十周年大会在深圳圆满结束，会上七牛云 CEO 许式伟做了题为《七牛大数据平台建设实践》的演讲，首次披露七牛云在大数据方向的产品思路，以下是对他本次的演讲实录。 许式伟 七牛云创始人、CEO 从连接到智能 ...
KubeEdge在国家工业互联网大数据中心的架构设计与应用
摘要：在18年的时候，工信部开展了一个叫国家创新发展工程，这个工程中提出了要建立一个国家工业大数据中心，中国移动在其中承担了边缘协同与数据采集相关功能的研发。本文将从该项目背景下面临的问题与挑战、技术选型等方面进行阐述。 一、问题与挑战 需求 从工厂采集生产、运行数据，汇总云端 ...
(数据中心)-传统数据中心机房与微模块机房建设的比较
今天特意讲一下微模块优势，解答一下各位小白。 数据中心机房作为公司内部一个重要的领域，如何保护好机房安全性能非常的重要，微模块机房是数据机房时代化进步的选择。而模块化数据机房，是将大型数据中心分割成若干个独立区域(独立模块)，各个区域 ...
国家电网全业务数据中心统一分析服务平台建设
为途径，建设全国一体化的国家大数据中心，推进技术融合、业务融合、数据融合，实现跨层级、跨地域、跨系统、跨 ...
构建煤矿物联网大数据平台思路(1)
最近要构建一个综合自动化分析平台，需求是实现煤矿十几个子自动化系统的数据收集、分析、报表、统计功能。 现在的趋势是构建物联网大数据平台。但是现有系统是基于传统的EF5+PSpace实时数据库。 先从实时数据库开始下手分析。拿到 sdk 是.net、java、c三种。最后一种不会。分析前两种 ...