大数据监控
数据作为大数据系统的核心，需要进行监控，合理的监控与报警策略不但可以帮助我们快速发现和定位故障，而且还可以智能化的预测可能发生的问题。我们可以根据业务的规则制定重点的监控指标，保证数据具备高质量。 在大数据的监控中，对数据质量进行监控是最为直接的。因为从数据使用者的角度来说 ...
原文：企业安全监控中的大数据技术
目录 数据源 Filebeat Kafka Flink ES Kibana 参考 最近在做企业安全建设，企业安全建设中最常见的一项就是做监控，监控的种类多种多样，但是底层的技术栈却基本是一致的 大数据技术，下面我记录一下我最近学习到的一些大数据技术，下文只是描述个脉络而已。 大数据的技术栈，以及对应的上下依赖图如下： 看完这个图，是不是觉得和之前学习过的网络协议 框架都非常相识，无非就是把里面的 ...
2020-07-30 12:41 1 712 推荐指数：
相关推荐
大数据技术
大数据技术 大数据主要涉及到数据的采集、存储、计算和分析、以及管理调度。 数据的采集 数据存储 数据管理调度 数据计算和分析 大数据技术涉及：数据的采集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。 对于大数据技术，应用广泛 ...
大数据安全核心技术
01 数据采集安全技术 01.01 传输安全 虚拟专用网络将隧道技术、协议封装技术、密码技术和配置管理技术结合在一起，采用安全通道技术在源端和目的端建立安全的数据通道，通过将待传输的原始数据进行加密和协议封装处理后再嵌套装入另一种协议的数据报文中，像普通数据报文一样在网络中进行传输 ...
大数据中台技术架构
1. 数据采集传输 这个一般对应于公司的日志平台，任务是将数据采集后缓存在某个地方，供后续的计算流程进行消费使用。针对不同的数据来源有各自的采集方式，从 APP/服务器 日志，到业务表，还有各种 API 接口及数据文件等等。其中因为日志数据有数据量多，数据结构多样，产生环境复杂 ...
大数据中台技术架构
1. 数据采集传输 这个一般对应于公司的日志平台，任务是将数据采集后缓存在某个地方，供后续的计算流程进行消费使用。针对不同的数据来源有各自的采集方式，从 APP/服务器 日志，到业务表，还有各种 API 接口及数据文件等等。其中因为日志数据有数据量多，数据结构多样，产生环境复杂 ...
大数据技术
一.大数据预处理技术 现实世界中的数据一般是不完整的、 带有随机性的、有噪声的或不唯一、不一致的“脏数据”，数据质量不高，无法直接进行数据挖掘，或者挖掘的效果差强人意。为了以后的处理更加方便以及模型具有更好的效果，往往在使用模型之前需要对数据进行预处理，就产生了数据预处理技术。 数据 ...
zabbix监控大数据
参考: https://github.com/Staroon/zabbix-hadoop-template 支持监控HDFS、NameNode, YARN ResourceManager, Hive, Zookeeper, HBase Master. 提供的脚本只是一个思路参考，理论上兼容 ...