原文:快速构建大数据存储分析平台-ELK平台安装

一 概述 ELK是由Elastic公司开发的Elasticsearch Logstash Kibana三款开源软件的缩写 但不限于这三款软件 。 为什么使用ELK 在目前流行的微服务架构中,一个大型应用可能会被划分成几十甚至上百个微服务,这些微服务产生的日志也会分布在不同的服务器不同的目录下,按常规方式进行日志检查你会频繁登录每台服务器查找日志,所以你可能需要一个集中化的日志管理平台。 如果要对 ...

2018-11-20 16:58 0 814 推荐指数:

查看详情

大数据平台安全标准设计

从应用角度看,需大数据平台提供如下4项安全功能: 图1 大数据平台安全功能 1、边界——限制只有合法用户身份的用户访问大数据平台集群 (1) 用户身份认证:关注于控制外部用户或者第三方服务对集群的访问过程中的身份鉴别,这是实施大数据平台安全架构的基础;用户在访问启用了安全 ...

Sat May 27 01:06:00 CST 2017 2 5199
《基于Apache Kylin构建大数据分析平台

Kyligence联合创始人兼CEO,Apache Kylin项目管理委员会主席(PMC Chair)韩卿 武汉市云升科技发展有限公司董事长,《智慧城市—大数据、物联网和云计算之应用》作者杨正洪 万达网络科技集团大数据中心副总经理,《Spark高级数据分析》中文版译者龚少成 ...

Fri Dec 16 21:27:00 CST 2016 0 2309
Hadoop大数据平台构建

基础:linux常用命令、Java编程基础大数据:科学数据、金融数据、物联网数据、交通数据、社交网络数据、零售数据等等。 Hadoop: 一个开源的分布式存储、分布式计算平台.(基于Apache) Hadoop的组成:   HDFS:分布式文件系统,存储海量的数据。   MapReduce ...

Fri Jan 15 19:03:00 CST 2016 0 3762
基于Ambari构建自己的大数据平台产品

  目前市场上常见的企业级大数据平台型的产品主流的有两个,一个是Cloudera公司推出的CDH,一个是Hortonworks公司推出的一套HDP,其中HDP是以开源的Ambari作为一个管理监控工具,CDH对应的是Cloudera Manager,国内也有像星环这种公司专门做大数据平台。我们公司 ...

Thu Feb 08 18:09:00 CST 2018 0 1343
剖析大数据平台数据存储

我在一次社区活动中做过一次分享,演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中,我主要分析大数据平台架构的生态环境,并主要以数据源、数据采集、数据存储数据处理四个方面展开分析与讲解,并结合具体的技术选型与需求场景,给出了我个人对大数据平台的理解。本文讲解数据存储部分 ...

Wed Jan 03 05:42:00 CST 2018 0 3843
通过Ambari快速搭建大数据平台

目录 HDP部署安装手册... I 1、环境配置... 3 1.1、关闭防火墙服务(所有节点)... 3 1.2、配置SSH免密码登录... 3 1.3、搭建本地http服务(主节点)... 4 1.4、配置hosts域名映射(所有节点)... 5 1.5 ...

Wed Jun 15 01:09:00 CST 2016 0 4238
GreenPlum 大数据平台--安装

1. 环境准备   01, 安装包准备:     Greenplum : >>>>链接地址     Pgadmin客户端 : >>>链接地址     greenplum-cc-web监控: >>>>链接地址   02 ...

Wed Mar 13 19:38:00 CST 2019 0 550
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM