大数据——配置并启动集群/开启历史服务器和日志聚集
上篇文章通过克隆将集群搭建出来，这篇文章对Hadoop进行配置，修改配置文件，启动并测试集群。开去历史服务器以及日志聚集。 部署规划 hadoop102 hadoop103 hadoop104 HDFS ...
原文：大数据高可用集群环境安装与配置（01）——服务器基础配置
这段时间在做大数据方面的开发，使用Hadoop HBase Spark Spart Streaming Kafka Docker Kubernetes等等平台与组件，在服务器运维方面也在模仿着别人重复造轮子。要基于这些系统进行开发，就必须搭建一套稳定的服务器环境，虽然网上有大量的文章与教程，但在学习使用的过程中，还是踩了无数个坑，熬了不知多少个夜晚与周末，直到现在才算是真正上手，能快速搭建好平台， ...
2019-12-28 21:09 0 1121 推荐指数：
相关推荐
大数据项目之_15_帮助文档_NTP 配置时间服务器+Linux 集群服务群起脚本+CentOS6.8 升级到 python 到 2.7
一、NTP 配置时间服务器1.1、检查当前系统时区1.2、同步时间1.3、检查软件包1.4、修改 ntp 配置文件1.5、重启 ntp 服务1.6、设置定时同步任务二、Linux 集群服务群起脚本2.1、介绍2.2、编写脚本三、CentOS6.8 升级到 python 到 2.73.1、环境 ...
【大数据安全】Kerberos集群安装配置
1. 概述 Kerberos是一种计算机网络认证协议，它允许某实体在非安全网络环境下通信，向另一个实体以一种安全的方式证明自己的身份。它也指由麻省理工实现此协议，并发布的一套免费软件。它的设计主要针对客户-服务器模型，并提供了一系列交互认证——用户和服务器都能验证对方的身份。Kerberos协议 ...
【原创】大数据基础之Logstash（4）高可用
logstash高可用体现为不丢数据（前提为服务器短时间内不可用后可恢复比如重启服务器或重启进程），具体有两个方面： 进程重启（服务器重启） 事件消息处理失败 在logstash中对应的解决方案为： Persistent Queues Dead Letter ...
大数据入门：Hadoop安装、环境配置及检测
@ 目录 1.导包Hadoop包 2.配置环境变量 3.把winutil包拷贝到Hadoop bin目录下 4.把Hadoop.dll放到system32下 5.检测Hadoop是否正常安装 5.1在maven项目中检测，将配置文件放入 ...
在高并发的大数据 场景下Linux服务器报错fork: retry:资源暂时不可用的解决办法
在高并发的大数据 场景下Linux服务器报错fork: retry:资源暂时不可用 jvm会产生一个hs_err_pid74299.log类似这样的日志文件 ## There is insufficient memory for the Java Runtime Environment ...
3台云服务器搭建大数据集群（hadoop + Zookeeper + HBase + Hive + jstorm）
业余菜鸟第一次使用云服务器搭建大数据集群，下面是所有步骤 微信扫码关注公众号，有意想不到的惊喜哦！！！ ...
大数据技术之HA 高可用
HDFS HA高可用 1.1 HA概述 1）所谓HA（High Available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3）Hadoop2.0之前，在HDFS集群中 ...