第1章 HA高可用 1.1 HA概述 1）所谓HA（high available），即高可用（7*24小时不中断服务）。 2）实现高可用最关键的策略是消除单点故障（single point of failure，SPOF）。单点故障是一个组件发生故障，就会导致整个系统无法运行。HA严格来说 ...

logstash高可用体现为不丢数据（前提为服务器短时间内不可用后可恢复比如重启服务器或重启进程），具体有两个方面： 进程重启（服务器重启） 事件消息处理失败 在logstash中对应的解决方案为： Persistent Queues Dead Letter ...

大数据技术 大数据主要涉及到数据的采集、存储、计算和分析、以及管理调度。 数据的采集 数据存储 数据管理调度 数据计算和分析 大数据技术涉及：数据的采集、预处理、和分布式存储、以及数据仓库、机器学习、并行计算和可视化等方面。 对于大数据技术，应用广泛 ...

一.大数据预处理技术 现实世界中的数据一般是不完整的、 带有随机性的、有噪声的或不唯一、不一致的“脏数据”，数据质量不高，无法直接进行数据挖掘，或者挖掘的效果差强人意。为了以后的处理更加方便以及模型具有更好的效果，往往在使用模型之前需要对数据进行预处理，就产生了数据预处理技术。 数据 ...

　　　　　　　　　　　　　　大数据技术之Hadoop3.1.2版本HA模式 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.Hadoop的HA特点 1>.主备NameNode ...

忽如一夜春风来，无人不谈大数据。大数据就像前两年的云计算一样，是一个时下被炒得很火的概念。那么什么是大数据，大数据是如何定义的，大数据处理技术有哪些，大数据能给我们带来什么益处？虽然我不知道现在这些概念是如何被炒作的，但是作为一名互联网行业的从业者，作为一个大数据技术的实践者，根据自己的理解和经验 ...

主流的大数据技术可以分为两类：一类是面向非实时批处理业务场景，着重于处理传统数据处理技术在有限的时空环境里无法胜任的TB级、PB级海量数据存储、加工、分析、应用等。比较主流的支撑技术有：HDFS、MapReduce、Hive等。另一类是面向实时处理业务场景，比较主流的支撑技术为HBase ...