在HDFS上处理数据时，为快速访问，有时候需要对数据进行分布式索引。很不巧，我们所熟悉的Lucene并不支持HDFS上的索引操作。Lucene中的Document不支持MapReduce输出类型的Writable接口，因此我们无法直接使用Document作为MapReduce的输出类型 ...

Hadoop平台K-Means聚类算法分布式实现+MapReduce通俗讲解 在Hadoop分布式环境下实现K-Means聚类算法的伪代码如下： 输入：参数0--存储样本数据的文本文件inputfile； 参数 ...

一、创建虚拟机 　　1、从网上下载一个Centos6.X的镜像（http://vault.centos.org/） 　　2、安装一台虚拟机配置如下：cpu1个、内存1G、磁盘分配20G（看个人配置 ...

分布式计算：　　 原则：移动计算而尽可能减少移动数据（减少网络开销） 分布式计算其实就是将单台机器上的计算拓展到多台机器上并行计算。 MapReduce是一种编程模型。Hadoop MapReduce采用Master/slave 结构。只要按照其编程规范，只需要编写少量的业务逻辑 ...

PS：实操部分就省略了哈，准备最近好好看下理论这块，其实我是比较懒得哈！！！ <?>MapReduce的概述 MapReduce是一种计算模型，进行大数据量的离线计算。MapReduce实现了Map和Reduce两个功能：其中Map是滴数据集上的独立元素进行指定的操作 ...

　　实现要点：1、构建本地消息表及定时任务，确保消息可靠发送；2、RabbitMQ可靠消费；3、redis保证幂等 　　两个服务：订单服务和消息服务 　　订单服务消息可靠发送 　　使用springboot构建项目，相关代码 ...

分布式锁一般有三种实现方式： 1. 数据库乐观锁； 2. 基于ZooKeeper的分布式锁； 3. 基于Redis的分布式锁； 这里大概说一下三种方式的优缺点，数据库乐观锁优点是实现简单，只需要for update关键词就可以实现，缺点是无法满足高并发量以及数据库读写频繁的系统 ...

环境 VirtualBox 6.1 IntelliJ IDEA 2020.1.1 Ubuntu-18.04.4-live-server-amd64 jdk-8u251-linux-x64 hadoop-2.7.7 安装伪分布式Hadoop 安装伪分布式参考 ...