前一篇文章(Hadoop MapReduce 上利用Lucene实现分布式检索)中介绍了如何在HDFS上利用建立分布式索引，本文将举例说明如何使用Lucene进行分布式的检索。 package hdfs.luceneSearch; import java.io.IOException ...

这几天实现了个Lucene分布式检索的模块，采用的分布式方案是将数据分块，分别生成N个索引文件，放到N个节点上运行。检索时，对每一个节点发出查询请求，将N个节点返回的结果归并，然后生成一个新的结果。如果没看明白，可以看看我的帖子 http://www.iteye.com/topic/212046 ...

Hadoop平台K-Means聚类算法分布式实现+MapReduce通俗讲解 在Hadoop分布式环境下实现K-Means聚类算法的伪代码如下： 输入：参数0--存储样本数据的文本文件inputfile； 参数 ...

一、创建虚拟机 　　1、从网上下载一个Centos6.X的镜像（http://vault.centos.org/） 　　2、安装一台虚拟机配置如下：cpu1个、内存1G、磁盘分配20G（看个人配置 ...

分布式计算：　　 原则：移动计算而尽可能减少移动数据（减少网络开销） 分布式计算其实就是将单台机器上的计算拓展到多台机器上并行计算。 MapReduce是一种编程模型。Hadoop MapReduce采用Master/slave 结构。只要按照其编程规范，只需要编写少量的业务逻辑 ...

PS：实操部分就省略了哈，准备最近好好看下理论这块，其实我是比较懒得哈！！！ <?>MapReduce的概述 MapReduce是一种计算模型，进行大数据量的离线计算。MapReduce实现了Map和Reduce两个功能：其中Map是滴数据集上的独立元素进行指定的操作 ...

　　实现要点：1、构建本地消息表及定时任务，确保消息可靠发送；2、RabbitMQ可靠消费；3、redis保证幂等 　　两个服务：订单服务和消息服务 　　订单服务消息可靠发送 　　使用springboot构建项目，相关代码 ...

分布式锁一般有三种实现方式： 1. 数据库乐观锁； 2. 基于ZooKeeper的分布式锁； 3. 基于Redis的分布式锁； 这里大概说一下三种方式的优缺点，数据库乐观锁优点是实现简单，只需要for update关键词就可以实现，缺点是无法满足高并发量以及数据库读写频繁的系统 ...