原文:数据挖掘系列(5)使用mahout做海量数据关联规则挖掘

上一篇介绍了用开源数据挖掘软件weka做关联规则挖掘,weka方便实用,但不能处理大数据集,因为内存放不下,给它再多的时间也是无用,因此需要进行分布式计算,mahout是一个基于hadoop的分布式数据挖掘开源项目 mahout本来是指一个骑在大象上的人 。掌握了关联规则的基本算法和使用,加上分布式关联规则挖掘后,就可以处理基本的关联规则挖掘工作了,实践中只需要把握业务,理解数据便可游刃有余。 ...

2013-08-15 10:41 5 4685 推荐指数:

查看详情

数据挖掘系列(4)使用weka关联规则挖掘

  前面几篇介绍了关联规则的一些基本概念和两个基本算法,但实际在商业应用中,写算法反而比较少,理解数据,把握数据,利用工具才是重要的,前面的基础篇是对算法的理解,这篇将介绍开源利用数据挖掘工具weka进行管理规则挖掘。 weka数据集格式arff   arff标准数据集简介   weka ...

Wed Aug 14 23:49:00 CST 2013 15 13156
数据挖掘系列(2)--关联规则FpGrowth算法

  上一篇介绍了关联规则挖掘的一些基本概念和经典的Apriori算法,Aprori算法利用频繁集的两个特性,过滤了很多无关的集合,效率提高不少,但是我们发现Apriori算法是一个候选消除算法,每一次消除都需要扫描一次所有数据记录,造成整个算法在面临大数据集时显得无能为力。今天我们介绍一个新的算法 ...

Tue Aug 06 18:39:00 CST 2013 22 11943
数据挖掘系列(3)--关联规则评价

前面我们讨论的关联规则都是用支持度和自信度来评价的,如果一个规则的自信度高,我们就说它是一条强规则,但是自信度和支持度有时候并不能度量规则的实际意义和业务关注的兴趣点。 一个误导我们的强规则 看这样一个例子,我们分析一个购物篮数据中购买游戏光碟和购买影片光碟之间的关联关系 ...

Wed Aug 14 01:52:00 CST 2013 8 7973
浅谈数据挖掘中的关联规则挖掘

                      浅谈数据挖掘中的关联规则挖掘   数据挖掘是指以某种方式分析数据源,从中发现一些潜在的有用的信息,所以数据挖掘又称作知识发现,而关联规则挖掘则是数据挖掘中的一个很重要的课题,顾名思义,它是从数据背后发现事物之间可能存在的关联或者联系。举个最简单的例子 ...

Mon Oct 29 18:02:00 CST 2012 12 43975
数据挖掘算法之-关联规则挖掘(Association Rule)

数据挖掘的知识模式中,关联规则模式是比较重要的一种。关联规则的概念由Agrawal、Imielinski、Swami 提出,是数据中一种简单但很实用的规则关联规则模式属于描述型模式,发现关联规则的算法属于无监督学习的方法。 一、关联规则的定义和属性 考察一些涉及许多物品的事务:事务 ...

Fri Mar 17 23:02:00 CST 2017 0 15042
浅谈数据挖掘中的关联规则挖掘

                      浅谈数据挖掘中的关联规则挖掘   数据挖掘是指以某种方式分析数据源,从中发现一些潜在的有用的信息,所以数据挖掘又称作知识发现,而关联规则挖掘则是数据挖掘中的一个很重要的课题,顾名思义,它是从数据背后发现事物之间可能存在的关联或者联系。举个最简单的例子 ...

Tue Mar 15 06:42:00 CST 2016 0 4118
数据挖掘系列(1)关联规则挖掘基本概念与Aprior算法

 我计划整理数据挖掘的基本概念和算法,包括关联规则挖掘、分类、聚类的常用算法,敬请期待。今天讲的是关联规则挖掘的最基本的知识。  关联规则挖掘在电商、零售、大气物理、生物医学已经有了广泛的应用,本篇文章将介绍一些基本知识和Aprori算法。  啤酒与尿布的故事已经成为了关联规则挖掘的经典案例 ...

Thu Aug 01 00:18:00 CST 2013 14 19795
Python数据挖掘关联关联规则

关联规则方法: 使用apyori包中的apriori方法,该方法传入训练样本,用一个数组把一个样板存储起来,接着是使用数组把所有的样本存储起来 ...

Sun Oct 14 06:20:00 CST 2018 0 919
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM