K-频繁项集挖掘并行化算法（Apriori算法在Spark上的实现）
大家好，下面为大家分享的实战案例是K-频繁相机挖掘并行化算法。相信从事数据挖掘相关工作的同学对频繁项集的相关算法 比较了解，这里我们用Apriori算法及其优化算法实现。 首先说一下实验结果。对于2G，1800W条记录的数据，我们用了18秒就算完了1-8频繁项集的挖掘。应该 ...
原文：基于spark实现并行化Apriori算法
详细代码我已上传到github：click me 一 实验要求 在 Spark . 平台上实现 Apriori 频繁项集挖掘的并行化算法。要求程序利用 Spark 进行并行计算。 二 算法设计 . 设计思路 变量定义 D为数据集，设Lk是k项频繁项集，Ck是k项候选集，每一行数据定义为一笔交易 transaction ，交易中的每个商品为项item。 支持度: support, 即该项集在数据集D ...
2018-12-21 02:24 9 2532 推荐指数：
相关推荐
基于GPU的算法并行化
GPU计算的目的即是计算加速。相比于CPU，其具有以下三个方面的优势： l 并行度高：GPU的Core数远远多于CPU（如G100 GPU有240个Cores），从而GPU的任务并发度也远高于CPU； l 内存带宽高：GPU的内存系统带宽几十倍高于CPU，如CPU （DDR-400）带宽 ...
kmeans算法并行化的mpi程序
用c语言写了kmeans算法的串行程序，再用mpi来写并行版的，貌似参照着串行版来写并行版，效果不是很赏心悦目~ 并行化思路： 使用主从模式。由一个节点充当主节点负责数据的划分与分配，其他节点完成本地数据的计算，并将结果返回给主节点。大致过程如下： 1、进程0为主节点 ...
什么？Shell也能并行化
作为一名后台开发，写shell脚本可能是工作中避免不了的，比如日志分析过滤、批量请求和批量插入数据等操作，这些如果单纯靠人工手动去处理既费时又费力，有了shell脚本就可以轻松搞定，当然有人会说可以用 ...
Mahout源码分析：并行化FP-Growth算法
生成的FP-tree非常大，无法放入内存，挖掘到的频繁项也可能有指数多个。本文将分析如何并行化FP-Gr ...
Bash脚本实现批量作业并行化
http://jerkwin.github.io/2013/12/14/Bash%E8%84%9A%E6%9C%AC%E5%AE%9E%E7%8E%B0%E6%89%B9%E9%87%8F%E4%BD ...
【OpenCV学习】OpenMP并行化实例
作者：gnuhpc 出处：http://www.cnblogs.com/gnuhpc/ #include "cv.h" #include "highgui.h" #include <std ...
Scala当中parallelize并行化的用法
[学习笔记] parallelize并行化集合是根据一个已经存在的Scala集合创建的RDD对象。集合的里面的元素将会被拷贝进入新创建出的一个可被并行操作的分布式数据集。例如：val rdd03 = sc.parallelize(List(1, 4, 3, 7, 5)) 根据系统环境来进行切分 ...