mongodb 聚合(Map-Reduce)
介绍 Map-reduce 是一种数据处理范式，用于将大量数据压缩为有用的聚合结果。对于 map-reduce 操作，MongoDB 提供MapReduce数据库命令。 MongoDB中的MapReduce主要有以下几阶段： 1、Map：把一个操作Map到集合中 ...
原文：hadoop杂记-为什么会有Map-reduce v2 (Yarn)
前言： 有一段时间没有写博客了 发现这是我博客最常见的开头，不过这次间隔真的好长 ，前段时间事情比较多，所以耽搁得也很多。 现在准备计划写一个新的专题，叫做 hadoop杂记 ，里面的文章有深有浅，文章不是按入门 中级 高级的顺序组织的，如果想看看从入门到深入的书，比较推荐 the definitive guide of hadoop 。 今天主要想写写关于map reduce v 或者叫map ...
2012-02-18 23:05 6 26828 推荐指数：
相关推荐
用Map-Reduce的思维处理数据
在很多人的眼里，Map-Reduce等于Hadoop，没有Hadoop谈Map-Reduce犹如自上谈兵，实则不然，Map-Reduce是一种计算模型，只是非常适合在并行的环境下运行，Hadoop是Map-Reduce的一种实现，没有Hadoop照样可以跑Map-Reduce程序。python ...
PageRank算法简介及Map-Reduce实现
PageRank对网页排名的算法，曾是Google发家致富的法宝。以前虽然有实验过，但理解还是不透彻，这几天又看了一下，这里总结一下PageRank算法的基本原理。 一、什么是pagerank ...
常见数据挖掘算法的Map-Reduce策略(2)
接着上一篇文章常见算法的mapreduce案例(1)继续挖坑，本文涉及到算法的基本原理，文中会大概讲讲，但具体有关公式的推导还请大家去查阅相关的文献文章。下面涉及到的数据挖掘算法会有：Logistict 回归，SVM算法，关联规则apriori算法，SlopeOne推荐算法，二度 ...
常见数据挖掘算法的Map-Reduce策略(1)
大数据这个名词是被炒得越来越火了，各种大数据技术层出不穷，做数据挖掘的也跟着火了一把，呵呵，现今机器学习算法常见的并行实现方式：MPI，Map-Reduce计算框架，GPU方面，graphlab的图并行，Spark计算框架，本文讲讲一些机器学习算法的map-reduce并行策略 ...
hive map-reduce个数及合并小文件
1. map数计算方式 2. 影响map个数的因素 3.修改map个数 3.1 合并小文件减少map数 a)输入合并。即在Map前合并小文件set mapred.min.split.size=100000000;set ...
yarn timelineserver v2 配置
1、环境说明 Hadoop版本： 3.1.4 hbase 版本： 1.2.6 timeserver 版本 2.0 2、vts1.0/vts1.5与vts2.0 vts1.x缺点： 1、不支持分布式收集。 2、收集器和读取器是单实例。 3、存储使用的是leveldb。 vts2 1、借助 ...
一句话描述Hadoop，HDFS，Map Reduce，Spark，Hive，Yarn的关系，入门
转载：https://zhuanlan.zhihu.com/p/52704422 Hadoop：Hadoop生态圈(或者泛生态圈)基本上都是为了处理超过单机尺度的数据处理而诞生的。不是一个工具，也不是一种技术，是一种技术的合称 HDFS：分布式文件系统。传统的文件系统是单机的，不能横跨 ...