比较全的大数据技术组件整理以及相关理论论文整理
框架 Apache Hadoop：分布式处理架构，结合了 MapReduce(并行处理)、YARN(作业调度)和HDFS(分布式文件系统); Tigon：高吞吐量实时流处理框架。 分布式编程 AddThis Hydra ：最初在AddThis上开发的分布式数据 ...
原文：大数据相关资料论文小结
前言 不知不觉， 年已经过去一半了，最近突然反应过来自己也看了不少文献资料了，就想着把看过的文献和觉得比较好的书籍做一个总结，基本都是大数据分布式领域的，回顾自己学识的同时，也给想从事或这个领域的小伙伴一些参考 。最后顺便把接下来要看的东西列个列表，也会将自己学习的心得和经验分享出来，有需要的童鞋可以参考参考。 另外有些文献看完我会进行整理和输出，这部分链接我一并附在文献的介绍后面，后面看的书或是 ...
2020-07-16 19:32 0 1113 推荐指数：
相关推荐
【转】谷歌大数据的三篇论文
原文链接：http://blog.bizcloudsoft.com/?p=292 Google云的papers Google的著名的三篇大数据的论文，分别讲述GFS、MapReduce、BigTable，取自网上，排版整理完成，以供参考。 下载： Google File System中文版 ...
大数据相关组件介绍
HDFS: 用于存放一切信息的分布式的文件系统。大数据系统由于其涉及到的数据量较大所以往往需要仰赖于一个数据仓库系统，将所有的数据能够分门别类地存储起来，而HDFS就是这样一个仓库。需要注意一点，HDFS并不是我们通常实际用来查询或者处理数据的数据仓库组件，其更像是仓库本身，是一个偏硬件，偏 ...
学习大数据可以考哪些证书（附资料）
大数据作为一门偏实践类的学科，有没有可以提升自己简历含金量的证书呢？ 最近总有同学咨询大数据专业可以考的证书的问题。目前来看，大数据面试更注重的是工作经验，以及对大数据专业知识的掌握程度。大数据是一门特别注重实践的学科，所以还是建议大家将实践放在首位，在本地搭好大数据集群好好的练一练 ...
【大数据论文笔记】大数据系统和分析技术综述
1、大数据处理与系统 简介 特征 典型应用 代表性的处理系统 适用场景 批量数据处理系统 首要任务：1.利用批量数据挖掘合适的模式2.得出具体的含义3.制定明智的决策 ...
shell脚本处理大数据系列之(一)方法小结
转自：http://longriver.me/?p=57 方法1： 单进程处理大规模的文件速度如（上million量级）比较慢，可以采用awk取模的方法，将文件分而治之，这样可以利用充分的利用多核 ...
大数据学校（二）hadoop概述及Google的三篇论文
学习大数据，学什么？怎么学？ 1、原理和运行机制、体系结构（非常重要）2、动手：搭建环境、写程序 目的：1、学习内容 2、熟悉一些名词 一、各章概述（Hadoop部分） (一)、Hadoop的起源与背景知识 1、什么是大数据？两个例子、大数据的核心问题是什么？ 举例： （1）商品推荐 ...
Google引爆大数据时代的三篇论文
Google的三驾马车：Google FS、MapReduce、BigTable。虽然Google没有公布这三个产品的源码，但是他发布了这三个产品的详细设计论文，奠定了风靡全球的大数据算法的基础！ 2003年，Google发布Google File System论文，这是一个可扩展 ...