大数据系列之分布式计算批处理引擎MapReduce实践
关于MR的工作原理不做过多叙述，本文将对MapReduce的实例WordCount(单词计数程序)做实践，从而理解MapReduce的工作机制。 WordCount: 1.应用场景， ...
原文：Docker实战(十)之分布式处理与大数据平台
分布式系统和大数据处理平台是目前业界关注的热门技术。 .RabbitMQ RabbitMQ是一个支持AMQP的开源消息队列实现，由Erlang编写，因以高性能 高可用以及可伸缩性出名。它支持多种客户端，如:Java Python PHP Ruby .NET JavaScript等。 它主要用于分布式系统中存储和转发消息，方便组之间的解耦，消息的发送无需知道消息使用者的存在，反之亦然。 AMQP架构 ...
2018-07-07 18:32 0 2575 推荐指数：
相关推荐
大数据系列之分布式大数据查询引擎Presto
关于presto部署及详细介绍请参考官方链接 http://prestodb-china.com PRESTO是什么？ Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业 ...
分布式处理与大数据平台(RabbitMQ&Celery&Hadoop&Spark&Storm&Elasticsearch)
热门的消息队列中间件RabbitMQ，分布式任务处理平台Celery，大数据分布式处理的三大重量级武器：Hadoop、Spark、Storm，以及新一代的数据采集和分析引擎Elasticsearch。 RabbitMQ RabbitMQ是一个支持Advanced Message Queuing ...
一、TiDB分布式数据库培训实战教程（分布式集群架构、分布式大数据平台）视频教程
一、TiDB分布式数据库培训实战教程（分布式集群架构、分布式大数据平台）视频教程 为满足想学习和掌握国产TiDB数据库技术的学员，风哥特别设计的一套比较系统的TiDB课程，本教程内容涉及TiDB数据库基础知识、TiDBTIDB分布式数据库生产环境布署之Ansible技术、TIDB分布式数据库生产 ...
单机，伪分布式，完全分布式-----搭建Hadoop大数据平台
Hadoop大数据——随着计算机技术的发展，互联网的普及，信息的积累已经到了一个非常庞大的地步，信息的增长也在不断的加快。信息更是爆炸性增长，收集，检索，统计这些信息越发困难，必须使用新的技术来解决这些问题。大数据由巨型数据组成，这些数据集大小超出人类在可接受时间下的收集，使用，管理和处理能力 ...
【HADOOP】| 环境搭建：从零开始搭建hadoop大数据平台（单机/伪分布式）-下
因篇幅过长，故分为两节，上节主要说明hadoop运行环境和必须的基础软件，包括VMware虚拟机软件的说明安装、Xmanager5管理软件以及CentOS操作系统的安装和基本网络配置。具体请参看： 【HADOOP】| 环境搭建：从零开始搭建hadoop大数据平台（单机/伪分布式）-上 6. ...
《OD大数据实战》Hadoop伪分布式环境搭建
一、安装并配置Linux 8. 使用当前root用户创建文件夹，并给/opt/下的所有文件夹及文件赋予775权限，修改用户组为当前用户 最终效果如下： ...
Hadoop第三天---分布式文件系统HDFS(大数据存储实战)
1.开机启动Hadoop，输入命令： 检查相关进程的启动情况： 2.对Hadoop集群做一个测试： 可以看到新建的test1.txt和test2.txt已经成功地拷贝到节点上(伪分布式只有一个节点，如果是完全分布式 ...