3.Hadoop集群测试
大家如果还没配置过Hadoop的可以看我前两篇文章。 验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录，创建过程如下所示： hadoop fs –mkdir /data/wordconut hadoop fs –mkdir /output hdfs中的/data ...
原文：Hadoop学习笔记—3.Hadoop RPC机制的使用
一 RPC基础概念 . RPC的基础概念 RPC，即Remote Procdure Call，中文名：远程过程调用 它允许一台计算机程序远程调用另外一台计算机的子程序，而不用去关心底层的网络通信细节，对我们来说是透明的。因此，它经常用于分布式网络通信中。 RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。在OSI网络通信模型中，RPC跨越了传输层和应用层。RPC使得开 ...
2015-02-11 14:18 2 16871 推荐指数：
相关推荐
hadoop学习---3.hadoop在ubuntu下的安装配置
前面均在windows下进行，但是在安装hadoop过程中出了一些问题，先暂时切换到linux下，回头再补充windows下的安装。不过通过对比确实发现，在linux下的安装配置确实比较简单。 一.安装ubuntu 我是下载的ubuntu12.04,在64位的虚拟机上使用 ...
Hadoop RPC机制详解
网络通信模块是分布式系统中最底层的模块,他直接支撑了上层分布式环境下复杂的进程间通信逻辑,是所有分布式系统的基础。远程过程调用(RPC)是一种常用的分布式网络通信协议，他允许运行于一台计算机的程序调用另一台计算机的子程序，同时将网络的通信细节隐藏起来，使得用户无需额外 ...
轻松使用Hadoop RPC
Hadoop RPC是Hadoop的一个重要部分，提供分布式环境下的对象调用功能，源码在org.apache.hadoop.ipc中。而HBase也几乎完全copy了这部分的源码，只是在配置项上面有所改动。 关于Hadoop RPC的机制分析和源码解读，网上已经有许多资料，一搜一大把，这里就不 ...
Hadoop学习笔记（六）：Hadoop读写文件时内部工作机制
读文件 读文件时内部工作机制参看下图： 客户端通过调用FileSystem对象（对应于HDFS文件系统，调用DistributedFileSystem对象）的open()方法来打开文件（也即图中的第一步），DistributedFileSystem通过RPC（Remote ...
Hadoop学习笔记（六）：hive使用
1. 安装hive：上传apache-hive-2.1.1-bin.tar.gz文件到/usr/local目录下，解压后更名为hive。 2. 配置hive环境变量，编辑/etc/profile文件 ...
[Hadoop] Hadoop学习笔记之Hadoop基础
1 Hadoop是什么？ Google公司发表了两篇论文：一篇论文是“The Google File System”，介绍如何实现分布式地存储海量数据；另一篇论文是“Mapreduce:Simplified Data Processing on Large Clusters”，介绍 ...
Hadoop2源码分析－RPC机制初识
1.概述 上一篇博客，讲述Hadoop V2的序列化机制，这为我们学习Hadoop V2的RPC机制奠定了基础。RPC的内容涵盖的信息有点多，包含Hadoop的序列化机制，RPC，代理，NIO等。若对Hadoop序列化不了解的同学，可以参考《Hadoop2源码分析－序列化篇》。今天这篇博客 ...