Hadoop大数据开发基础系列：四、MapReduce初级编程
第四章、MapReduce编程入门 目录结构 1.使用Eclipse建立MapReduce工程 1.1 下载与安装Eclipse 1.2 配置MapReduce环境 ...
原文：Hadoop大数据开发基础系列：三、Hadoop基础操作
第三章 Hadoop基础操作 目录结构： .查看Hadoop集群的基本信息 . 查询集群的存储系统信息 . 查询系统的计算资源信息 .上传文件到HDFS目录 . 了解HDFS文件系统 . 掌握HDFS的基本操作 . 任务实现 .运行首个MapReduce任务 . 了解Hadoop官方的示例程序包 . 提交MapReduce任务给集群运行 .管理多个MapReduce任务 . 查询MapReduce ...
2019-10-05 13:39 0 493 推荐指数：
相关推荐
Hadoop大数据开发基础系列：五、MapReduce进阶编程
五、MapReduce进阶编程 目录： 1.筛选日志文件并生成序列化文件 2.Hadoop Java API读取序列化日志文件 3.优化日志文件统计程序 4.Eclipse提交日志文件统计程序 5.小结 6.实训 7.小练习 任务背景：网站运营方又提出来新的需求，为了比较今年 ...
【原创】大数据基础之Hadoop（3）yarn数据收集与监控
yarn常用rest api 1 metrics # curl http://localhost:8088/ws/v1/cluster/metrics The cluster metr ...
【原创】大数据基础之Hadoop（3）hdfs diskbalancer
hdfs单个节点内多个磁盘不均衡时（比如新加磁盘），需要手工进行diskbalancer操作，命令如下 其中thresholdPercentage的注释有歧义，看起来是根据绝对值进行均衡的，查看代码 ...
0基础搭建Hadoop大数据处理-初识
在互联网的世界中数据都是以TB、PB的数量级来增加的，特别是像BAT光每天的日志文件一个盘都不够，更何况是还要基于这些数据进行分析挖掘，更甚者还要实时进行数据分析，学习，如双十一淘宝的交易量的实时展示。 大数据什么叫大？4个特征： 体量化 Volume，就是量大。 多样化 ...
【原创】大数据基础之Hadoop（1）HA实现原理
有些工作只能在一台server上进行，比如master，这时HA（High Availability）首先要求部署多个server，其次要求多个server自动选举出一个active状态server，其他server处于standby状态，只有active状态的server允许进行特定的操作 ...
0基础搭建Hadoop大数据处理-编程
Hadoop的编程可以是在Linux环境或Winows环境中，在此以Windows环境为示例，以Eclipse工具为主（也可以用IDEA）。网上也有很多开发的文章，在此也参考他们的内容只作简单的介绍和要点总结。 Hadoop是一个强大的并行框架，它允许任务在其分布式集群上并行处理 ...