Hadoop学习之路（六）HDFS基础
HDFS前言 HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题 设计思想 1、分散均匀存储 dfs.blocksize = 128M 2、备份冗余存储 dfs.replication = 3 在大数据系统 ...
原文：Hadoop学习之路（十）HDFS API的使用
HDFS API的高级编程 HDFS的API就两个：FileSystem 和Configuration 文件的上传和下载 View Code 配置文件conf View Code 输出结果 View Code 列出指定目录下的文件以及块的信息 View Code 输出结果 View Code 上传文件 View Code 下载文件 View Code 删除某个路径下特定类型的文件，比如class类 ...
2018-03-21 11:29 4 7573 推荐指数：
相关推荐
Hadoop学习之路（九）HDFS深入理解
HDFS的优点和缺点 HDFS的优点 1、可构建在廉价机器上 通过多副本提高可靠性，提供了容错和恢复机制 服务器节点的宕机是常态 必须理性对象 2、高容错性 数据自动保存多个副本，副本丢失后，自动恢复 HDFS的核心设计思想： 分散均匀 ...
Hadoop学习之路（十一）HDFS的读写详解
HDFS的写操作 《HDFS权威指南》图解HDFS写过程 详细文字说明（术语） 1、使用 HDFS 提供的客户端 Client，向远程的 namenode 发起 RPC 请求 2、namenode 会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会 ...
Hadoop学习之路（二十六）MapReduce的API使用（三）
影评案例 数据及需求 数据格式 movies.dat 3884条数据 users.dat 6041条数据 ratings.dat 1000210条数据 ...
Hadoop学习之路（二十七）MapReduce的API使用（四）
第一题 下面是三种商品的销售数据 要求：根据以上数据，用 MapReduce 统计出如下数据： 1、每种商品的销售总金额，并降序排序 2、每种商品销售额最多的三周 第二题： ...
Hadoop学习之路（二十五）MapReduce的API使用（二）
学生成绩---增强版 数据信息 View Code 数据解释 数据字段个数不固定：第一个是课程名称，总共四个课程，computer，math，english ...
Hadoop学习之路（二十八）MapReduce的API使用（五）
求所有两两用户之间的共同好友 数据格式 以上是数据：A:B,C,D,F,E,O表示：B,C,D,E,F,O是A用户的好友。 第一阶段输出结果 ...
python操作hadoop HDFS api使用
doc：http://pyhdfs.readthedocs.io/en/latest/ pip install hdfs https://hdfscli.readthedocs.io/en/latest/quickstart.html 此外还有一个库pyhdfs https ...