回顾： 　　在上一篇https://www.cnblogs.com/superlsj/p/11857691.html详细介绍了InputFormat的原理和常见的实现类。总结来说，InputFormat是将文件切片----->再转化为<key--value>对转交给Mapper ...

一、自定义InputFormat 　　InputFormat是输入流，在前面的例子中使用的是文件输入输出流FileInputFormat和FileOutputFormat，而FileInputFormat和FileOutputFormat它们默认使用的是继承它们的子类 ...

引言： 　　无论HDFS还是MapReduce，在处理小文件时效率都非常低，但又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。可以自定义InputFormat实现小文件的合并。（对外是一个整文件，对内仍是原先的小文件，节省MapTask） 需求如下： 　　将多个小文件合并成一个 ...

小文件处理（自定义InputFormat） 1.需求分析 无论hdfs还是mapreduce，对于小文件都有损效率，实践中，又难免面临处理大量小文件的场景，此时，就需要有相应解决方案。将多个小文件合并成一个文件SequenceFile，SequenceFile里面存储着多个文件 ...

()，但在某些情况下HDFS中需要存储自定义格式的文件，需要更加灵活的读取方式。 使用KeyValueT ...

　　在MR程序的开发过程中，经常会遇到输入数据不是HDFS或者数据输出目的地不是HDFS的，MapReduce的设计已经考虑到这种情况，它为我们提供了两个组建，只需要我们自定义适合的InputFormat和OutputFormat，就可以完成这个需求，这里简单的介绍一个从MongoDB中读数 ...

自定义函数VBA代码1 有一份数据如下，要添加季度信息，我们用VBA实现自定义季度函数： 打开VBE编辑器，插入一个函数 代码如下： 此时返回excel表格出现了我们自定义的函数如下： 下拉后得到了我们的月份所对应的季度： ...

手把手叫你写类加载器。 了解了类加载器的双亲委派机制, 也知道了双亲委派机制的原理，接下来就是检验我们学习是否扎实了，来自定义一个类加载器 一. 回顾类加载器的原理 还是这张图，类加载器的入口是c++调用java代码创建了JVM启动器，其中的一个启动器是sun.misc.Launcher ...