...

...

...

需求： 由于一个大文件，在spark中加载性能比较差。于是把一个大文件拆分为多个小文件后上传到hdfs，然而在spark2.2下如何加载某个目录下多个文件呢? 测试结果： ...

读取hdfs指定目录下的gz文件，并读取gz文件里面的文本信息 ...

通过Reader读取文件中的内容：下面是文件：test.txt: 下面就是java的代码： 最后就是运行结果了： 原文链接:https://blog.csdn.net/qq_34137397/article/details/96483535 ...

由于mapreduce实验总要查看output/part-r-00000 所以写个程序 ...

最近有个需求，计算用户画像。 系统大概有800W的用户量，算每个用户的一些数据。 数据量比较大，算用hive还是毫无压力的，但是写的oracle，在给出数据给前端，就比较难受了。 然后换了种解决方法： 　　1.hive计算，写的HDFS 　　2.API读出来，写到hbase（hdfs ...