前言 一直以来就想在写文章时，能以文本形式（而不是截图）附上项目的目录结构，今天终于知道怎么操作了，在这分享一下。 Linux 首先说下Linux上输出目录结构的方法。 yum安装tree 需要支持tree命令，首先是要安装tree包的。 然后在你的项目目录下执行tree命令即可 ...

我们遇到个特别的需求，一个数据接入的流程跑的太慢，需要升级为用大数据方式去处理，提高效率。 数据： 　　数据csv文件用Zip 压缩后放置在SFTP中 数据来源： 　　SFTP 数据操作： 　　文件和它的压缩包一致，后缀不同。文件名中包含渠道、日期、操作标记("S"追加,"N"全量 ...

前言 在.NET Core之前对于压缩样式文件和脚本我们可能需要借助第三方工具来进行压缩，但在ASP.NET MVC Core中则无需借助第三方工具来完成，本节我们来看看ASP.NET Core MVC为我们提供了哪些方便。 自动压缩样式和脚本 当我们在测试环境中肯定不需要压缩脚本 ...

我们通常会使用IDE（例如Intellij IDEA）开发Spark应用，而程序调试运行时会在控制台中打印出所有的日志信息。它描述了（伪）集群运行、程序执行的所有行为。 在很多情况下，这些信息对于我们来说是无关紧要的，我们更关心的是最终结果，无论是正常输出还是异常停止。 幸运 ...

spark运行的时候会产生大量的消息，让程序的运行结果看起来比较费劲 所以可以再程序中添加一些代码，设置一下输出日志的级别 代码中Level那里的参数，可以设置为WARN，或者ERROR，这个根据自身需求 直接设置为ERROR可能会错过一些比较重要的警告信息，但是这样输出的内容 ...

相比于Hadoop，Spark在数据的处理方面更加灵活方便。然而在最近的使用中遇到了一点小麻烦：Spark保存文件的的函数（如saveAsTextFile）在保存数据时都需要新建一个目录，然后在这个目录下分块保存文件。如果我们想在原有的目录下增加一个文件（而不是增加一个目录 ...

实例需求 统计每个月每个家庭成员给自己打电话的次数，并按月份输出到不同文件中 数据集 数据集下载点击这里 数据格式：编号 联系人 电话号码 日期 思路分析 map阶段：将 联系人 + 电话号码 + 日期中的月份 组合成的作为 key，value为1 reduce阶段：相同key做 ...

很遗憾，gzip不能针对整个目录进行压缩，只能递归压缩目录下的每一个文件。 当然，替代方案是只用tar进行打包，比如 ...