结果： 分析：Spark读取parquet数据默认为目录，因此可以只指定到你要读取的上级目录即可（本地模式除外），当保存为parquet时，会自动拆分，因此只能指定为上级目录。 ...

在使用parquet-hadoop.jar包解析parquet文件时，遇到decimal类型的数据为乱码，具体解决方法如下： 使用parquet-Hadoop.jar解析httpfs服务提供的parquet文件，代码如下： parquet文件timestamp类型实际为INT96 ...

一个快捷操作，对单列数据进行转换时，这个方法操作很简单，选中要转换的一列，按ALT+D，出现如下的提示 然后按E，出现如下的分列对话框 ...

http://dblab.xmu.edu.cn/blog/1091-2/ ...

。然而，就像其它工具一样，vector 也只是个工具，它能提高效率，也能降低效率。 这篇文章中我们可以看到 ...

第一部分 1-使用内建函数: 你可以用Python写出高效的代码,但很难击败内建函数. 经查证. 他们非常快速 2-使用 join() 连接字符串. 你可以使用 + 来连接字符串. 但由于string在Python中是不可变的,每一个+操作都会创建一个新的字符串并复制旧内容. 常见用法 ...

看了一些别人的思路，总结了一些模型性能提升的操作并完成python实现。 1. 行空缺值的处理 常规方法 统计每行数据的空缺值，如果空缺值数量超过阈值，则剔除此行数据。 改进方法 考虑特征重要度的因素。遵循一个原则：特征重要度越高，对这一特征下的空缺值容忍程度越低。 特征重要度的评估 ...

文章持续更新，可以关注公众号程序猿阿朗或访问未读代码博客。 本文 Github.com/niumoo/JavaNotes 已经收录,欢迎Star。 这篇文章介绍几个 Java 开发中可以进行性能优化的小技巧，虽然大多数情况下极致优化代码是没有必要的，但是作为一名技术开发者，我们还是想 ...