前面写过一篇通过shell脚本去重10G数据的文章，见《用几条shell命令快速去重10G数据》。然而今天又碰到另外一个业务，业务复杂度比上次的单纯去重要复杂很多。找了很久没有找到相应的办法，于是用shell脚本程序去处理。具体业务逻辑： 　　1、首先根据给定指定进行排序 　　2、排序后 ...

参考： https://www.imzcy.cn/1553.html while和for对文件的读取是有区别的: 1. for对文件的读是按字符串的方式进行的，遇到空格什么后，再读取的数据就会换行显示 2. while对文件读是逐行读完后跳转到下行，while相对 ...

Shell脚本对Linux进行文件校验 一、需求 有客户等保需求对文件一致性进行校验，想到利用md5sum工具，因此写脚本来对文件进行自定义扫描，后期可以利用其进行校验，快速校验文件发现变更的文件，一定程度及时发现等行为。 二、脚本 利用md5sum将扫描得到的文件保存在/tmp ...

读取csv文件数据信息，对数据进行分析 一、任务内容 1、输出数据集的基本信息 2、统计缺失的变量和样本个数 3、通过箱式图判断异常点 二、实现任务内容及其代码 1、输出数据集的基本信息 代码： 执行结果： 由图可知：数据的样本个数，平均值，最大值 ...

C语言进行csv文件数据的读取： ...

https://www.cnblogs.com/94cool/archive/2013/06/28/3160244.html HDF文件中可以包含栅格数据和矢量数据。 hdf文件读写c语言HierarchicalDataFormat，可以存储不同类型的图像和数码数据的文件格式，并且可以在不同类 ...

Application）为了满足各种领域研究需求而研制的一种能高效存储和分发科学数据的新型数据格式。一个HDF文件 ...

一. 使用du命令进行大小排序 du -h --max-depth=1 | sort -hr 参数说明： --max-depth：表示要查看几层目录 sort -r：反向显示 sort -h：compare human ...