...

把一个 txt 文件导入到 excel 中，但是 excel 单列支持的行数为 1048576，而我需要导入的 txt 文件总共有 7945674 ，我们无法一次性将整个 txt 文件里面的内容导入到 excel 中，所以，这个时候我们需要对这个 txt 文件做分割，刚开始 ...

今天遇到一个文件，跑出来的数据有800万行数据，我要将数据导入到excel，发现excel支持100万条数据，所以为了将数据展示出来，只能将文件拆封100万行一个文件，那么如何操作呢：这就是split的用法之一： split -l 行数 拆分文件名 拆分后文件名的前缀 -l就是按照行进 ...

结合最近Disruptor的学习，和之前一直思考解决的大文件拆分问题，想到是否可以使用Disruptor作为生产者/消费者传递数据的通道呢？借助其高效的传递，理论上应当可以提升性能。此文便是此想法的落地实现。 问题描述 将大文件按照指定大小拆分为若干小文件。具体可参考：大文件拆分方案的java ...

Linux大文件拆分、合并、校验 1.文件生成MD5码 2.文件拆分 3.拆分后生成子文件MD5码 4.子文件远程传输 5.在接收端校验子文件完整性 6.大文件合并 7.合并后的大文件生成MD5码 ...

今天帮同学处理一点语料。 语料文件有点大，而且是以连续两个换行符作为段落标志，他想把它按段落分隔成多个小文件。即每3个段落组成一个新文件。因为曾经没有遇到过类似的操作，在网上找了一些类似的方法，看起来都有点复杂。 所以经尝试。自己写了一段代码。完美解决这个问题。 基本思路 ...

压缩分包 解压 参考网站 https://my.oschina.net/yysue/blog/1815340 https://blog.csdn.net/yuan8 ...

分卷压缩研究： 要将文件test.pdf分包压缩成500 bytes的文件： tar czf - test.pdf | split -b 500 - test.tar.gz 最后要提醒但是那两个"-"不要漏了，那是tar的ouput和split的input的参数。 格式和语法： 1.使用tar ...