一 文件操作 一 介绍 计算机系统分为：计算机硬件，操作系统，应用程序三部分。 我们用python或其他语言编写的应用程序若想要把数据永久保存下来，必须要保存于硬盘中，这就涉及到应用程序要操作硬件，众所周知，应用程序是无法直接操作硬件的，这就用到了操作系统。操作系统把复杂的硬件操作封装成简单 ...

最近处理一份1000G+的大文件，直接loading进内存不可能，只能分片读取。文件介绍如下： 该文件是一份压缩的比对后文件（sam文件），该文件由很多细小的结构单元组成，一个结构如下： 两种方法： 1、用open（[buffer]）的方法； 2、根据文件内容的结构快读取； 由于该文件 ...

1. 小文件的产生原因 定义: 当一个文件的大小小于 HDFS 的块大小（默认128MB）就认定为小文件，否则就是大文件 批处理,离线计算, 会有小文件的产生; 数据处理时,把数据源搬迁到 HDFS,如果数据源本身就是有很多小文件; MapReduce作业 ...

python处理日志文件 1 打开日志文件 虽然，日志文件的后缀为.log，但是基本上与文本文件没有区别，按照一般读取文本文件的方式打开即可： 应用示例： View Code 参考链接[1]. 2 提取目标信息 日志文件每行字符串 ...

转载来源： https://blog.csdn.net/lwbeyond/article/details/61198555 123.json [ { ...

非内存资源可以使用with 在python中逐行读取大文件 在我们日常工作中，难免会有处理日志文件的时候，当文件小的时候，基本不用当心什么，直接用file.read()或readlines()就可以了，但是如果是将一个10G大小的日志文件读取，即文件大于内存的大小，这么处理就有问题了，会将整个 ...

1、分割pdf文件 从原文件中取出n-m页，保留原文件的目录格式： qpdf infile.pdf --pages . n-m -- outfile.pdf 从原文件中取出n-m页，不保留原文件的目录格式： qpdf --empty --pages infile.pdf ...

python处理excel文件主要是第三方模块库xlrd、xlwt、xluntils和pyExcelerator，除此之外，python处理excel还可以用win32com和openpyxl模块。 使用xlrd读取文件，使用xlwt生成Excel文件（可以控制Excel中单元格的格式 ...