python文件操作(IO技术)
一个完整的程序一般包括数据的存储和读取;实际开发中,我们经常需要从外部存储介质(硬盘、光盘、U盘)读取数据,或
者将程序产生的数据存储到文件中,实现“持久化”保存。软件系统是将数据存储到数据库中,数据库实际上也是基于文件形式存储
的。
文本文件和二进制文件
1.文本文件
文本文件存储的是普通的“字符”文本, python默认为unicode字符集(两个字节表示一个字符,最多可以表
示2^16=65536个), 可以使用记事本打开,但是,像word软件编辑的文档不是文本文件。
2.二进制文件
二进制文件把数据内容用“字节”进行存储,无法用记事本打开,必须使用专用的软件解码。常见的有:MP4视频文件、
MP3音频文件、JPG图片、doc文档等等。
文件操作相关模块概述
名称 | 说明 |
IO模块 | 文件流的输入和输出操作 import output |
OS模块 | 提供了不少与操作系统相关联的函数 |
glob模块 | 查找符合特定规则的文件路径名 |
fnmatch模块 | 使用模式来匹配文件路径名 |
fileinput模块 | 处理多个输入文件 |
filecmp模块 | 用于文件的比较 |
csv模块 | 用于csv文件处理 |
pickle和cPickle | 用于序列化和反序列化 |
xml包 | 用于XML数据处理 |
bz2、gzip、zipfile、zlib、tarfile | 用于处理压缩和解压缩文件(分别对应不同的算法) |
创建文件对象open()
open()函数用于创建文件对象,基本语法格式如下:
open(文件名[, 打开方式])
f = open(r'd:\b.txt', 'a')
模式 | 描述 |
r | 读(read)模式 |
w | 写(write)模式,如果文件不存在则创建;如果文件存在,则重写新内容 |
a | 追加(append)模式,如果文件不存在则创建;如果文件存在,则在文件末尾追加内容 |
b | 二进制(binary)模式(可与其他模式组合使用) |
+ | 读,写模式(可与其他模式组合使用) |
文本文件对象和二进制文件对象的创建:
如果我们没有增加模式‘b’, 则默认创建的是文本文件对象, 处理的基本单元是‘字符’,如果是二进制模式‘b’。 则创建的
是二进制文件对象,处理的基本单元是‘字节’。
文本文件的写入
文本文件的写入一般就是三个步骤:
1.创建文件对象
2.写入数据
3.关闭文件对象
【操作】文本写入操作简单测试
常用编码介绍
Ascil
0~31及127(共33个)是控制字符或通信专用字符(其余为可显示字符)如控制符:LF(换行)、CR(回车)、FF(换页)、
DEL(删除)、BS(退格)、BEL(响铃)等;通信专用字符:SOH(文头)、EOT(文尾)、ACK(确认)等;ASCII值为8、9、10
和13 分别转换为退格、制表、换行和回车字符。它们并没有特定的图形显示,但会依不同的应用程序,而对文本显示有不同
的影响 [1] 。32~126(共95个)是字符(32是空格),其中48~57为0到9十个阿拉伯数字。65~90为26个大写英文字母,97~
122号为26个小写英文字母,其余为一些标点符号、运算符号等。
关闭流要点1_try异常管理
write('') 把字符串写入文件中
writelines('') 把字符串列表写入文件中,不添加换行符
1.close()关闭文件流
由于文件底层是有操作系统控制的,所以我们打开的文件对象必须显示调用close()方法关闭文件对象,当调用close()方法
时,首先会把缓冲区数据写入文件(也可以直接调用flush()方法),在关闭文件,释放文件对象。
为了确保打开的文件对象正常关闭,一般结合异常机制的finally或者with关键字实现,无论何种情况都能关闭打开的文件
对象。
2.with语句(上下文管理器)
with关键字(上下文管理器)可以自动管理上下文,不论什么原因跳出with块,都能确保文件正确的关闭,并且可以在代
码块执行完毕后自动还原进入该代码时的现场。
3.文本文件的读取
read([size])
从文件中读取size个字符,并作为结果返回。如果没有size参数,则读取整个文件。读到文件末尾,会返回空字符
串。
readline()
读取一行内容作为结果返回。读到文件末尾,会返回空字符串。
readlines()
文本文件中,每一行作为一个字符串存入列表中,返回该列表。
二进制文件的读取和写入
f = open(r'd:\a.txt', 'wb') as f: #可写的,重写模式的二进制文件对象
f = open(r'd:\a.txt', 'ab') as f: #可写的,追加模式的二进制文件对象
f = open(r'd:\a.txt', 'rb') as f: #可读的二进制文件对象
操作读取图片文件,实现文件的拷贝
文件对象的常用属性和方法
属性 | 说明 |
name | 返回文件的名字 |
mode | 返回文件的打开模式 |
closed | 若文件被关闭则返回True |
文件对象的常用方法
方法名 | 说明 |
read([size]) | 从文件中读取size个字节或字符的内容返回。若省略[size],则读取到文件末尾,即一次读取文件所有内容 |
readline() | 从文本文件中读取一行内容 |
readlines() | 把文本文件中每一行都作为独立的字符串对象,并将这些对象放入列表返回 |
write(str) | 将字符str内容写入文件 |
writelines(str) | 将字符串列表str写入文本文件,不添加换行符 |
seek(offset, [,whence]) | 把文件指针移动到新的位置,offset表示相对于whence的多少个字节的偏移量; offset: offset为正,往结束反向移动,为负,往开始反向移动 whence 不同的值代表不同的含义: 0:从文件头开始计算(默认值) 1:从当前位置开始计算 2:从文件尾开始计算 |
tell() | 返回文件指针的当前位置 |
truncate([size]) | 不论文件指针在什么位置,只留下指针钱size个字节的内容,其余全部删除; |
flush() | 把缓冲区的内容写入文件,但不关闭文件 |
close() | 把缓冲区内容写入文件,同时关闭文件,释放文件对象相关资源 |
使用pickle序列化和反序列化
python中,一切皆对象,对象的本质就是一个“存储数据的内存块”。有时候,我们需要将“内存的数据”保存到硬盘上,或
者通过网络传输到其他计算机上,这时候,就需要“对象的序列化和反序列化”。对象的序列化机制广泛的应用在分布式、并行
系统上。
序列化指的是:将对象转化成“串行化”数据形式,存储到硬盘或通过网络传输到其他地方。反序列化是指相反的过程,
将读取到的“串行化数据”转化成对象。
我们可以使用pickle模块中的函数,实现序列化和反序列化的操作。
序列化我们使用:
pickle.dump(obj,file) obj就是要被序列化的对象, file指的是存储的文件
pickle.load(file) 从file读取数据,反序列化成对象
【操作】将对象序列化到文件中
【操作】将文件数据反序列化成对象
CSV文件的操作
csv是逗号分隔符文本格式,常用于数据交换,excel文件和数据库数据的导入和导出。与Excel文件不懂,CSV文件中:
- 值没有类型,所有值都是字符串
- 不能指定字体颜色等样式
- 不能指定单元格的宽高,不能合并单元格
- 没有多个工作表
- 不能嵌入图像图表
python标准库的模块CSV提供了读取和写入csv格式文件的对象
1.csv.reader对象和csv文件读取
os和os.path模块
os模块可以帮助我们直接对操作系统进行操作。我们可以直接调用操作系统的可执行文件,命令,直接互操作文件等等。
是系统运维的核心基础。
1.os调用操作系统文件和命令
os.system可以帮助我们直接调用系统的命令
【示例】os.system调用window系统程序
2.os模块-文件和目录操作
os模块下常用操作文件的方法:
方法名 | 描述 |
remove(path) | 删除指定的文件 |
rename(src, dest) | 重命名文件或目录 |
stat(path) | 返回文件的所有属性 |
listdir(path) | 返回path目录下的文件和目录列表 |
os模块下关于目录操作的相关方法:
方法名 | 描述 |
mkdir(path) | 创建目录 |
makedirs(path1/path2/path3) | 创建多级目录 |
rmdir(path) | 删除目录 |
removedirs(path1/path2...) | 删除多级目录(目录必须为空) |
getcwd() | 返回当前工作目录:current work dir |
chdir(path) | 把path设为当前工作目录 |
walk() | 遍历目录树 |
sep | 当前操作系统所使用的路径分隔符 |
access(path, os.F_OK) | 可以车上读取或写入文件的权限 |
os.path模块
方法名 | 描述 |
isabs(path) | 判断path是否绝对路径 |
isdir(path) | 判断path是否为目录 |
isfile(path) | 判断path是否为文件 |
exists(path) | 判断指定路径的文件是否存在 |
getsize(filename) | 返回文件的大小 |
abspath(path) | 返回绝对路径 |
dirname(path) | 返回目录的路径 |
getatime(filename) | 返回文件的最后访问时间 |
getmtime(filename) | 返回文件的最后修改时间 |
walk(top, func, arg) | 递归方式遍历文件目录 |
join(path, *paths) | 连接多个path |
split(path) | 对路径进行分割,以列表形式返回 |
splitext(path) | 从路径中分割文件的扩展名 |
basename(path) | 返回path最后的文件名(若path以/或者\结尾,返回空值) |
os.walk(path)模块,遍历path下的所有文件
3. shutil模块(拷贝和压缩)