模块的使用

一 . shutil  文件处理模块

import shutil
import os


fsrc = open("test", 'r')  # 读取test
fdst = open("test2", "w")
shutil.copyfileobj(fsrc, fdst, length=1)  # 拷贝文件对象到另一个文件
shutil.copyfile("./test", "tmp/aa")  # 拷贝文件到指定目录

print(os.stat("test"))
shutil.copymode("test", "test2")  # 拷贝文件权限
print(os.stat("test2"))

shutil.copystat("test", "test2")  # 拷贝文件状态信息,包括atime,mtime
print(os.stat("test2"))
shutil.copy("test", "test3")  # 仅拷贝文件和权限,状态信息不拷贝
print(os.stat("test3"))
shutil.copy2("test", "test4")  # 拷贝文件和修改时间mtime
print(os.stat("test4"))
shutil.ignore_patterns("*est*")  # 忽略文件模式
shutil.copytree(".", "tmp", symlinks=False, ignore=shutil.ignore_patterns("*est*", "tmp*"))  # 忽略包含est和tmp开头的文件

shutil.rmtree(path="tmp", ignore_errors=False, onerror=None)  # 递归删除tmp目录,不忽略错误

shutil.move("test2", "test5")  # 把test2 移动到test5.相当于重命名
shutil.make_archive("new_test", format="gztar", root_dir="./tmp/")

import zipfile
# 压缩
new_zip = zipfile.ZipFile('new_test.zip', 'w')  # 创建一个归档文件,创建时,模式为'w'
new_zip.write('test3')  # 把test3文件压缩进去
new_zip.write('test4')  # 把test4压缩进去
new_zip.setpassword(b'123')  # 设置压缩密码,测试无效果
new_zip.close()  # 写入关闭
# 解压
new_zip_decompress = zipfile.ZipFile("new_test.zip", 'r')  # 打开压缩包,模式 'r'
print(new_zip_decompress.filelist)  # 查看压缩包内文件
new_zip_decompress.extractall()  # 解压压缩包
new_zip_decompress.close()

import tarfile
new_tar = tarfile.open('test.tar', 'w')  # 在当前目录新建一个tar压缩文件
new_tar.add('test3', arcname='test3')  # 指定压缩文件路径,指定压缩后的名字
new_tar.add("test4", arcname="test4")
new_tar.close()  # 压缩完毕

extra_tar = tarfile.open("test.tar", 'r')
extra_tar.extractall()  # 解压所有
extra_tar.close()

二 . shelve  可持久化数据

import shelve

new_shelve = shelve.open("shelve_file")  # 打开一个可持久化文件

d1 = {"k1": "v1", "k2":"v2"}  # 定义要存储的数据
l2 = ["1", '2', 3]

new_shelve["d1"] = d1  # 存取一个数据到shelve文件,定义格式为key,value形式
new_shelve["l2"] = l2
new_shelve.close()  #

print(new_shelve.keys())
print(type(new_shelve.keys()))
print(new_shelve.values())
new_shelve['l3'] = ["110", 112]
test_l1 = new_shelve.get('l2')
print('l2' in new_shelve.keys())  # 判断对象是否存在'l2'键
print(list(new_shelve.keys()))  # 打印当前可持久化数据的键值
for k, v in new_shelve.items():  # 遍历数据
    print(k, v)
print(test_l1)
test_l1.append(33)  # 修改数据
print(test_l1)
new_shelve['l2'] = test_l1  # 改变可持续化里的数据

print(new_shelve['l2'])

三. email & smtplib

import smtplib
from email.mime.text import MIMEText

mail_msg = MIMEText('<h1>快到碗里来</h1>', 'html', 'utf-8')
mail_msg['Subject'] = '来自阿里的问候'
mail_msg['From'] = 'zengchunyun@afcat.com'
mail_msg['To'] = '850808158@qq.com'
server = smtplib.SMTP_SSL('smtp.mxhichina.com', 465)
server.login('zengchunyun@afcat.com', 'youpassword')
server.set_debuglevel(1)
server.send_message(mail_msg, 'zengchunyun@afcat.com', '850808158@qq.com')
server.quit()

四. zlib

import zlib
"""
zlib压缩数据时，如果数据间不包含任何重复的内容，则压缩后，反而长度更大
对于有相同的内容存在，则压缩后才可能比压缩前长度更短
"""
string = b'hello this is my friend i am from china'
print(len(string))  # 39
tar = zlib.compress(string)  # 压缩数据
print(len(tar))  # 44
raw_string = zlib.decompress(tar)  # 解压数据
print(raw_string)

五. pickle & json

六. logging

七.hashlib

八.os

import os
from os import X_OK, W_OK, R_OK, F_OK

# from stat import UF_NOUNLINK

# X_OK  # Linux下的对应权限数字为1
# W_OK  # Linux下对应权限数字2
# R_OK  # Linux下权限对应数字为4
# 这几个权限类型实际也是数字类型，所以下面的权限检查可以直接使用数字形式
f = open('alg', 'w')
fd = f.fileno()
os.close(fd)  # 用于关闭文件描述符，
# f.close()
fd = os.open('alg', os.O_RDWR)  # 以可读写方式打开一个文件，并返回文件描述符
cwd = os.getcwd()
fd2 = os.open('/tmp', os.O_RDONLY)
os.fchdir(fd2)  # 以描述符形式将工作目录切换到文件描述符位置，前提该描述符是一个目录
print(os.getcwd())
os.chdir(cwd)
fd_dump = os.dup(fd)
os.dup2(fd_dump, 2)  # 将文件描述符复制到描述符1，0为标准输入，1为标准正确输出，2为标准错误输出，复制后，
# 接下来的标准正确输出都将写入文件，因为print的内容是输出到文件描述符1的，原来1的输出是到控制台，现在1变成文件了，所以直接写入文件
print(fd_dump)
os.write(fd, b'hhh')  # 向指定文件描述符写入数据
os.close(fd)  # 用于关闭文件描述符，

os.closerange(100, 200)  # 关闭所有范围内的文件描述符，错误会忽略
# os.write(fd, b'hhh')  # 再次对关闭的描述符写入会OSError
os.write(fd_dump, b'323')  # 但对复制对描述符依然可以写入

# X表示可执行权限，有则返回True，没有执行权限则返回False
print(os.access('alg', X_OK))  # X表示可执行权限，有则返回True，没有执行权限则返回False
print(os.access('alg', W_OK))
print(os.access('alg', R_OK))
print(os.access('alg', F_OK))  # 测试路径是否存在

print(os.getcwd())  # 获取当前工作目录
os.chdir('..')  # 改变当前工作目录
print(os.getcwd())  # 获取改变后的工作目录
os.chdir('./algorithm')
print(os.getcwd())  # 获取改变后的工作目录

# 设置标志位
UF_NODUMP = 0x00000001  # do not dump file  非转存储文件
UF_IMMUTABLE = 0x00000002  # file may not be changed  文件设为只读
UF_APPEND = 0x00000004  # file may only be appended to 文件只能追加内容
UF_OPAQUE = 0x00000008  # directory is opaque when viewed through a union stack 当通过联合栈查看时目录是透明
UF_NOUNLINK = 0x00000010  # file may not be renamed or  deleted 文件不能被重命名或删除
UF_COMPRESSED = 0x00000020  # OS X: file is hfs-compressed
UF_HIDDEN = 0x00008000  # OS X: file should not be displayed  文件不能被显示
SF_ARCHIVED = 0x00010000  # file may be archived  可存档文件
SF_IMMUTABLE = 0x00020000  # file may not be changed  文件不能修改
SF_APPEND = 0x00040000  # file may only be appended to  文件只能追加
SF_NOUNLINK = 0x00100000  # file may not be renamed or deleted  文件不可删除或重命名
SF_SNAPSHOT = 0x00200000  # file is a snapshot file  快照文件
os.chflags('alg', UF_NOUNLINK)  # 设置文件状态
print(os.stat('alg'))

# 设置权限
S_ISUID = 0o4000  # set UID bit
S_ISGID = 0o2000  # set GID bit
S_ENFMT = S_ISGID  # file locking enforcement
S_ISVTX = 0o1000  # sticky bit  目录里的文件拥有者才可删除更改，通常用于FTP共享文件
S_IREAD = 0o0400  # Unix V7 synonym for S_IRUSR  设置为只读权限
S_IWRITE = 0o0200  # Unix V7 synonym for S_IWUSR  只写权限
S_IEXEC = 0o0100  # Unix V7 synonym for S_IXUSR  只能执行的权限
S_IRWXU = 0o0700  # mask for owner permissions  创建者拥有所有权限
S_IRUSR = 0o0400  # read by owner  拥有者可读权限
S_IWUSR = 0o0200  # write by owner  拥有者可写权限
S_IXUSR = 0o0100  # execute by owner  拥有者可执行权限
S_IRWXG = 0o0070  # mask for group permissions  设置组拥有所有权限
S_IRGRP = 0o0040  # read by group  设置组可读权限
S_IWGRP = 0o0020  # write by group  设置组可写权限
S_IXGRP = 0o0010  # execute by group  设置组可执行权限
S_IRWXO = 0o0007  # mask for others (not in group) permissions  设置其它用户所有权限
S_IROTH = 0o0004  # read by others  设置其它用户只读权限
S_IWOTH = 0o0002  # write by others  设置其它用户可写权限
S_IXOTH = 0o0001  # execute by others  设置其它用户可执行权限
os.chmod('alg', S_IRWXU)
# os.fchmod(fd, S_IREAD)  该方法用于通过描述符形式对文件进行权限控制

os.chown('alg', 501,
         20)  # 设置文件的所有者是谁UID，所属组是谁GID，改变需要超级用户才能操作 不修改对应权限则使用-1作为占位符
# os.fchown(fd, 501, 20)  # 通过描述符形式对文件设置所有者及所属组

# os.chroot('/')  # 改变当前进程的根目录为指定目录，需要管理员权限

fd = os.open('f', os.O_RDWR | os.O_CREAT)
os.write(fd, b'hello')
# os.fdatasync(fd)  # 强制将文件写入磁盘
os.lseek(fd, 0, 0)
print(os.read(fd, 100))
# os.close(fd)

# f = os.fdopen(fd, 'w+', -1)  # bufsize为0表示没有缓冲，1表示行缓冲，大于1对整数表示指定缓冲大小，负数表示使用系统默认大小缓冲
# f.write('fdfdf')
# os.close(f)
f = os.open('tmp', os.O_RDWR | os.O_CREAT)

# print(os.pathconf_names)
print('PC_PIPE_BUF', os.fpathconf(f, 'PC_PIPE_BUF'))

# print(os.fstat(f))  # 返回文件描述符状态
# print(os.fstatvfs(f))  # 返回文件描述符的文件系统信息
# os.fsync(f)  # 强制将文件写入磁盘
# os.ftruncate(f, 100)  # 对文件描述符进行操作，裁剪文件大小
os.chdir('/tmp')
# print('getcwdu', os.getcwdu())  # 返回当前工作目录的unicode对象
print(os.listdir('./'))  # 返回指定的文件下包含的文件名字列表
info = os.lstat('.')
print(os.major(info.st_dev))  # 从原始设备号提前major码
print(os.minor(info.st_dev))

dev = os.makedev(os.major(info.st_dev), os.minor(info.st_dev))
print(dev)  # 创建一个原始的设备号
os.makedirs('/tmp/hah/ss')  # 递归创建目录

os.mkfifo('/tmp/pipe', 0o644)  # 创建管道

pty = os.openpty()  # 打开一个伪终端
print(pty)

"""
创建管道，实现父子进程间通信
"""
read, write = os.pipe()
print('read, write', read, write)
flag = 'm'
process_id = os.fork()
print('process_id', process_id)
if process_id:
    flag = 'm1'
    os.close(write)
    file = os.fdopen(read)
    print('Parent reading')
    string = file.read()
    print('text = ', string)
else:
    flag = 'm2'
    os.close(read)
    file = os.fdopen(write, 'w')
    print('Child writing')
    file.write('text written by child...')
    file.close()
    print('child closing')
    sys.exit(0)
print('end', flag)

fd = os.popen('ls', 'r', 1)  # 返回文件对象
print(fd.read())
if os.access('f', os.F_OK):
    os.unlink('f')  # 删除一个文件，如果是目录或不存在则报错

print(os.utime('alg', (1330712280, 1330712292)))  # 设置文件的访问和修改时间
print(os.utime('alg', None))  # 设置None 则使用当前时间

for root, dirs, files in os.walk('.', topdown=False):
    print(dirs)
    print(files)

九.re

#正则匹配时，对于没有分组功能的匹配，
#比如findall()，匹配时是不需要调用group分组，就能获取结果，
# search() 匹配时，对于结果需要调用group才能获取结果


#以下正则模式
string = "g0/0/1 ddd g2/0/2"
ret = re.search(r'w+(/w+)+',string)
#对于结果需要使用ret.group()获得

#但是同样的模式，对于findall却不适用了，
# 如果使用分组匹配时，若用findall，则需要修改匹配正则，对于该分组模式需要使用(?:...)去匹配

re.findall(r'w+(?:/w+)+', string)

十.math

import math

print(math.factorial(10))  # 获取阶乘
print(math.cos(math.pi / 4))
print(math.log(1024, 2))  # 计算对数，指数1024，底数为2
print(math.pi)
print(math.sqrt(25))  # 计算开方值

十一.random

import random

choice = random.choice(['apple', 'pear', 'banana'])
print(choice)
choice = random.sample(range(10), 10)  # c从100以内选10个数
print(choice)
choice = random.random()  # 随机一个float数
print(choice)
choice = random.randrange(6)  # 从6里面随机一个数
print(choice)