Shutil模块介绍

引言

在看django和scrapy源码的时候,可以看见他会有一个模式,即先有一些模块文件,在他的源码中,当你使用他规定的命令的时候,就会复制这些文件,来生成你要的模板文件。这里就是用了python自带的shutil模块。

回想

曾经自己写过一个复制备份的模块,当时写的时候还觉得自己太NB了,还能兼顾linux,windows的兼容性,使用了windows的copy命令和linux的cp命令,用python来调用这些命令,现在想想挺搞笑,其实完全可以用shutil模块来,哎,没文化真可怕。不过开发的过程也是一个体会的过程,不是么,说不定shutil模块也是使用了这些命令呢, 当然,这是猜测,实际上不是。但是会有那么一点影子的。后面我会给出分析。

基本功能介绍

这一点想获得更多知识请参看api,这里我只说一些常用的。

1.    基本复制方法

采用给出2个文件对象的方式,在2个文件对象之间进行数据复制达到目的。

copyfileobj源码:

def copyfileobj(fsrc, fdst, length=16*1024):
"""copy data from file-like object fsrc to file-like object fdst"""
while 1:
buf = fsrc.read(length)
if not buf:
break
fdst.write(buf)

分析:给出2个文件对象,通过读取原文件的内容,写入到新文件对象中,每次写入16KB。

这个方法实际是不常用的,而是为了我们的常用方式做准备的。注意这个方法这里没有流文件对象并没有关闭,即这确实只是一个基础方法。

Copyfile源码

def copyfile(src, dst):
"""Copy data from src to dst"""
if _samefile(src, dst):
raise Error, "`%s` and `%s` are the same file" % (src, dst)

fsrc = None
fdst = None
try:
fsrc = open(src, 'rb')
fdst = open(dst, 'wb')
copyfileobj(fsrc, fdst)
finally:
if fdst:
fdst.close()
if fsrc:
fsrc.close()

这里代码没有任何难度,读取2个文件对象,调用刚才的copyfileobject对象。

测试.

条件:

E:\test\a文件夹下有一个文件jquery.min.js

E:\test\b下没有任何文件,但必须指定一个文件名

#! -*- encoding:utf-8 -*-
import shutil
shutil.copyfile("E:\\test\\a\\jquery.min.js", "E:\\test\\b\\jquery.min.js")

执行结果在E:\test\b目录下生成了一个名为jquery.min.js的文件。

外部调用方法

Copy源码

def copy(src, dst):
"""Copy data and mode bits ("cp src dst").

The destination may be a directory.

"""
if os.path.isdir(dst):
dst = os.path.join(dst, os.path.basename(src))
copyfile(src, dst)
copymode(src, dst)

可以看到这里有有趣的一行注释copy data and mode bits(“cp src dst”)复制文件内容的执行模式,完成的功能类似于cp src dst,在linux中不就是这个命令么,当然linux最终底层怎么实现的不得而知。 猜测也差不了多少。

代码解释,这里有一个条件,即如果dst是文件夹,而不是文件对象,那么就使用原来文件的文件名。即这个copy方法可以不用管是否拷贝对象是否是一个完整路径,文件夹也行,只不过文件夹的话,就以原来的文件名为新文件的文件名了。

测试,将刚才上个测试程序b文件夹中的文件清除,可以执行下面程序。会有新文件复制成功。

#! -*- encoding:utf-8 -*-
import shutil

shutil.copy("E:\\test\\a\\jquery.min.js", "E:\\test\\b")

Copy2源码

def copy2(src, dst):
"""Copy data and all stat info ("cp -p src dst").

The destination may be a directory.

"""
if os.path.isdir(dst):
dst = os.path.join(dst, os.path.basename(src))
copyfile(src, dst)
copystat(src, dst)

对比copy和copy2,发现只有copyfile下面的方法变了,而注释变成了cp –p src dst,熟悉linux的同学应该了解各种参数意义。

这里将原有文件的所有属性状态都copy过去了

Copytree源码

def copytree(src, dst, symlinks=False, ignore=None):
    names = os.listdir(src)
    if ignore is not None:
        ignored_names = ignore(src, names)
    else:
        ignored_names = set()

    os.makedirs(dst)
    errors = []
    for name in names:
        if name in ignored_names:
            continue
        srcname = os.path.join(src, name)
        dstname = os.path.join(dst, name)
        try:
            if symlinks and os.path.islink(srcname):
                linkto = os.readlink(srcname)
                os.symlink(linkto, dstname)
            elif os.path.isdir(srcname):
                copytree(srcname, dstname, symlinks, ignore)
            else:
                copy2(srcname, dstname)
            # XXX What about devices, sockets etc.?
        except (IOError, os.error), why:
            errors.append((srcname, dstname, str(why)))
        # catch the Error from the recursive copytree so that we can
        # continue with other files
        except Error, err:
            errors.extend(err.args[0])
    try:
        copystat(src, dst)
    except OSError, why:
        if WindowsError is not None and isinstance(why, WindowsError):
            # Copying file access times may fail on Windows
            pass
        else:
            errors.extend((src, dst, str(why)))
    if errors:
        raise Error, errors

  

该方法给出一个原始文件夹系统,下面可以有N个文件夹和文件,给出dst,即给出你想copy的路径的根路径,注意,这个根路径当前是必须不存在的,源码中标注红色部分,如果存在,会产生错误。这一点上,感觉该做一个条件判断的,可惜没做。当然不是大问题。有点吹毛求疵了。

测试:

E:\test\a 在a 目录下任意新建文件夹和文件,N多层次,test下也只有a这个文件夹。

#! -*- encoding:utf-8 -*-
import shutil

shutil.copytree("E:\\test\\a", "E:\\test\\b")

执行后会在test文件夹下多出一个b文件夹,并且b文件夹下有a文件夹下的所有内容.

Rmtree源码

def rmtree(path, ignore_errors=False, onerror=None):
if ignore_errors:
def onerror(*args):
pass
elif onerror is None:
def onerror(*args):
raise
try:
if os.path.islink(path):
# symlinks to directories are forbidden, see bug #1669
raise OSError("Cannot call rmtree on a symbolic link")
except OSError:
onerror(os.path.islink, path, sys.exc_info())
# can't continue even if onerror hook returns
return
names = []
try:
names = os.listdir(path)
except os.error, err:
onerror(os.listdir, path, sys.exc_info())
for name in names:
fullname = os.path.join(path, name)
try:
mode = os.lstat(fullname).st_mode
except os.error:
mode = 0
if stat.S_ISDIR(mode):
rmtree(fullname, ignore_errors, onerror)
else:
try:
os.remove(fullname)
except os.error, err:
onerror(os.remove, fullname, sys.exc_info())
try:
os.rmdir(path)
except os.error:
onerror(os.rmdir, path, sys.exc_info())

我想看名字你就该知道这个方法是干嘛的了。

刚才copytree执行成功后立即执行下面的代码:

#! -*- encoding:utf-8 -*-
import shutil

shutil.rmtree("E:\\test\\b")

可以发现b文件夹连同下面的文件都消失了。

Move源码

def move(src, dst):
real_dst = dst
if os.path.isdir(dst):
real_dst = os.path.join(dst, _basename(src))
if os.path.exists(real_dst):
raise Error, "Destination path '%s' already exists" % real_dst
try:
os.rename(src, real_dst)
except OSError:
if os.path.isdir(src):
if destinsrc(src, dst):
raise Error, "Cannot move a directory '%s' into itself '%s'." % (src, dst)
copytree(src, real_dst, symlinks=True)
rmtree(src)
else:
copy2(src, real_dst)
os.unlink(src)

同上,看名字就知道的功能,类似于windows的ctrl+x->ctrl+v操作。

测试。

执行完rmtree后,test目录只有一个a文件夹,执行下面程序,可以看到a文件夹没有了,取而代之的是b文件夹下有a文件夹的所有内容。有点想os.rename了,但是只是因为我将这2个测试文件都放在了一起而已,即他能比较笨的完成os.rename的功能,但os.rename不可能会做move的功能。

#! -*- encoding:utf-8 -*-
import shutil
shutil.move("E:\\test\\a", "E:\\test\\b")

最后,解释下这个模块的名字,shutil , shu+til?中国人相信第一次看见都那么分的, 从上面分析的功能看应该是sh+util,即完成shell的一些功能的工具集。




















原文地址:https://www.cnblogs.com/CLTANG/p/2249257.html