Python上下文管理器你学会了吗?

2021-07-12

​什么是上下文管理器

    对于像文件操作、连接数据库等资源管理的操作,我们必须在使用完之后进行释放,不然就容易造成资源泄露。为了解决这个问题,Python的解决方式便是上下文管理器。上下文管理器能够帮助你自动分配并且释放资源,其中最典型的应用便是with语句。我们来看一下打开文件的例子。

for x in range(10000): 
    f = open('test.txt', 'w')
    f.write('hello world') 

  这段代码表示我们打开了1万个文件,但是用完之后没有进行关闭,这是一个典型的资源泄露的例子,这是一个错误的示例。我们应该这么写。

for x in range(10000):
    with open('test.txt', 'w') as f:
        f.write('hello world')

  这样我们每次打开文件“test.txt”,并写入“hello world”之后,这个文件便会自动关闭,相应的资源也会释放,防止资源泄露。with语句的代码,我们还可以用下面的形式代替。

f = open('test.txt', 'w')
try:
    f.write('hello world')
finally:
    f.close()

  

       要注意的是,最后的 finally语句尤其重要,哪怕在写入文件时发生错误异常,它也可以保证该文件最终被关闭。不过与 with 语句相比,这样的代码就显得冗余了,并且还容易漏写,因此我们一般更倾向于使用 with 语句。

上下文管理器的实现

       接下来我们详细分析一下它的内部原理和实现。这里我们定义了一个上下管理器类FileManager,模拟Python打开、关闭文件的操作。

class FileManager:
    def __init__(self, name, mode):
        print('calling __init__ method')
        self.name = name
        self.mode = mode 
        self.file = None
        
    def __enter__(self):
        print('calling __enter__ method')
        self.file = open(self.name, self.mode)
        return self.file
​
​
    def __exit__(self, exc_type, exc_val, exc_tb):
        print('calling __exit__ method')
        if self.file:
            self.file.close()
            
with FileManager('test.txt', 'w') as f:
    f.write('hello world')
    print('write success')
    
####输出####
calling __init__ method
calling __enter__ method
write success
calling __exit__ method 

  

     这个是基于类的上下文管理器的实现,当我们使用类来创建上下文管理器时,我们需要包含“__enter__”和“__exit__”方法。其中,“__enter__”方法返回需要被管理的资源,方法“__exit__”里通常会做一些释放、清理资源的操作。当我们用with语句执行这个上下文管理器时,依次会执行如下操作。

  1. 首先方法“__init__()”被调用,程序初始化对象 FileManager,使得文件名(name)是“test.txt”,文件模式 (mode) 是“w”;

  2. 方法“__enter__()”被调用,文件“test.txt”以写入的模式被打开,并且返回 FileManager 对象赋予变量 f;

  3. 字符串“hello world”被写入文件“test.txt”;

  4. 方法“__exit__()”被调用,负责关闭之前打开的文件流。

   值得一提的是,方法“__exit__()”中的参数“exc_type, exc_val, exc_tb”,分别表示 exception_type、exception_value 和 traceback。当我们执行含有上下文管理器的 with 语句时,如果有异常抛出,异常的信息就会包含在这三个变量中,传入方法“__exit__()”。因此,如果你需要处理可能发生的异常,可以在“__exit__()”添加相应的处理异常的代码。

    python中的上下文管理器除了基于类的实现还可以基于生成器的实现,我们接着来看下面这个例子。你可以使用装饰器 contextlib.contextmanager,来定义自己所需的基于生成器的上下文管理器,用以支持 with 语句。还是拿前面的类上下文管理器 FileManager 来说,我们也可以用下面形式来表示:

    

from contextlib import contextmanager
​
@contextmanager
def file_manager(name, mode):
    try:
        f = open(name, mode)
        yield f
    finally:
        f.close()
        
with file_manager('test.txt', 'w') as f:
    f.write('hello world')

  

      这段代码中,函数 file_manager() 是一个生成器,当我们执行 with 语句时,便会打开文件,并返回文件对象 f;当 with 语句执行完后,finally block 中的关闭文件操作便会执行。

     到此,我们已经把两种上下文管理器的实现都介绍完了。这两者在功能上是一致的,只不过,基于类的上下文管理器更加灵活,适用于大型的系统开发。而基于生成器的上下文管理器更加方便、简洁,适用于中小型程序。

 

欢迎大家留言和我交流。更多有趣的内容,请关注公众号 老韩随笔