【华为云技术分享】基于Python的人脸自动戴口罩系统

1、项目背景

2019年新型冠状病毒感染的肺炎疫情发生以来，牵动人心，举国哀痛，口罩、酒精、消毒液奇货可居。

抢不到口罩，怎么办？作为技术人今天分享如何使用Python实现自动戴口罩系统，来安慰自己，系统效果如下所示：

本系统的实现原理是借助 Dlib模块的Landmark人脸68个关键点检测库轻松识别出人脸五官数据，根据这些数据，确定嘴唇部分的位置数据（48点~67点位置），根据检测到嘴部的尺寸和方向，借助PLL模块调整口罩的尺寸和方向，实现将口罩放在图像的适当位置。

2、页面设计

基于tkinter模块实现GUI设计，可载入人物图像，选择四种类型口罩（这里的口罩是处理好的图片），展示佩戴好口罩的效果，操作完成退出系统，效果如下所示：

页面布局实现代码如下所示：

 1     def __init__(self):
 2         self.root = tk.Tk()
 3         self.root.title('基于Pyhon的人脸自动戴口罩系统')
 4         self.root.geometry('1200x500')
 5  
 6         self.path1_ = None
 7         self.path2_ = None
 8         self.seg_img_path = None
 9         self.mask = None
10         self.label_Img_seg = None
11  
12         decoration = PIL.Image.open('./pic/bg.png').resize((1200, 500))
13         render = ImageTk.PhotoImage(decoration)
14         img = tk.Label(image=render)
15         img.image = render
16         img.place(x=0, y=0)
17  
18         # 原图1的展示
19         tk.Button(self.root, text="打开头像", command=self.show_original1_pic).place(x=50, y=120)
20         tk.Button(self.root, text="退出软件", command=quit).place(x=900, y=40)
21  
22         tk.Label(self.root, text="头像", font=10).place(x=280, y=120)
23         self.cv_orinial1 = tk.Canvas(self.root, bg='white', width=270, height=270)
24         self.cv_orinial1.create_rectangle(8, 8, 260, 260, width=1, outline='red')
25         self.cv_orinial1.place(x=180, y=150)
26         self.label_Img_original1 = tk.Label(self.root)
27         self.label_Img_original1.place(x=180, y=150)
28  
29         tk.Label(self.root,text="选择口罩",font=10).place(x=600,y=120)
30  
31         first_pic = Image.open("./pic/Mask.png")
32         first_pic = first_pic.resize((60, 60), Image.ANTIALIAS)
33         first_pic = ImageTk.PhotoImage(first_pic)
34         self.first = tk.Label(self.root, image=first_pic)
35         self.first.place(x=600,y=160, width=60, height=60)
36         self.first.bind("<Button-1>", self.mask0)
37  
38         second_pic = Image.open("./pic/Mask1.png")
39         second_pic = second_pic.resize((60, 60), Image.ANTIALIAS)
40         second_pic = ImageTk.PhotoImage(second_pic)
41         self.second_pic = tk.Label(self.root, image=second_pic)
42         self.second_pic.place(x=600, y=230, width=60, height=60)
43         self.second_pic.bind("<Button-1>", self.mask1)
44  
45         third_pic = Image.open("./pic/Mask3.png")
46         third_pic = third_pic.resize((60, 60), Image.ANTIALIAS)
47         third_pic = ImageTk.PhotoImage(third_pic)
48         self.third_pic = tk.Label(self.root, image=third_pic)
49         self.third_pic.place(x=600, y=300, width=60, height=60)
50         self.third_pic.bind("<Button-1>", self.mask3)
51  
52         forth_pic = Image.open("./pic/Mask4.png")
53         forth_pic = forth_pic.resize((60, 60), Image.ANTIALIAS)
54         forth_pic = ImageTk.PhotoImage(forth_pic)
55         self.forth_pic = tk.Label(self.root, image=forth_pic)
56         self.forth_pic.place(x=600, y=370, width=60, height=60)
57         self.forth_pic.bind("<Button-1>", self.mask4)
58  
59         tk.Label(self.root, text="佩戴效果", font=10).place(x=920, y=120)
60         self.cv_seg = tk.Canvas(self.root, bg='white', width=270, height=270)
61         self.cv_seg.create_rectangle(8, 8, 260, 260, width=1, outline='red')
62         self.cv_seg.place(x=820, y=150)
63         self.label_Img_seg = tk.Label(self.root)
64         self.label_Img_seg.place(x=820, y=150)
65  
66         self.root.mainloop()

载入人物图像，实现代码如下所示：

 1     # 原图1展示
 2     def show_original1_pic(self):
 3         self.path1_ = askopenfilename(title='选择文件')
 4         print(self.path1_)
 5         self.Img = PIL.Image.open(r'{}'.format(self.path1_))
 6         Img = self.Img.resize((270,270),PIL.Image.ANTIALIAS)   # 调整图片大小至256x256
 7         img_png_original = ImageTk.PhotoImage(Img)
 8         self.label_Img_original1.config(image=img_png_original)
 9         self.label_Img_original1.image = img_png_original  # keep a reference
10         self.cv_orinial1.create_image(5, 5,anchor='nw', image=img_png_original)

人脸戴口罩展示，实现代码如下所示：

 1     # 人脸戴口罩效果展示
 2     def show_morpher_pic(self):
 3         img1 = cv2.imread(self.path1_)
 4         x_min, x_max, y_min, y_max, size = self.get_mouth(img1)
 5         adding = self.mask.resize(size)
 6         im = Image.fromarray(img1[:, :, ::-1])  # 切换RGB格式
 7         # 在合适位置添加头发图片
 8         im.paste(adding, (int(x_min), int(y_min)), adding)
 9         # im.show()
10         save_path = self.path1_.split('.')[0]+'_result.jpg'
11         im.save(save_path)
12         Img = im.resize((270, 270), PIL.Image.ANTIALIAS)  # 调整图片大小至270x270
13         img_png_seg = ImageTk.PhotoImage(Img)
14         self.label_Img_seg.config(image=img_png_seg)
15         self.label_Img_seg.image = img_png_seg  # keep a reference

导入四种口罩图像，实现代码如下所示：

 1     def mask0(self, event):
 2         self.mask = Image.open('pic/mask.png')
 3         self.show_morpher_pic()
 4  
 5     def mask1(self, event):
 6         self.mask = Image.open('pic/mask1.png')
 7         self.show_morpher_pic()
 8  
 9     def mask3(self, event):
10         self.mask = Image.open('pic/mask3.png')
11         self.show_morpher_pic()
12  
13     def mask4(self, event):
14         self.mask = Image.open('pic/mask4.png')
15         self.show_morpher_pic()

3、器官识别

页面功能实现后就是依托Dlib库实现人脸器官关键点的识别，分析出嘴部位置及尺寸，这里为了方便各位直观了解，写了一个测试Demo，将人物脸部关键点都显示出来，代码如下所示：

 1 #coding=utf-8
 2 #图片检测 - Dlib版本
 3 import cv2
 4 import dlib
 5 import time
 6 t=time.time()
 7 path = "./pic/im.jpg"
 8 img = cv2.imread(path)
 9 gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
10  
11 #人脸分类器
12 detector = dlib.get_frontal_face_detector()
13 # 获取人脸检测器
14 predictor = dlib.shape_predictor(
15     "./shape_predictor_68_face_landmarks.dat"
16 )
17  
18 dets = detector(gray, 1)
19 for face in dets:
20     shape = predictor(img, face)  # 寻找人脸的68个标定点
21     # 遍历所有点，打印出其坐标，并圈出来
22     for pt in shape.parts():
23         pt_pos = (pt.x, pt.y)
24         cv2.circle(img, pt_pos, 1, (0, 255, 0), 2)
25     cv2.imshow("image", img)
26 print('所用时间为{}'.format(time.time()-t))
27 cv2.waitKey(0)
28 #cv2.destroyAllWindows()
29 time.sleep(5)

效果如下所示：

在本系统中这些关键点无需绘制显示，直接使用就可以，实现代码如下所示：

 1     def get_mouth(self, img):
 2         img_gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
 3         detector = dlib.get_frontal_face_detector()
 4         predictor = dlib.shape_predictor('./shape_predictor_68_face_landmarks.dat')
 5         faces = detector(img_gray, 0)
 6         for k, d in enumerate(faces):
 7             x = []
 8             y = []
 9             # 人脸大小的高度
10             height = d.bottom() - d.top()
11             # 人脸大小的宽度
12             width = d.right() - d.left()
13             shape = predictor(img_gray, d)
14             # 48-67 为嘴唇部分
15             for i in range(48, 68):
16                 x.append(shape.part(i).x)
17                 y.append(shape.part(i).y)
18             # 根据人脸的大小扩大嘴唇对应口罩的区域
19             y_max = (int)(max(y) + height / 3)
20             y_min = (int)(min(y) - height / 3)
21             x_max = (int)(max(x) + width / 3)
22             x_min = (int)(min(x) - width / 3)
23             size = ((x_max - x_min), (y_max - y_min))
24             return x_min, x_max, y_min, y_max, size

4、退出系统

退出系统非常简单，一行Demo即可实现，如下所示：

1     def quit(self):
2         self.root.destroy()

作者：华为云特约供稿开发者不脱发的程序猿