Merge pull request #2 from 1647790440/V1.0

V1.0

Author: JingyibySUTsoftware

README.md

@@ -0,0 +1,30 @@
+# 人物专注性检测
+
+## 1.0版本
+在征得原作者的同意之后，进行了部分修改，得到V1.0版本
+
+主要不同地方为：
+
+1、疲劳检测中去掉了点头行为的检测，仅保留闭眼检测和打哈欠检测。
+
+2、Yolov5的权重进行了重新训练，增加了训练轮次。
+
+3、前端UI进行了修改，精简了部分功能。
+
+## 项目介绍
+该项目为人物专注性检测，分为两个检测部分，疲劳检测和分心行为检测。
+疲劳检测部分，使用Dlib进行人脸关键点检测，然后通过计算眼睛和嘴巴的开合程度来判断是存在否闭眼或者打哈欠，并使用Perclos模型计算疲劳程度。
+分心行为检测部分，使用Yolov5，检测是否存在玩手机、抽烟、喝水这三种行为。
+
+## 使用方法
+依赖：YoloV5、Dlib、PySide2
+
+直接运行main.py，即可使用本程序，具体效果可以观看演示视频。
+
+各函数的信息，均在代码中写好了注释，如有疑问请联系1647790440@qq.com
+
+## 致谢
+十分感谢原作者的支持和帮助，本项目很大部分都基于源项目，项目所使用的数据集也由原作者提
+
+供。
+

__pycache__/mydetect.cpython-39.pyc

@@ -1,3 +1,4 @@
+#主函数
 import sys
 import os
 from glob import glob
@@ -10,26 +11,28 @@
 import myframe
 
 # 定义变量
-# 眼睛长宽比
-# 闪烁阈值
-EYE_AR_THRESH = 0.15
-EYE_AR_CONSEC_FRAMES = 2
-# 打哈欠长宽比
-# 闪烁阈值
-MAR_THRESH = 0.65
-MOUTH_AR_CONSEC_FRAMES = 3
-# 初始化帧计数器和眨眼总数
-COUNTER = 0
-TOTAL = 0
-# 初始化帧计数器和打哈欠总数
-mCOUNTER = 0
-mTOTAL = 0
-# 行为帧数变量
-ActionCOUNTER = 0
-# 周期变量
-Roll = 0
-Rolleye = 0
-Rollmouth = 0
+
+# 眼睛闭合判断
+EYE_AR_THRESH = 0.15        # 眼睛长宽比
+EYE_AR_CONSEC_FRAMES = 2    # 闪烁阈值
+
+#嘴巴开合判断
+MAR_THRESH = 0.65           # 打哈欠长宽比
+MOUTH_AR_CONSEC_FRAMES = 3  # 闪烁阈值
+
+# 定义检测变量，并初始化
+COUNTER = 0                 #眨眼帧计数器
+TOTAL = 0                   #眨眼总数
+mCOUNTER = 0                #打哈欠帧计数器
+mTOTAL = 0                  #打哈欠总数
+ActionCOUNTER = 0           #分心行为计数器器
+
+# 疲劳判断变量
+# Perclos模型
+# perclos = (Rolleye/Roll) + (Rollmouth/Roll)*0.2
+Roll = 0                    #整个循环内的帧技术
+Rolleye = 0                 #循环内闭眼帧数
+Rollmouth = 0               #循环内打哈欠数
 
 class MainWindow(QMainWindow, Ui_MainWindow):
     def __init__(self):
@@ -40,6 +43,7 @@ def __init__(self):
 
     def window_init(self):
         # 设置控件属性
+        # 设置label的初始值
         self.label.setText("请打开摄像头")
         self.label_2.setText("疲劳检测：")
         self.label_3.setText("眨眼次数：0")
@@ -56,10 +60,6 @@ def window_init(self):
         self.actionOpen_camera.triggered.connect(CamConfig_init)
         # 自适应窗口缩放
         self.label.setScaledContents(True)
-    # def printf(self, mes):
-    #     self.textBrowser.append(mes)  # 在指定的区域显示提示信息
-    #     self.cursot = self.textBrowser.textCursor()
-    #     self.textBrowser.moveCursor(self.cursot.End)
 
 # 定义摄像头类
 class CamConfig:
@@ -76,22 +76,34 @@ def __init__(self):
         self.v_timer.start(20)
         # 连接定时器周期溢出的槽函数，用于显示一帧视频
         self.v_timer.timeout.connect(self.show_pic)
+        # 在前端UI输出提示信息
         Ui_MainWindow.printf(window,"载入成功，开始运行程序")
         Ui_MainWindow.printf(window,"")
         Ui_MainWindow.printf(window,"开始执行疲劳检测...")
         window.statusbar.showMessage("正在使用摄像头...")
     def show_pic(self):
         # 全局变量
+        # 在函数中引入定义的全局变量
         global EYE_AR_THRESH,EYE_AR_CONSEC_FRAMES,MAR_THRESH,MOUTH_AR_CONSEC_FRAMES,COUNTER,TOTAL,mCOUNTER,mTOTAL,ActionCOUNTER,Roll,Rolleye,Rollmouth
-        # 读取一帧
+        
+        # 读取摄像头的一帧画面
         success, frame = self.cap.read()
         if success:
-            # Mat格式图像转Qt中图像的方法
-            #检测
-            ret,frame = myframe.frametest(frame)
+            # 检测
+            # 将摄像头读到的frame传入检测函数myframe.frametest()
+            ret,frame = myframe.frametest(frame)  
             lab,eye,mouth = ret
-            #行为判断
+            # ret和frame，为函数返回
+            # ret为检测结果，ret的格式为[lab,eye,mouth],lab为yolo的识别结果包含'phone' 'smoke' 'drink',eye为眼睛的开合程度（长宽比），mouth为嘴巴的开合程度
+            # frame为标注了识别结果的帧画面，画上了标识框
+
+            # 分心行为判断
+            # 分心行为检测以15帧为一个循环
             ActionCOUNTER += 1
+
+            # 如果检测到分心行为
+            # 将信息返回到前端ui，使用红色字体来体现
+            # 并加ActionCOUNTER减1，以延长循环时间
             for i in lab:
                 if(i == "phone"):
                     window.label_6.setText("<font color=red>正在用手机</font>")
@@ -104,44 +116,62 @@ def show_pic(self):
                     if ActionCOUNTER > 0:
                         ActionCOUNTER -= 1
                 elif(i == "drink"):
-                    window.label_7.setText("<font color=red>正在用喝水</font>")
+                    window.label_8.setText("<font color=red>正在用喝水</font>")
                     window.label_9.setText("<font color=red>请不要分心</font>")
                     if ActionCOUNTER > 0:
                         ActionCOUNTER -= 1
-            #疲劳判断
-            if eye < EYE_AR_THRESH:  # 眼睛长宽比：0.2
+
+            # 如果超过15帧未检测到分心行为，将label修改为平时状态
+            if ActionCOUNTER == 15:
+                window.label_6.setText("手机")
+                window.label_7.setText("抽烟")
+                window.label_8.setText("喝水")
+                window.label_9.setText("")
+                ActionCOUNTER = 0
+    
+            # 疲劳判断
+            # 眨眼判断
+            if eye < EYE_AR_THRESH:
+                # 如果眼睛开合程度小于设定好的阈值
+                # 则两个和眼睛相关的计数器加1
                 COUNTER += 1
                 Rolleye += 1
             else:
-                # 如果连续3次都小于阈值，则表示进行了一次眨眼活动
-                if COUNTER >= EYE_AR_CONSEC_FRAMES:  # 阈值：3
+                # 如果连续2次都小于阈值，则表示进行了一次眨眼活动
+                if COUNTER >= EYE_AR_CONSEC_FRAMES:  
                     TOTAL += 1
                     window.label_3.setText("眨眼次数：" + str(TOTAL))
                     # 重置眼帧计数器
                     COUNTER = 0
-            if mouth > MAR_THRESH:  # 张嘴阈值0.5
+
+            # 哈欠判断，同上
+            if mouth > MAR_THRESH: 
                 mCOUNTER += 1
                 Rollmouth += 1
             else:
                 # 如果连续3次都小于阈值，则表示打了一次哈欠
-                if mCOUNTER >= MOUTH_AR_CONSEC_FRAMES:  # 阈值：3
+                if mCOUNTER >= MOUTH_AR_CONSEC_FRAMES:  
                     mTOTAL += 1
                     window.label_4.setText("哈欠次数：" + str(mTOTAL))
                     # 重置嘴帧计数器
                     mCOUNTER = 0
-            if ActionCOUNTER == 15:
-                window.label_6.setText("手机")
-                window.label_7.setText("抽烟")
-                window.label_8.setText("喝水")
-                window.label_9.setText("")
-                ActionCOUNTER = 0
+            
+            # 将画面显示在前端UI上
             show = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)
             showImage = QImage(show.data, show.shape[1], show.shape[0], QImage.Format_RGB888)
             window.label.setPixmap(QPixmap.fromImage(showImage))
+
+            # 疲劳模型
+            # 疲劳模型以150帧为一个循环
+            # 每一帧Roll加1
             Roll += 1
+            # 当检测满150帧时，计算模型得分
             if Roll == 150:
+                # 计算Perclos模型得分
                 perclos = (Rolleye/Roll) + (Rollmouth/Roll)*0.2
+                # 在前端UI输出perclos值
                 Ui_MainWindow.printf(window,"过去150帧中，Perclos得分为"+str(round(perclos,3)))
+                # 当过去的150帧中，Perclos模型得分超过0.38时，判断为疲劳状态
                 if perclos > 0.38:
                     Ui_MainWindow.printf(window,"当前处于疲劳状态")
                     window.label_10.setText("<font color=red>疲劳！！！</font>")
@@ -150,11 +180,15 @@ def show_pic(self):
                     Ui_MainWindow.printf(window,"当前处于清醒状态")
                     window.label_10.setText("清醒")
                     Ui_MainWindow.printf(window,"")
-                #归零
+
+                # 归零
+                # 将三个计数器归零
+                # 重新开始新一轮的检测
                 Roll = 0
                 Rolleye = 0
                 Rollmouth = 0
                 Ui_MainWindow.printf(window,"重新开始执行疲劳检测...")
+
 def CamConfig_init():
     window.f_type = CamConfig()
 

__pycache__/myframe.cpython-39.pyc

@@ -1,3 +1,5 @@
+# yolo检测的接口函数
+# 详细信息请参考 https://blog.csdn.net/qq_20241587/article/details/113349874?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-6.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7Edefault-6.control
 
 import numpy as np
 import cv2
@@ -101,4 +103,8 @@ def predict(im0s):
                 prob = round(float(conf) * 100, 2)  # round 2
                 ret_i = [label, prob, xyxy]
                 ret.append(ret_i)
+    # 返回信息
+    # label 标签信息 'face' 'smoke' 'drink' 'phone'
+    # prob 为对应的置信度
+    # xyxy 为对应的位置信息（外框）
     return ret

__pycache__/ui_mainwindow.cpython-39.pyc

@@ -1,5 +1,5 @@
-# -*- coding: utf-8 -*-
-# import the necessary packages
+# 疲劳检测，检测眼睛和嘴巴的开合程度
+
 from scipy.spatial import distance as dist
 from imutils.video import FileVideoStream
 from imutils.video import VideoStream
@@ -80,16 +80,15 @@ def detfatigue(frame):
         cv2.drawContours(frame, [rightEyeHull], -1, (0, 255, 0), 1)
         mouthHull = cv2.convexHull(mouth)
         cv2.drawContours(frame, [mouthHull], -1, (0, 255, 0), 1)
-        # 进行画图操作，用矩形框标注人脸
-        # left = rect.left()
-        # top = rect.top()
-        # right = rect.right()
-        # bottom = rect.bottom()
-        # cv2.rectangle(frame, (left, top), (right, bottom), (0, 255, 0), 1)
+
         # 画出眼睛、嘴巴竖直线
         cv2.line(frame,tuple(shape[38]),tuple(shape[40]),(0, 255, 0), 1)
         cv2.line(frame,tuple(shape[43]),tuple(shape[47]),(0, 255, 0), 1)
         cv2.line(frame,tuple(shape[51]),tuple(shape[57]),(0, 255, 0), 1)
         cv2.line(frame,tuple(shape[48]),tuple(shape[54]),(0, 255, 0), 1)
 
+    # 返回信息
+    # frame已经标注出眼睛和嘴巴的框线
+    # eyeae为眼睛的长宽比
+    # mouthar为嘴巴的长宽比
     return(frame,eyear,mouthar)

main.py

@@ -1,31 +1,59 @@
+# 检测的接口函数
+
 import cv2
-import mydetect
-import myfatigue
+import mydetect     #yolo检测
+import myfatigue    #疲劳检测
 import time
 
 cap = cv2.VideoCapture(0)
 
 def frametest(frame):
+    # frame为帧输入
+
+    # 定义返回变量
     ret = []
     labellist = []
+
+    # 计时开始，用于计算fps
     tstart = time.time()
+
+    # Dlib疲劳检测
+    # eye 眼睛开合程度
+    # mouth 嘴巴开合程度
+    frame,eye,mouth = myfatigue.detfatigue(frame)
+    
+
+    # yolo检测
     action = mydetect.predict(frame)
     for label, prob, xyxy in action:
+        # 在labellist加入当前label
         labellist.append(label)
+
+        # 将标签和置信度何在一起
         text = label + str(prob)
+
+        # 画出识别框
         left = int(xyxy[0])
         top = int(xyxy[1])
         right = int(xyxy[2])
         bottom = int(xyxy[3])
-        cv2.putText(frame,text,(left, top-5),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 1)
         cv2.rectangle(frame, (left, top), (right, bottom), (0, 255, 0), 1)
+
+        # 在框的左上角画出标签和置信度
+        cv2.putText(frame,text,(left, top-5),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 1)
+
+    # 将信息加入到ret中
     ret.append(labellist)
-    frame,eye,mouth = myfatigue.detfatigue(frame)
     ret.append(round(eye,3))
     ret.append(round(mouth,3))
-    #print(eye,mouth)
+
+    # 计时结束
     tend = time.time()
+    # 计算fps
     fps=1/(tend-tstart)
     fps = "%.2f fps" % fps
+    # 在图片的左上角标出Fps
     cv2.putText(frame,fps,(10, 20),cv2.FONT_HERSHEY_SIMPLEX, 0.7, (0, 0, 255), 1)
+
+    # 返回ret 和 frame
     return ret,frame