(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210576591.1 (22)申请日 2022.05.25 (71)申请人 福建和盛高科技产业有限公司 地址 361000 福建省厦门市思明区湖滨西 路9号6A-4室 (72)发明人 巩凯强　王青梅　梁李凡　陈太　 (74)专利代理 机构 福州君诚知识产权代理有限 公司 35211 专利代理师 戴雨君 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/16(2022.01) G06V 20/52(2022.01) G06V 20/40(2022.01) G06V 10/147(2022.01)G06V 10/25(2022.01) G06T 7/73(2017.01) (54)发明名称 一种变电站监控中人员吸烟检测方法 (57)摘要 本发明公开一种变电站监控中人员吸烟检 测方法， 将采集的图像通过MTCNN网络得到人脸 区域、 眼部、 嘴部关键点 （x,y） 坐标， 并通过眼部 关键点的坐标对 人脸矫正， 即计算双眼中心点的 位置eye_center和双眼连线的倾斜角度， 通过 eye_center和倾斜角度得到仿射变换矩阵， 将 整 张图片进行仿射变换， 最后基于yolov5算法对嘴 部区域识别是否存在香烟 物体， 若检测的香烟部 分大于设置的阈值， 则存在人员吸烟事件。 本发 明识别率较高并且只需要单目摄像机获取图像， 在硬件成本上易于 推广。 权利要求书1页 说明书4页 附图2页 CN 115171207 A 2022.10.11 CN 115171207 A 1.一种变电站监控中人员吸烟检测方法， 其特 征在于： 其包括以下步骤： 步骤1， 数据采集与预处理： 采集变电站场景图像， 按比例随机分为训练集和测试集， 并 按4:1比例随机分为训练集和 测试集； 对图像数据进行增强预处 理， 步骤2， 目标检测网络模型的搭建： 构建端到端的卷积神经网络模型CNN， 卷积神经网络 模型CNN至少包括输入层、 卷积层、 批量归一 化层、 池化层和输出层； 步骤3， 根据损失函数训练卷积神经网络模型CN N， 使得损失函数达 到收敛状态 ; 步骤4， 将采集的图像通过MTCN N网络得到人脸区域、 眼部、 嘴部关键点 坐标， 步骤5， 通过眼部关键点的坐标对人脸 矫正， 将整张图片进行仿射变换； 步骤6， 基于yolov5算法对嘴部区域识别是否存在香烟物体； 是则， 执行步骤7； 否则， 判 定不存在人员吸烟事 件； 步骤7， 判断卷积神经网络模型CNN输出层的存在香烟物体的置信度 是否大于设置的阈 值； 是则， 存在人员吸烟事 件； 否则， 判定不存在人员吸烟事 件。 2.根据权利要求1所述的一种变电站监控中人员吸烟检测方法， 其特征在于： 步骤1中 在变电站场区固定位置安装摄 像头以视频 方式收集图像。 3.根据权利要求1所述的一种变电站监控中人员吸烟检测方法， 其特征在于： 步骤1中 在视频中选取2500  张情景不一样的图片， 按  4:1 比例划分为训练集和测试集， 对训练集 和测试集用 LabelImage 打标签， 标签文件以  xml 格式存储。 4.根据权利要求1所述的一种变电站监控中人员吸烟检测方法， 其特征在于： 步骤1中 增强预处 理包括图像裁 剪、 翻转和Mosaic数据增强方式。 5.根据权利要求1所述的一种变电站监控中人员吸烟检测方法， 其特征在于： 步骤2中 卷积神经网络模 型CNN结构的输入层对图像进 行Mosaic数据增强； 中间层 包含卷积层、 批量 归一化层、 非线性激活函数层、 SPP模块和 CSP模块； 输出层用于输出每类物体回归坐标、 置 信度以及类别。 6.根据权利要求1所述的一种变电站监控中人员吸烟检测方法， 其特征在于： 步骤3中 利用训练集中的图像及其真实标签训练卷积神经网络CNN， 包括神经网络前向运算、 神经网 络后向运 算和损失函数的确定 。 7.根据权利要求1所述的一种变电站监控中人员吸烟检测方法， 其特征在于： 步骤5中 计算双眼中心点的位置和双眼连线的倾斜角度， 通过双眼中心 点和倾斜角度得到仿射变换 矩阵， 将整张图片进行仿射变换。 8.根据权利要求1所述的一种变电站监控中人员吸烟检测方法， 其特征在于： 步骤7中 置的阈值 为0.85。权　利　要　求　书 1/1 页 2 CN 115171207 A 2一种变电站监控中人员吸烟检测方 法 技术领域 [0001]本发明涉及图像识别技 术领域， 尤其涉及一种变电站监控中人员吸烟检测方法。 背景技术 [0002]随着网络监控摄像头的普及和广泛使用， 吸烟检测技术成为了人员违章作业分析 领域中智能视频监控的一个重要分支,对违章作业的吸烟人员进行监控， 在很大程度上提 高了视频监控系统的实用性和有效性， 真正实现了 “机器为主， 人工为辅 ”的行为安全防范 目的。 [0003]目前吸烟检测主要有以下几种方法： a.基于红外热图像检测方法； b.基于深度学 习的物体检测方法。 基于红外热图像检测物体方法， 中国专利文献CN202110597886.2的检 测方法， 获取待测对象 的红外热图像和可见光图像； 根据所述红外热图像对应的灰度图像， 检测所述红外热图像中是否存在火点； 若所述红外热图像中存在所述火点， 则将所述火点 映射至所述可见光图像； 在所述可见光图像中， 若所述火点相对于所述待测对 象位于预定 区域， 则判断所述待测对 象存在吸烟行为。 该法虽然通过红外图像定位到火点位置， 然而， 图像中类似火点的区域同时存在容易误检， 而且红外热成像仪昂贵的成本限制了它 广泛使 用； 基于深度学习的检测方法， 中国专利文献CN202011416063.7公开了一种 基于深度学习 目标检测的吸烟检测方法， 该方法包括:获取待识别用户的面部特征和基本属性信息;将面 部特征和基本属性信息输入至训练好的吸烟者识别模型,输出与面部特征和基本属性信息 对应的待识别用户为吸烟者的概率;当概率大于等于预先设定的判别为吸烟阈值时,确定 待识别用户为吸烟者。 该法虽然能达到识别的效果， 但基于面部特征 的判别方法漏检率较 高。 [0004]可见， 传统红外热图像成像仪成本高， 图像分辨细节能力较差。 现有基于判别的识 别方法： 由于香烟 在图像中像素区域 面积小， 判别方法对特 征不明显的物体漏检率高。 发明内容 [0005]本发明的目的在于提供一种变电站监控中人员吸烟检测方法。 [0006]本发明采用的技 术方案是： 一种变电站监控中人员吸烟检测方法， 其包括以下步骤。 [0007]步骤1， 数据采集与预处理： 采集变电站场景图像， 按比例随机分为训练集和测试 集， 并按比例随机分为训练集和 测试集； 对图像数据进行增强预处 理， 步骤2， 目标检测网络模型的搭建： 构建端到端的卷积神经 网络模型CNN， 卷积神经 网络模型CN N至少包括输入层、 卷积层、 批量归一 化层、 池化层和输出层； 步骤3， 根据损失函数训练卷积神经网络模型CN N， 使得损失函数达 到收敛状态 ; 步骤4， 将采集的图像通过MTCN N网络得到人脸区域、 眼部、 嘴部关键点 坐标， 步骤5， 通过眼部关键点的坐标对人脸 矫正， 将整张图片进行仿射变换； 步骤6， 基于yolov5算法对嘴部区域识别是否存在香烟物体； 是则， 执行步骤7； 否说　明　书 1/4 页 3 CN 115171207 A 3