一种基于深度学习的电梯内异常行为检测系统的制作方法

本发明涉及一种电梯内异常行为检测系统，尤其涉及一种基于深度学习的电梯内异常行为检测系统。

背景技术：

现如今电梯在我们的生活中扮演着重要的角色，无论是商场、小区还是其他场所，电梯已成为方便人们的标配设施。与此同时，电梯购买者需要雇佣一定的人力对电梯视频进行监视，发现有异常行为（电梯故障、电梯内打斗、电梯内有人摔倒等）发生时及时进行处理，以保证电梯安全有效地运行。这种监控方式对于电梯购买者来说需要花费额外的人力、财力，对于使用者来说需要承担监控人员工作松懈、失误的代价，尤其是夜间有许多电梯购买者不会雇佣人力进行监控，造成一定时间段的监控盲区。针对传统电梯监控存在的上述现象，需要新的监控检测技术注入其中，用机器代替人不间断地对电梯内异常行为进行智能化检测。

技术实现要素：

本发明的目的是提供一种基于深度学习的电梯内异常行为检测系统，用机器取代人力对电梯内异常行为进行检测，减少购买者雇佣人力成本并提高工作效率。本发明采用以下技术方案。

一种基于深度学习的电梯内异常行为检测系统，所述系统包括音视频管理模块、深度学习检测模块和数据分析模块；

所述音视频管理模块包括数据获取模块、数据存储模块和api接口模块；所述数据获取模块能够实时获取电梯部署的摄像头和麦克风的视频和音频数据，所述数据存储模块存储所述数据获取模块获取的视频和音频数据，所述api接口模块开放接口以供其他模块调用数据；

所述深度学习检测模块与所述音视频管理模块连接，所述深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块；所述深度学习检测模块包括视频异常行为检测模型和音频异常行为检测模型；所述深度学习检测模块通过api接口模块调用所述视频和音频数据；所述数据标注模块对数据中选定的音频和视频进行标注；所述模型训练模块使用标注的视频数据训练视频异常行为检测模型，使用标注的音频数据训练音频异常行为检测模型，对两者检测数据融合后进行统一分析，生成检测模型；所述模型存储模块存储所述检测模型；生成并存储所述检测模型后，所述检测模型对视频和音频数据进行检测并生成检测数据，并将所述检测数据发送到所述数据分析模块；

所述数据分析模块与所述深度学习检测模块连接，所述数据分析模块包括数据预处理模块和结果分析模块；所述数据预处理模块对所述检测数据进行滤波，所述结果分析模块对滤波后的检测数据进行分析，并对滤波后的检测数据和/或分析结果进行存储；所述结果分析模块包括可视化模块和提醒模块，所述可视化模块对原始视频和检测分析结果进行可视化操作，所述提醒模块对不符合规定的操作进行提醒。

优选的，所述模型训练模块采用卷积网络加上全连接网络对视频数据进行训练。

优选的，所述模型训练模块采用8层3维卷积网络加上3层全连接网络对视频数据进行训练。

优选的，所述模型训练模块采用wavenet网络加上全连接网络对音频数据进行训练。

优选的，所述模型训练模块采用wavenet网络加上2层全连接网络对音频数据进行训练。

优选的，所述数据标注模块包括标注工具模块和检测工具模块，所述标注工具模块对数据进行标注，所述检测工具模块对标注工具模块的标注结果进行检测。

本发明的有益效果是：本发明用机器取代人力对电梯内异常行为进行检测，减少购买者雇佣人力成本并提高工作效率；本发明使用标注过的数据训练模型，提高了检测结果的正确率；标注的数据作为训练模块的训练数据，经训练后生成检测模型，并进行存储以在电脑断电重启后等情况下可以直接调用检测模型不需要再次进行训练，提高了系统的检测效率。

附图说明

图1是本发明的系统结构图。

图2是本发明的标注工具示意图。

图3是本发明的检测工具示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，一种基于深度学习的电梯内异常行为检测系统，包括音视频管理模块、深度学习检测模块和数据分析模块。

音视频管理模块包括数据获取模块、数据存储模块和api接口模块。数据获取模块能够实时获取电梯部署的摄像头和麦克风的视频和音频数据，数据存储模块存储数据获取模块获取的视频和音频数据，api接口模块开放接口以供其他模块调用数据。对于每个电梯，在其内部上方一角部署麦克风、摄像头，保证摄像头视野能够覆盖到整个电梯内部空间，同时在外部的电梯等候区部署麦克风、摄像头。音视频管理系统能够实时获取所部署麦克风、摄像头采集的数据，按照不同场所分类存储。音视频管理系统开放api接口供外部调用采集的音频、视频数据。音视频管理模块获取所部署摄像头的视频数据和麦克风的音频数据，并通过api接口输出以供外部调用。

深度学习检测模块与音视频管理模块连接，深度学习检测模块包括数据标注模块、模型训练模块和模型存储模块。深度学习检测模块包括视频异常行为检测模型和音频异常行为检测模型。深度学习检测模块通过api接口模块调用视频和音频数据；数据标注模块对数据中选定的音频和视频进行标注；模型训练模块使用标注的视频数据训练视频异常行为检测模型，使用标注的音频数据训练音频异常行为检测模型，对两者检测数据进行统一分析，可以采用跨媒体数据融合方法对两者检测数据进行统一分析，得到一个更准确的结果，生成检测模型。模型训练完成后进行存储，深度学习检测模块加载存储的模型后调用音视频api接口对音视频进行实时检测，并把结果通过api接口传出，供数据分析模块调用。模型存储模块存储检测模型，生成并存储检测模型后，检测模型对视频和音频数据进行检测并生成检测数据，并将检测数据发送到数据分析模块。

使用专门的标注工具对音视频进行标注，标注数据为预先随机采集的电梯内异常行为音视频，标注内容为每种预定义异常类型（如电梯内部人员打斗、电梯故障发出异常声响等）的起止时间。使用检测工具人工复检对标注数据进行二次确认，保证数据的准确性。在pytorch深度学习框架下编写异常行为检测深度学习模型和音频异常行为检测深度学习模型，使用前述得到的训练数据进行模型训练、模型验证，并进行存储。实际部署时深度学习检测系统加载预训练好的模型，通过音视频api接口调用音视频数据进行检测，并通过api接口把检测结果实时输出。

标注工具，用户选定需要标注的视频后会在音视频显示区显示视频，音频、视频两类数据在时间上已同步，故只需对视频进行标注时间段，音频时间段与其相同），在下方有播放控制区，其内有播放/暂停按键（快捷键‘space’）、快速播放（快捷键‘v’）、慢速播放（快捷键‘c’）、后一帧（快捷键‘f’）、前一帧（快捷键‘d’），其功能能够实现标注精度到帧。下方的标注区有开始时间（快捷键‘[’，点击后即把视频当前播放的时间取出作为开始时间）、结束时间（快捷键‘]’，点击后即把视频当前播放的时间取出作为结束时间）、标注类型（快捷键‘o’，选定当前区间段的标注类型、写入文件（快捷键‘p’，把当前标注开始时间到结束时间区间段信息和标注类型信息写入标注文件中，标注文件类型为txt文件，每一行表示一个标注数据）。

检测工具，将标注视频及其对应标注文件放入同一个文件夹，选定标注视频后自动读取标注文件，下方的播放控制区按键及功能与标注工具相同，用户播放视频时会自动把当前帧标注结果显示到视频播放左上角，如有发现错误则可点击检测区的删除按键（快捷键‘d’），删除当前帧对应的标注区间段数据。

对于同一类电梯、不同异常类型的音视频数据，每种异常类型需要标注30个训练数据，每个训练数据时间在10s-20s，保证训练数据的充足。标注文件为txt形式，每一行包括采集视频的地址、开始时间、结束时间、异常类型4个数据。

训练模型使用pytorch框架编写，对于视频异常行为检测模型，其结构8层3维卷积+3层全连接层，使用标注的视频数据进行训练，输出数据为视频中每一帧异常发生的类别。对于音频异常行为检测模型，其结构与wavenet类似，wavenet网络加两层全连接层，全连接层后输出检测结果，使用标注的音频数据进行训练，输出数据同样为视频中每一帧异常发生的类别（每一帧图片都有对应的一段音频数据，故输出结果均设计为对应帧的类别）。再使用两层全连接层对上述获得的数据进行跨媒体数据融合，得到最终的结果。

训练时将训练数据和标注文件送入网络进行训练，完成训练后将模型进行存储。检测时首先程序先将检测模型加载，再通过音视频api接口获取音视频后对其进行检测，检测结果包括每一帧的异常行为类型信息。

数据分析模块与所述深度学习检测模块连接，数据分析模块包括数据预处理模块和结果分析模块。数据预处理模块对所述检测数据进行滤波，结果分析模块对滤波后的检测数据进行分析，并对滤波后的检测数据和/或分析结果进行存储；结果分析模块包括可视化模块和提醒模块，可视化模块对原始视频和检测分析结果进行可视化操作，提醒模块对不符合规定的操作进行提醒。数据分析模块通过检测结果api接口调用检测结果数据，并对数据在时域上进行滤波操作，增加数据的稳定性、可靠性。数据分析模块获取音视频检测结果数据，对数据进行滤波处理后进行存储，并进行可视化操作，使得管理者随时能够直观理解分析结果，及时做出对应措施。如果检测到有异常行为发生，则根据对应异常类型及时进行对应的报警提醒。对检测到的异常类型进行数据滤波，以增加结果的稳定性和可靠性，滤波采用中值滤波。

数据分析模块能够显示每一个摄像头拍摄的信息，并将异常类型检测结果进行显示，显示形式为在视频左上角显示当前帧是否出现异常类型（如有则额外显示异常类型信息及应急处理信息）。检测结果可实时标识在对应视频上，管理者随时能够直观理解分析结果，及时做出对应措施。如果检测到有异常行为发生，则根据对应异常类型及时进行对应的报警提醒。

本发明的系统对音视频数据进行分析，旨在通过深度学习方法与先进数据分析、跨媒体数据融合方法结合，用机器取代人力对电梯内异常行为进行检测，减少购买者雇佣人力成本并提高工作效率。该系统由音视频管理模块、深度学习检测模块、数据分析模块组成。音视频管理模块获取部署摄像头的音频、视频信息，进行存储，并开放api接口以便外部调用。深度学习检测模块使用标注过的音频、视频数据训练深度学习目标检测模型，通过api接口调用视频数据后进行检测，得到视频每一帧内的异常类型发生信息并将检测结果数据开放api接口。数据分析模块通过检测结果api接口调用视频检测数据，对数据滤波降噪处理后进行存储、可视化操作，对于存在异常行为的情况及时进行报警提醒。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。