一种视频会议的会场画面检测方法及系统与流程

1.本公开属于网络通信技术领域，具体涉及一种视频会议的会场画面检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
3.视频会议是集视频、音频、数据通信于一体的会议，可实时传输各个会场的图像和声音，使得各个会场从逻辑上处于一个会议中，但是物理上不在一个区域内，与传统会议相比，可节省大量开支而不影响会议的质量。视频会议系统通过网络通信技术实现虚拟会议，将地理上分散的用户聚集在一处，通过图像、声音等多种方式交流信息，开展协同工作；在最大程度上缩短了空间距离，方便了协作成员之间实时、直观的交流。
4.视频会议的会场画面出现异常时，会严重影响视频会议的效果，严重时甚至会影响视频会议的进展程度；为防患于未然，需开展会场画面的实时检测。


技术实现要素：

5.为了解决上述问题，本公开提出了一种视频会议的会场画面检测方法及系统，以标准会场画面为依据，基于数字图像处理和人工智能技术，实现会场会面的自动检测，提高会场画面布置的效率。
6.根据一些实施例，本公开的第一方案提供了一种视频会议的会场画面检测方法，采用如下技术方案：
7.一种视频会议的会场画面检测方法，包括以下步骤：
8.获取视频会议的会场画面图像；
9.对所获取的会场画面图像进行帧图像处理，实现会场画面的检测；
10.其中，所述帧图像处理的过程中，以固定的时间间隔读取一帧图像，对所读取的一帧图像进行预处理，对预处理后的帧图像进行识别检测，实现视频会议的会议画面检测。
11.作为进一步的技术限定，在帧图像处理的过程中采用跳帧采集算法，采用去黑边处理对所读取的帧图像进行预处理。
12.作为进一步的技术限定，所述会场画面的检测包括挡板位置检测、挡板文字检测、会议图标检测、地板位置检测和灯光强弱检测。
13.进一步的，在所述挡板位置检测和所述地板位置检测的过程中，对所获取的帧图像进行灰度处理，得到单通道灰度图像；对所得到的单通道灰度图像进行滤波去噪处理，再通过边缘检测获取挡板的轮廓信息。
14.进一步的，所获取的挡板的轮廓信息包括挡板上边缘左侧与右侧高度，以及挡板下边缘左侧与右侧高度；通过挡板上边缘左侧与右侧高度的占比及差值，判断挡板是否倾斜和挡板高度是否符合预设标准，通过挡板下边缘左侧及与右侧高度的占比，判断挡板下
方的地板是否进入会场画面。
15.进一步的，通过检测文字和会议图标在挡板中的位置关系和尺寸比例实现所述挡板文字检测和所述会议图标检测的检测。
16.进一步的，所述灯光强弱检测的具体过程为：
17.对所获取的帧图像进行灰度处理，得到单通道灰度图像；
18.计算所得到的单通道灰度图像的均值与方差；
19.分别判断所得到的均值与方法是否属于均值预设阈值范围和方差预设阈值范围；
20.若所得到的均值与方差分别落在均值预设阈值范围和方差预设阈值范围，则会场画面的灯光强弱正常；否则会场画面的灯光强弱不正常。
21.根据一些实施例，本公开的第二方案提供了一种视频会议的会场画面检测系统，采用如下技术方案：
22.一种视频会议的会场画面检测系统，包括：
23.获取模块，被配置为获取视频会议的会场画面图像；
24.检测模块，被配置为对所获取的会场画面图像进行帧图像处理，实现会场画面的检测；
25.其中，所述帧图像处理的过程中，以固定的时间间隔读取一帧图像，对所读取的一帧图像进行预处理，对预处理后的帧图像进行识别检测，实现视频会议的会议画面检测。
26.根据一些实施例，本公开的第三方案提供了一种计算机可读存储介质，采用如下技术方案：
27.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开第一方面所述的视频会议的会场画面检测方法中的步骤。
28.根据一些实施例，本公开的第四方案提供了一种电子设备，采用如下技术方案：
29.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开第一方面所述的视频会议的会场画面检测方法中的步骤。
30.与现有技术相比，本公开的有益效果为：
31.本公开以标准会场画面为依据，基于数字图像处理和人工智能技术，实现会场会面的自动检测，提高会场画面布置的效率，提高视频会议的体验感。
附图说明
32.构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
33.图1是本公开实施例一中的视频会议的会场画面检测方法的流程图；
34.图2是本公开实施例一中的视频会议的标准会场画面示意图；
35.图3是本公开实施例一中的会场画面检测的工作流程图；
36.图4是本公开实施例一中的跳帧采集算法的工作流程图；
37.图5是本公开实施例一中的挡板位置和地板位置检测的工作流程图；
38.图6是本公开实施例一中的分会场名称与会议图标在挡板中的位置关系及尺寸比例示意图；
39.图7是本公开实施例一中的挡板文字和会议图标检测的工作流程图；
40.图8是本公开实施例一中的灯光强弱检测的工作流程图；
41.图9是本公开实施例二的视频会议的会场画面检测系统的结构框图；
42.图10是本公开实施例二的视频会议的会场画面检测系统的连接示意图。
具体实施方式
43.下面结合附图与实施例对本公开作进一步说明。
44.应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
45.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
46.在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
47.实施例一
48.本公开实施例一介绍了一种视频会议的会场画面检测方法。
49.如图1所示的一种视频会议的会场画面检测方法，包括以下步骤：
50.获取视频会议的会场画面图像；
51.对所获取的会场画面图像进行帧图像处理，实现会场画面的检测；
52.其中，所述帧图像处理的过程中，以固定的时间间隔读取一帧图像，对所读取的一帧图像进行预处理，基于跳帧采集算法进行预处理后帧图像的识别检测。
53.以某公司办公室发布的电视电话会议分会场标准画面为依据，介绍了本实施例中所介绍的视频会议的会场画面检测方法的有效性；采用数字图像处理、人工智能等前沿技术，实现会场布置规范的高效、实时、自动检测。
54.根据该公司关于电视电话会议分会场的画面要求，各分会场上送画面的特征，如挡板位置、挡板文字、会议图标、地板位置等需满足一定的要求，标准的上送画面如图2所示。
55.作为一种或多种实施方式，本实施例首先进行帧图像获取，然后对图像的信息进行检测，所含检测项包括：挡板位置检测、挡板文字检测、会议图标检测、地板位置检测和灯光强弱检测，再通过相关的算法比对判断各检测项是否符合规范要求；具体的工作流程图如图3所示。
56.作为一种或多种实施方式，帧图像获取采用跳帧采集算法(如图4所示)，在降低程序运算量和资源占用量的同时，满足检测结果的实时性、可靠性和准确性；在帧图像获取时，以固定的时间间隔读取一帧图像，并对其进行去黑边处理后，再用于后续的检测过程。
57.1.关于挡板位置检测和地板位置检测
58.分会场上送画面挡板位置和地板位置要求：各分会场需要在听众席第1排桌前设置挡板，并使其以固定尺寸比例置于拍摄画面的下1/3处，同时要求挡板正下方不允许出现会场地板；具体的检测过程如图5所示，即:
59.对于经过跳帧采集算法获取的分会场画面帧图像，首先进行灰度变换，置为单通道灰度图像；然后使用3
×
3高斯卷积核进行滤波去噪；再使用canny算子对去噪图像进行边缘检测，提取挡板的轮廓信息；之后计算挡板上边缘左侧及右侧高度、挡板下边缘左侧及右侧高度。根据分会场挡板和地板的布置规范要求，通过挡板上边缘左侧及右侧高度占比及差值，判断挡板是否倾斜、挡板高度是否符合标准，通过挡板下边缘左侧及右侧高度占比，判断挡板下方是否有地板被拍摄入画。
60.2.关于挡板文字检测和会议图标检测
61.分会场挡板文字和会议图标要求：各分会场需要在挡板中按统一格式注明参会单位名称，并附上会议图标，用于规范各分会场环境布置、确认轮询视频画面的归属单位、准确追溯轮询异常问题等。如图6所示，展示了分会场名称与会议图标在挡板中的位置关系及尺寸比例；具体的检测过程如图7所示，即:
62.对于经过跳帧采集算法获取的分会场画面帧图像，为降低程序运算量、提高计算速度，首先截取包含挡板文字和会议图标的画面下1/2区域；然后使用paddleocr中的文字检测模型对截取画面进行文字区域检测，分别获取分会场名称和会议图标对应的文字区域信息；再使用paddleocr中的文字识别模型，对分会场名称所在的文字区域进行识别，输出识别后的分会场名称，用于ui界面显示、语音播报、异常记录等；之后分别计算挡板文字(分会场名称)和会议图标对应的文本矩形框坐标位置占比。根据挡板文字和会议图标的位置规范要求，判断挡板文字和会议图标位置是否正常。
63.3.关于灯光强弱检测
64.采用人工光源，避免自然光，会场灯光照度、光源色温、三基色符合国家通信行业有关电视会议系统规范要求，若不符合要求可使用移动照明设施补光；具体的检测过程如图8所示，即:
65.对于经过跳帧采集算法获取的分会场画面帧图像，首先进行灰度变换，置为单通道灰度图像；然后计算灰度图像的均值和方差；再根据分会场灯光照明的规范要求，结合实际观感效果，设定合适的阈值范围，判断会场亮度是否合规。
66.本实施例以标准会场画面为依据，基于数字图像处理和人工智能技术，实现会场会面的自动检测，提高会场画面布置的效率，提高视频会议的体验感。
67.实施例二
68.本公开实施例二介绍了一种视频会议的会场画面检测系统。
69.如图9所示的一种视频会议的会场画面检测系统，包括：
70.获取模块，被配置为获取视频会议的会场画面图像；
71.检测模块，被配置为对所获取的会场画面图像进行帧图像处理，实现会场画面的检测；
72.其中，所述帧图像处理的过程中，以固定的时间间隔读取一帧图像，对所读取的一帧图像进行预处理，对预处理后的帧图像进行识别检测，实现视频会议的会议画面检测。
73.在本实施例中，如图10所示的一种视频会议的会场画面检测系统的连接关系图，视频会议终端、传输设备、交换机以及视频会议mcu设备组成了覆盖总部、总公司、地市公司的视频会议系统，将相关功能模块和算法部署在会场检测核心服务器上，并通过交换机接入视频会议系统网络中。各地市公司分会场的上送画面可由视频会议mcu设备调度，送至总
公司视频会议终端，再经过视频矩阵，由视频采集卡获取至用户操作电脑中。用户可通过该电脑上的ui界面进行分会场上送画面检测操作，相关的检测结果可通过扬声器进行语音播报。
74.详细步骤与实施例一提供的视频会议的会场画面检测方法相同，在此不再赘述。
75.实施例三
76.本公开实施例三提供了一种计算机可读存储介质。
77.一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本公开实施例一所述的视频会议的会场画面检测方法中的步骤。
78.详细步骤与实施例一提供的视频会议的会场画面检测方法相同，在此不再赘述。
79.实施例四
80.本公开实施例四提供了一种电子设备。
81.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本公开实施例一所述的视频会议的会场画面检测方法中的步骤。
82.详细步骤与实施例一提供的视频会议的会场画面检测方法相同，在此不再赘述。
83.上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。