技术特征：
1.一种基于边云协同的实时视频分析与处理方法，其特征在于，该方法通过建立分发决策机制，将视频数据采集后由决策引擎将数据分配至节点处理，选择边缘节点或云节点处理，实现视频数据的实时处理；所述方法包括如下步骤：(1)通过视频采集设备获取视频帧数据；(2)构建决策引擎，由决策引擎确定处理视频帧数据的分配决策、分辨率要求和处理模型选择，根据分辨率处理结果对视频帧数据进行预处理；(3)对决策引擎输出结果进行预处理，包括根据分辨率要求对视频帧数据进行分辨率处理，且基于http协议将视频帧数据的预处理结果卸载到边缘节点或云节点；(4)在边缘节点和云节点上部署有与决策引擎相应的处理机制，用于识别接收和相应视频帧数据的处理，包括加载相应的处理模型进行计算分析；(5)本地的视频设备接收到返回的处理结果，交由存储模块保存。2.根据权利要求1所述的基于边云协同的实时视频分析与处理方法，其特征在于，步骤(1)所述的视频帧数据包括真实摄像头视频数据和虚拟摄像头数据。3.根据权利要求1所述的基于边云协同的实时视频分析与处理方法，其特征在于，所述决策引擎对于视频帧数据的分配处理机制中包括考虑视频系统当前状态，所述的视频系统当前状态部署在本地的视频设备上，分配决策考虑的指标包括实时网络带宽、当前边缘节点等待任务数和当前云节点等待任务数。4.根据权利要求1所述的基于边云协同的实时视频分析与处理方法，其特征在于，步骤(2)构建决策引擎的算法包括基于threshold算法、predictive算法和drl算法实现，具体如下：(a)基于threshold算法实现过程如下：设定当前边缘节点任务数量为local_tasks_number，边缘节点所能处理的最大任务数量设为d，决策引擎每次作出决策前，threshold算法会实时检测当前边缘节点任务数量local_tasks_number，并将其与阈值d比较,关系式如下所示：local_tasks_number<＝d->edge node，local_tasks_number>d->cloud server；若当前视频帧交由边缘节点处理，则默认分辨率选择结果为最高1080p,处理模型选择结果为部署在边缘节点精确度最高的模型，即fasterrcnn_mobilenet；若local_tasks_number>d,则当前视频帧交由云节点处理，此时默认分辨率选择结果为最低240p,处理模型选择结果为部署在云节点精确度最低的模型，即retinanet_resnet50；(b)基于predictive算法的实现过程如下：由predictive方法计算其预估奖赏值，选取奖赏值最高的组合作为决策并交由系统执行，predictive方法预测原理对应的目标函数为：reward
i
＝accuracy
i-cur_delay
i
*weight其中reward
i
表示系统根据当前状态为i组合计算的预估奖赏值，奖赏值越高，预估系统性能越高；accuracy
i
为第i个组合中处理模型在该组合分辨率下的精确度，系统中存储这4种模型在不同分辨率下的准确度，系统实时读表；cur_delay
i
为边缘节点或者云节点的处理延迟，需要实时获取；weight为延迟的权重，weight越大，延迟所占比例越高；由上可知，reward值越大，系统性能越好，系统每次通过预估每个模型的reward值来进
行预测，选择reward值最大的处理模型、分辨率、边缘或云节点分发处理；(c)基于drl算法实现的过程如下：首先基于drl算法进行系统建模，将时间范围被离散成固定的区间，时间段为t＝1,2,3，....drl代理观察系统状态，对每一帧视频做出控制决策，并与环境交互，学习最优策略；state：表示当前系统的状态，包括系统的工作负载、边缘节点与云服务器之间的带宽状况等，将视频帧t时的系统状态表示为：s
t
＝[l
t
,c
t
,b
t
],其中l
t
表示等待边缘节点处理的视频帧数量,c
t
代表等待卸载到云的视频帧数量,l
t
和c
t
是通过测量边缘节点上本地等待队列和卸载队列的队列长度得到的，b
t
是边缘节点与云之间最后观测到的带宽；action：drl代理根据当前系统状态和控制策略，对每一帧视频进行执行决策，决策包括视频帧预处理、卸载到云或局部推理时选择的分辨率的控制配置信息，以及在边缘或云上选择的dnn模型；为视频帧t提供的决策为：a
t
＝π(s
t
)
→
＜edge/cloud,model,resolution＞，π是drl代理的控制策略；如果选择了一个决策，则对视频帧采用该决策对应的设置进行处理；reward:该奖励对视频帧的推理性能进行评估；所述方法基于识别精度和处理延迟的性能指标来衡量推理性能，为了保证视频帧推理的时延要求，避免系统过载，当队列中的等待时间m
t
大于阈值t时，将丢弃视频帧；对视频帧t进行推理的奖励计算为：其中p
t
为所选dnn模型对视频帧t的识别精度，d
t
为视频帧t的处理延迟，w为处理延迟惩罚的相对权重，如果一个视频帧在没有推理的情况下被丢弃，那么这个视频帧的奖励是-f，为固定的大惩罚，否则，视频帧的奖励将被计算为准确性和处理延迟的线性组合；根据准确性和延迟的相对重要性为w设置一个合适的值，如果处理延迟比较重要，则w设置一个较大的值，否则，w可以设置一个较小的值；optimization objective:边缘节点连续从摄像机中读取视频帧进行推理，其目标是学习最优策略，为每个视频帧做出决策，使整体奖励最大化，从而使系统性能最大化，优化目标是：其中π
*
是导出的最优策略，γ是折扣因子，π是处理视频帧的策略。5.根据权利要求1所述的基于边云协同的实时视频分析与处理方法，其特征在于，步骤(3)所述的预处理为根据将视频帧数据按照固定长宽比16：9的比例进行缩放。
技术总结
本发明公开了一种基于边云协同的实时视频分析与处理方法，该方法首先通过车载设备上的视频采集单元获取视频数据，然后通过决策引擎对视频数据进行分发至边缘服务器或云节点服务器，包括设置预处理模块完成视频数据的格式转化和分辨率转化，在服务器和决策引擎之间建立联系，由决策引擎选择不同的模块进行预处理，处理模块包括边缘处理模块和云处理模块，本发明根据当前视频分析系统的状态实时决定边缘或云服务分发、从而实现实时处理大量的视频帧数据的功能，保证了视频分析的实时性和可用性。用性。用性。
技术研发人员：高冠宇 王学智
受保护的技术使用者：南京理工大学
技术研发日：2022.03.07
技术公布日：2022/7/1