一种网络教学方法及系统的制作方法

一种网络教学方法及系统的制作方法
【技术领域】
[0001] 本发明涉及一种基于网络教学方法及系统，该方法及系统具备在网络教学活动的 同步显示、实时录制和点播回放的功能。
【背景技术】
[0002] 近年来，随着移动互联网的普及和网络教学系统的快速发展，传统教学模式已逐 渐不能满足用户对于多媒体信息化教学方式的需求。在网络教学过程中，教学过程的实时 同步显示、教学过程的实时录制以及快速有效的点播回放，越来越为广大用户所关注。现有 技术中，为了满足上述需要，在同步显示和录制等方面，提出了很多方案：
[0003] 现有技术1 (《中国图象图形学报》，第8卷第9期，2003年9月，张丽萍等，"一种 基于拷屏和压缩技术的屏幕共享方案"）公开了常见的屏幕共享包括两种方式：利用操作系 统底层的GUI矢量指令实现；利用拷屏和压缩技术实现屏幕共享，屏幕显示内容不是通过 拆解成具体的绘图命令来实现，而是通过先拷贝屏幕图像，然后进行数据压缩处理并传到 客户端，最后由客户端解码显示来实现拷屏内容的重现。
[0004] 如图1所示，现有技术2 (《现代计算机》，2006年第5期，黄帆，"基于压缩域的JPEG 图像检索技术"）公开了一种图像压缩方法。所述方法基于DCT变换的JPEG有损压缩编码 步骤通常包括：首先，把图像分成若干个8X8矩阵的块，其中每块由一个直流特征值（DC特 征值）和63个交流特征值（AC特征值）组成；第二，进行正向DCT变换处理，把空间域转换 成频率域表示，目的是使得能力集中在少数的特征值上；第三，根据量化表对DCT频率特征 值进行有损量化，消除视觉冗余；第四，对量化后的特征值进行"Z"型排序，形成一维特征 值序列；第五，对DC特征值用差分脉冲编码调制（DPMC)算法进行编码，对AC特征值用行程 长度编码（RLE)进行无损压缩；最后，对经过所述处理的DC和AC特征值进行Huffman编码。 DC特征值和AC特征值代表了图像中每一块的纹理特征和像素值，是构成图像的主要因素。
[0005] 但是，类似这种图像的获取如屏幕拷贝（或称截屏）要么人工手动进行，要么根据 时间设定自动截屏发送，但是都存在截屏发送的信息是否重复，是否有效的问题，不必要的 或者重复图像的发送会增加网络传送的负担，还会影响用户的体验。
[0006] 如图2所示，现有技术3(CN101141271A，公开日2008年3月12日）公开了一种网 络教学系统，包括：录制器100、处理器200、第一网络300、第二网络350,服务器400、数据 库500及三个客户端600。其中，录制器100主要包括摄像头（图未示出）及无线数字话 筒（图未示出）以录制课件的视频信息及音频信息。第一网络300用于将所述课件信息传 送至服务器400。服务器400 -方面用于进一步处理所述课件信息，产生课件数据，另一方 面用于在数据库500中搜寻并调用所述课件数据，进而将所述课件数据转换回所述课件信 息。数据库500用于存储所述课件数据。第二网络350用于连接客户端600与服务器400。 客户端600用于方便用户查询课件信息及调用课件信息。
[0007] 如图3所示，现有技术4(CN103067683A，公开日2013年4月24日）公开了一种用 于远程教学的全自动录播系统，包括：视频信号采集模块1、音频信号采集模2块、自动录播 编辑模块3和图形工作站4,视频信号采集模块1包括教师摄像机、学生摄像和板书摄像机， 均采用采用带有旋转云台的快速球形摄像机，分别用于拍摄教师、学生和板书的影像。使用 时，视频信号采集模块1和音频信号采集模块2均与自动录播编辑模块3连接，将采集的视 频及音频信号传输至自动录播编辑模块3。自动录播编辑模块3与图形工作站4连接，将视 频及音频信号编辑成音视频文件后传输至图形工作站4,通过图形工作站4对音视频文件 进行压缩编码，生成流媒体文件。整个授课录制过程无需专人操作控制，而且生成的流媒体 文件可以上传至互联网。
[0008] 如图4所示，现有技术5(CN101043469A，公开日2007年9月26日）公开了一种手 机在多媒体教室中通过无线网络录制个性化多媒体课件的方法，通过课件服务中心、课件 发送中心、手机之间信息交互实现，课件服务中心具有外部IP地址，为教学楼中的所有多 媒体教室服务；课件发送中心采集教师授课电脑的屏幕信号、教师的视频和音频信号，经数 字化后将屏幕、视频和音频数据发送到服务中心；手机通过无线网络连接到课件服务中心， 在需要的时候将其中一路或几路流媒体数据保存到手机存储卡中，录制结束后保存为AVI 文件，能在手机或电脑上直接观看。
[0009] 如图5所示，现有技术6(CN103646573A公开日：2014年3月19日）公开了一种全 景模式教学系统的专用格式文件的生成方法，所述教学系统包括全景课件制作系统，全景 课件制作系统获取老师或互动者的动作、音频、课程资料以及上述数据被获取时对应的时 间数据；所述的动作包括：插入文字或图片、实验过程演示、绘制线条、绘制几何图形、板擦 工具或小黑板工具，教学系统通过麦克风获取老师或互动者的即时音频，同时通过鼠标、键 盘、写字板或电子白板采集老师或互动者在当前系统界面的动作，并将动作进行数据分析， 获取动作产生的时间、动作所产生的路径、动作所携带的附加数据和动作类型数据，并按时 间顺序记录，所述动作分为笔迹型、媒体型和数据型，笔迹型、媒体型和数掘型数据都包括 两个部分：路径部分和数据部分；笔迹型动作，则路径部分完整记录动作路径的物理坐标 序列，数据部分不启用；媒体型动作，则路径部分记录多媒体文件出现在课件中的坐标，数 据部分则记录多媒体文件的物理地址；数据型动作，则路径部分记录数据在课件中使用时 的坐标，数据部分写入该文件的完整二进制数据流。
[0010] 综上所述，现有的网络教学方法和系统在实时同步显示和录制点播方面还存在以 下不足：
[0011] 学生用户终端接收同屏数据的速度缓慢，教学过程不流畅，存在卡顿现象。这是因 为现有网络教学系统在传送同屏数据的过程中，多数采用视频流及教师根据自己的判断手 动屏幕截图的方式，导致学生用户终端用户数量过多的时候，需要传送大量数据，多并发进 行网络传送，经常出现速度缓慢，显示不流畅，数据卡顿的现象，影响到了学生的上课体验， 而且教师一边讲课一边还要考虑适时进行截屏操作，有时候会忘记截屏发送给学生，而学 生又无法判断有没有获得及时的截屏图像，影响教学效果。
[0012] 具体来讲，存在的不足包括：1、录制过程繁琐，有些需要专人进行现场录制；2、视 频文件庞大，需要牺牲课件质量多次格式转换降低文件大小；3、服务器存储系统要求高； 4、本地录制要求用户端机器配置和性能较高，上传速度慢，实现回放困难；5、模拟系统角色 耗费服务器资源高，无法满足课堂的大并发网络录制要求；6、对点播回放流媒体服务器集 群性能要求高；7、点播回放要求服务器带宽高；8、点播回放要求用户自身带宽高（文件过 大）；9、使用2G/3G/4G等无线网络观看时，卡顿严重，不够流畅，而且耗费流量高。
[0013] 进一步的，当用户将文件下载到本地观看时，不仅占用大量存储空间，又不能保护 教学资源提供方的版权，造成教学资源的肆意传播，而如果进行复杂的加密处理又会占用 网络带宽资源和设备处理器资源，影响用户的体验。
[0014] 此外，现有技术已有的商业软件可以实现对于屏幕操作一举一动的记录，并保存 为AVI或MicrosoftRealNetworks数据流格式，但是这同样会占据大量的存储空间而且 其提供的数据格式也是流媒体的。
[0015] 而现有技术6尽管提出了教学过程录制一些想法，但是却没有给出具体实现的途 径，也没有公开系统化的各种不同数据单独获取单独存取，特别是没考虑由教学系统统一 产生时间戳，通过统一的时间戳和课件的统一标识存储和读取等管理各种数据流的构思。
[0016] 为此，希望提供一种有效的同步显示、实时录制和点播回放的网络教学方法及系 统，希望在网络教学或在线会议过程中，可以实现教师用户终端与学生用户终端之间的实 时同步显示、教学过程的实时有效录制、以及事后的顺畅点播回放。
[0017] 比如，对于用户使用多媒体白板的功能操作、讲话/说话音频、与其他用户的交流 和/或辅导等的交流音频进行自动判断同步传送、录制，分别形成不同的数据流，而不是完 全以流媒体的格式将整个事件记录下来，使得网络用户可随时随地方便的通过网络从云端 服务器或局域网服务器进行点播回放。

【发明内容】

[0018] 需要说明的是，尽管说明书中主要以网络教学系统或者网络会议系统的名义描述 了本发明的实施，但是可以理解的是，本发明的方法和系统还可以用作其他基于网络的在 线交流过程的录制和播放。
[0019] 也就是说，本发明的网络教学不但包括传统意义的网络教学，还涉及在线培训、应 急指挥（地图标注和音频录制）、金融系统或者在线会议系统的教学活动或者会议过程，并 且在网络教学、在线培训、应急指挥（地图标注及音频录制）、金融系统（操盘讲解）或者在 线会议过程中，实现了对多媒体课堂或者会议内容的实时录制和点播回放。
[0020] 此外，本发明的网络教学也不局限于学生和教师的形式，可以包括以教师用户和 学生用户、或培训用户为参与主体的在线网络教学、远程网络教学、本地网络教学，和以企、 事业单位员工等各种团体成员为参与主体的在线网络会议、远程网络会议、本地网络会议， 以及其他的利用网络进行在线交流和/或文件内容展示的交流/交互形式，比如远程协同 工作等。
[0021] 本发明的目的之一是提供一种网路教学方法，用于包括教师用户终端、学生用户 终端、服务器和通信网络的网络教学系统，包括数据采集步骤、同步显示步骤、实时录制步 骤和点播回放步骤。
[0022] 所述数据采集步骤，用于采集网络教学过程中的图像数据、应用数据和/或音频 数据，采集的这些数据可以用于同步显示步骤和实时录制步骤。
[0023] 所述数据采集步骤包括：
[0024] -启动用户终端步骤，准备获取用于同步显示的数据以及教学过程中产生的音频 数据；
[0025] -同屏显示数据获取步骤，获取用于图像同步显示的同屏显示图像数据；
[0026] -同屏应用数据获取步骤，获取用于同步显示的同屏应用操作数据，其包括对于 屏幕上显示的电子文档的各种应用操作；
[0027] -音频数据获取步骤，获取教学过程中产生的用于同步传输和实时录制的音频数 据；
[0028] -图像压缩步骤，采用JPEG格式压缩获取的所述同屏显示图像数据；
[0029] -图像发送判断步骤，判断经过所述图像压缩步骤压缩的相邻两幅所述同屏显示 图像是否相同，根据判断结果确定是否发送所述图像；
[0030] -确定发送图像分割步骤，分割确定要发送的且文件大小超过UDP协议数据包的 经过压缩的所述图像数据和音频数据，与符合协议大小要求的图像数据一起，形成待发送 数据包。
[0031]其中，
[0032] 这些数据来源包括用户终端上显示的图像、各种操作的应用数据、与所述用户终 端连接的其他辅助显示或展示设备的图像、通过用户终端采集的或者通过与用户终端连接 的音频采集设备采集的音频数据。所述的用户终端通常以教师用户终端为主，也可以从包 括通过网络或其他方式获得的学生用户终端上的各种内容。
[0033] 所述音频数据包括从第一音频源采集的第一音频数据流，以及从至少一个第二音 频源采集的第二音频数据流；所述第一音频源为教学活动中的教师用户、在线会议的主讲 人或者交互交流活动的主要发言人；所述第二音频源为教学活动中的学生用户、在线会议 的其他讲话人或者交互交流活动的其他发言人。
[0034] 所述同步显示步骤，用于将在网络教学过程中教师用户终端上显示的内容或者展 示的内容，自动同步显示或者传送至学生用户终端上。
[0035] 所述同步显示步骤包括：
[0036] -数据包发送步骤，基于UDP协议以组播模式向多个用户终端发送所述待发送数 据包；
[0037] -线程监控步骤，用于在基于UDP协议传送时对线程进行实时监控，对丢包数据 进行补发操作；
[0038] -过期数据处理步骤，用于丢弃所述网络教学系统中的过期数据，保证网络传输 的畅通；
[0039] -同步再现步骤，用于在接收数据的所述学生用户终端上实现同步再现。
[0040] 所述实时录制步骤，用于将所述获取的待发送数据流分别保存至数据库，使得用 户可以点播回放教学过程。
[0041] 所述实时录制步骤包括：
[0042] 一系统生成文件标识ID;
[0043] -系统生成时间戳标识；
[0044] -将文件标识ID和时间戳标识Timestamp分别与以上所述数据流以及所述电子 文档结合绑定，并按照设定格式分别保存至数据库。
[0045] 其中，所述数据库为本地服务器Server数据库或者网络服务器Server数据库，
[0046] 当数据流保存至本地服务器Server数据库时，可以再由本地服务器Server上传 至网络服务器Server。
[0047] 所述数据流传输时通过Socket通信接口进行，并且对所述数据流进行SSL加密处 理。这样的数据流传输包括数据流保存时的传输和用户点播时由服务器向用户终端的传 输。
[0048] 进一步的，
[0049] 在保存数据流时，将至少一种所述数据流分割成片段，每个数据流片段的标识ID 由所述文件标识ID和随机分配的片段编码组成；
[0050] 建立所述数据流片段标识ID与所述时间戳的映射关系表，用于根据所述映射关 系表顺序组合所述数据流片段，实现数据流的正常播放。
[0051] 所述点播回放步骤用于根据用户的请求，将录制的数据传送给用户终端并且在用 户终端上组合再现教学过程。
[0052] 所述点播回放步骤包括：
[0053] -用户终端通过网络分别获取这些数据流，利用安装在所述用户终端上的客户端 根据时间标识Timestamp播放录制的内容。
[0054] 具体的，
[0055] 在执行首次播放请求时，服务器根据映射关系表的时间顺序，向用户终端传送数 据流片段，用户终端顺序组合这些片段即可进行播放，不将所述映射关系表发送给用户终 端；
[0056] 在执行播放请求时，根据需要播放的录制文件的文件标识ID，检查是否使用了电 子文档，如果使用了电子文档，首先在用户终端的本地缓存中查找是否已经下载了所述电 子文档，如果有，则无需下载，如果没有，先通过网络将所述电子文档下载到用户终端。
[0057] 所述网络用户的播放请求是通过Socket加密信道发送给系统服务器Server，系 统服务器Server再根据文件标识ID获取所述数据流。
[0058] 当数据流分割成片段而需要映射关系表才能播放录制文件时，如果网络用户终端 的本地缓存中已经保存了所述数据流时，只需要下载所述映射关系表，即可实现复原播放。
[0059] 映射关系表可以设置有效时间，比如24小时，或48小时，或者任何适当的合法授 权时间，映射关系表下载到终端后，网络教学系统的计时模块开始计时，时间终止时映射关 系表自动失效，删除或粉碎映射关系表数据。
[0060] 对于所述数据采集步骤，其中，
[0061] 所述同屏应用数据包括从多媒体白板上获取的动作数据。
[0062] 所述多媒体白板包括在其上可以书写内容并可以输出所述书写动作数据的电子 白板、触屏输入装置或手写输入装置。所述动作数据包括在所述多媒体白板上进行书写操 作时书写内容的坐标位置数据。
[0063] 还可以获取所述多媒体白板的屏幕显示的坐标系参数数据，并保存至所述数据 库，用于在用户终端的屏幕上重现多媒体白板上的显示内容时使用。
[0064] 对于子步骤中的所述电子文档，包括WPS文档、WORD文档、PPT文档、EXCEL文档、 PDF文档、TXT文档或图片文档；
[0065] 所述应用操作包括所述电子文档的打开、关闭、翻页、前进、后退、以及使用者在所 述电子文档上的标注动作的位置信息。
[0066] 所述同屏显示数据包括教师用户终端的屏幕上显示的内容、以及电子白板、投影 输入装置、手写输入装置、黑板或白板及图像采集装置包括照相机和摄像机采集的图像数 据；
[0067] 所述采集的图像数据是BMP格式的，或者需要转换成BMP格式。
[0068] 通过教师用户终端上的客户端或者APP记录传送指令及坐标点数据，包括Path路 径坐标数据的方式获得需要的同屏应用数据。
[0069] 所述Path路径坐标数据的记录过程如下：
[0070]A1、解析记录的Path路径坐标数据，并存放至临时的指令坐标堆栈中，然后对屏 幕进行初始布局，在屏幕的Canvas画布上先设置背景图案；
[0071]A2、新建一个Bitmap，并以此Bitmap生成一个临时画布temptCanvas;
[0072]A3、将tempBitmap背景设置为透明，这样做的目的是把临时画布temptCanvas的 目标，定位在新建的tempBitmap上；
[0073]A4、通过所述构造后，提取指令堆栈中的坐标指令，--还原，通过temptCanvas 进行从写，temptCanvas的一切draw函数，都会把相应的图像画在临时的tempBitmap上， 这样在动作回溯的过程中，画点，画线调用temptCanvas而不是原先屏幕上的Canvas，包括 temptCanvas.drawPoint,temptCanvasRect；
[0074]A5、所有的指令坐标堆栈执行完毕后，执行Canvas. drawBitmap(tempBitmap,0, 0,null);temptCanvas负责的是将各种画笔痕迹画在 tempBitmap上，而Canvas负责将tempBitmap绘制到屏幕上。
[0075] 在执行子步骤的所述图像压缩步骤前，进一步包括原始图像数据备份步骤，用于 将未压缩的所述图像数据进行备份，形成原始图像备份数据库，当用户