一种智能终端的操作方法和装置与流程

本发明属于通信领域，尤其涉及一种智能终端的操作方法和装置。

背景技术：

随着电子技术及移动通信技术的发展，手机等移动通信终端已成为人们必不可少的生活工具。手机不单纯具有传统的移动通话及发送短信等联络功能，还集成有浏览网页、拍照摄像、收听音乐、游戏娱乐及交友等多种功能。随着手机的智能化水平越来越高，人们对手机的依赖也是愈演愈烈，很多人在日常工作生活中，手机几乎是形影相随。

然而，在某些特定场合，例如参加会议、乘坐飞机或者在环境嘈杂的户外时，传统的手动操作，或者即使是目前较为流行的语音控制，都可能会诸多不便或不够实用，随着科技的发展，人们对智能终端提出了更高的要求，来适应各中复杂环境下终端控制与操作。

技术实现要素：

本发明的目的在于提供一种智能终端的操作方法及装置，旨在解决现有的智能终端在某些特定环境操作不便的问题。

一方面，本发明实施例提供了一种智能终端的操作方法，所述方法包括下述步骤：

采集用户的人脸图像；

从所述用户的人脸图像中提取用户表情特征；

将提取的所述用户表情特征与存储的标记表情特征进行比较，判断所述标记表情特征中是否存在与所述用户表情特征相匹配的标记表情特征；

当存在所述匹配的标记表情特征时，确定所述匹配的标记表情特征对应的操作信息；

根据所述操作信息对所述智能终端执行相应操作。

另一方面，本发明实施例提供了一种智能终端的操作装置，所述装置包括：

图像采集单元，用于采集用户的人脸图像；

特征提取单元，用于从所述人脸图像中提取用户表情特征；

表情判断单元，用于将所述用户表情特征与存储的标记表情特征进行比较，判断所述标记表情特征中是否存在与所述用户表情特征相匹配的标记表情特征；

操作确定单元，用于当存在所述匹配的标记表情特征时，确定所述匹配的标记表情特征对应的操作信息；

操作执行单元，用于根据所述操作信息对所述智能终端执行相应操作。

在本发明实施例中，很方便的实现了基于面部表情对智能终端的操控，提高了智能终端在各种场景的操作适应性，同时也减少了用户操作的繁琐性，提升用户的使用体验及趣味性。

附图说明

图1是本发明实施例一提供的智能终端的操作方法的实现流程图；

图2是本发明实施例二提供的智能终端操作自定义方法实现流程图；

图3是本发明实施例三提供的智能终端的操作方法的实现流程图；以及

图4是本发明实施例四提供的智能终端的操作装置的结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述：

实施例一：

图1示出了本发明实施例一提供的智能终端的操作方法的实现流程，为了便于说明，仅示出了与本发明实施例相关的部分，包括下述步骤：

步骤S101，智能终端的图像采集单元采集用户的人脸图像；

本发明实施例所提供的智能终端可以是具有图像采集功能的手机、平板、笔记本以及可穿戴设备等电子终端。

步骤S102，从上述采集的人脸图像中提取用户表情特征；

其中，上述用户表情特征可以是用户面部的整体或局部的表情特征。

智能终端通过人脸检测及定位技术获取了人脸图像后，优选的对人脸图像数据进行坏点(出现突变的点)去除，然后再进行原始特征提取及特征降维、去干扰处理，以获得有利的特征数据，提高后续检测判断的效率及准确性。

步骤S103，将提取的用户表情特征与存储的标记表情特征进行比较，判断存储的标记表情特征中是否存在与上述用户表情特征相匹配的标记表情特征；

其中，标记表情特征用于标记对智能终端的操作类型，其一一对应于智能终端的操作类型，其对应关系可以是系统预置或者用户自定义。

具体的，智能终端通过判断标记表情特征与用户表情特征的相似度是否大于阈值；将上述用户表情特征与智能终端中存储的至少一个标记表情特征进行比较，以判断用户表情特征与该至少一个标记表情特征的匹配度，并确定最终的匹配的标记表情特征。上述阈值为智能终端预置的一匹配度值。

步骤S104，当存在所述匹配的标记表情特征时，确定所述匹配的标记表情特征所对应的操作信息；

其中，操作信息包括对智能终端的操作类型信息，以及用于关联所述当上述标记表情特征的关联信息。

具体的，当标记表情特征与用户表情特征的匹配度大于阈值时，则确定该标记表情特征为匹配的标记表情特征，同时，进一步确定标记表情特征所对应的操作信息。

步骤S105，根据所述操作信息对所述智能终端执行相应操作。

本发明实施例通过从采集的用户人脸图像中提取用户的表情特征，并通过该用户的表情特征确定匹配的标记表情特征，并最终确定对智能终端的操作类型以执行相应的操作。通过这种方法很方便的实现了通过面部表情对智能终端的操控，以减少用户操作的繁琐性，提升用户的使用体验及趣味性。

实施例二：

图2示出了本发明实施例二提供的操作自定义方法的实现流程，在本发明提供的实施例一的步骤S101之前还包括以下步骤：

步骤S201，采集用户的自定义人脸图像信息；

其中，自定义人脸图像信息为用户进行智能终端自定义操作类型时所需采集的人脸图像信息。

具体的，用户选择自定义模式进入自定义流程，启动智能终端的图像采集单元采集人脸图像信息。

步骤S202，提取自定义人脸图像信息表的自定义情特征，并将该自定义情特征作为标记表情特征存储；

步骤S203，接收用户输入的操作识别信息，并关联到上述标记表情特征存储。

其中，所述操作识别信息用于标识所述标记表情特征与所述操作信息的对应关系。

具体的，智能终端接收用户输入的自定义的操作标志信息，自动关联到上述标记表情特征，最后将其作为操作信息存储在智能终端。

通过本发明实施例提供的方法，用户可以自定义的设置操作类型所关联的表情，这样极大的方便了用户通过表情操作智能终端，也为个性化操作提供了很大的便捷，极大的增强了操作的趣味性。

实施例三：

图3示出了本发明实施例三提供的智能终端的操作方法的实现流程，实现步骤如下：

步骤S301，监控所述智能终端的通话状态；

其中，所述通话状态包括来电状态和通话中状态。

步骤S302，当检测到智能终端的处于通话状态时，启动图像采集单元采集所述用户的人脸图像；

具体的，监控智能终端的来电信息，当检测到来电信息时，启动智能终端的图像采集单元进行人脸图像采集；

或者当检测到智能终端处于通话中状态时，启动智能终端的图像采集单元持续的采集上述用户的人脸图像。优选的，可以在监控到智能终端处于通话中状态时，进一步通过智能终端的传感器检测智能终端的状态，如当通过距离传感器检测到智能终端与障碍物的距离大于预设距离时，启动智能终端的图像采集单元持续的采集上述用户的人脸图像；或者又如，通过重力传感器或者陀螺仪或者加速度传感器等检测智能终端的运动状态，当检测到预设运动状态时，启动智能终端的图像采集单元持续的采集上述用户的人脸图像。

步骤S303，从采集的人脸图像中提取用户表情特征；

其中，上述用户表情特征可以是用户面部的整体或局部的表情特征。

具体的，上述用户表情特征可以是五官参数特征，其提取步骤为：首先识别面部区域中五官的位置，进而依据五官的图像信息提取各器官(如眼、鼻、眉毛、嘴角等)的纹理、轮廓参数信息。

优选的，上述用户表情特征为嘴部表情特征为嘴部表情特征，具体的，该嘴部表情特征为嘴部的轮廓参数信息。在面部表情识别时，由于嘴部的轮廓变化会相对比较明显，使得面部表情识别的正确率会高很多，同时也减少了智能终端的处理步骤和处理时间，极大的优化了处理效率。

步骤S304，将提取的用户表情特征与存储的标记表情特征进行比较，判断存储的标记表情特征中是否存在与上述用户表情特征相匹配的标记表情特征；

其中，标记表情特征用于标记对智能终端的操作类型，其一一对应于智能终端的操作类型，其对应关系可以是系统预置或者用户自定义。

判断标记表情特征与用户表情特征的匹配度是否大于阈值；将上述用户表情特征与智能终端中存储的至少一个标记表情特征进行比较，以判断用户表情特征与该至少一个标记表情特征的匹配度，上述阈值为智能终端预置的一匹配度值。

步骤S305，当存在所述匹配的标记表情特征时，确定所述匹配的标记表情特征所对应的操作信息；

当上述标记表情特征与用户表情特征的匹配度大于阈值时，则确定该标记表情特征为匹配的标记表情特征，同时，进一步确定标记表情特征所对应的操作信息。

步骤S306，根据确定的操作信息对所述智能终端执行相应操作。

具体的，在来电状态时，根据操作信息对该来电执行接通或者挂断操作。如翘起嘴巴表情：进入自动接听电话模式；识别到张开嘴巴表情:自动接听电话并开启外放；伸一伸舌头动作：拒绝接听并自动挂断。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

实施例四：

图4示出了本发明实施例四提供的智能终端的操作装置，为了便于说明，仅示出了与本发明实施例相关的部分，其中包括：

图像采集单元40，用于采集用户的人脸图像；

特征提取单元41，用于从采集的人脸图像中提取用户表情特征；

其中，上述用户表情特征可以是用户面部的整体或局部的表情特征。

特征提取单元41通过人脸检测及定位技术获取了人脸图像后，对人脸图像数据进行坏点(出现突变的点)去除，原始特征提取及特征降维、去干扰处理，以获得有利的特征数据，提高后续检测判断的效率及准确性。

表情判断单元42，用于将提取的用户表情特征与存储的标记表情特征进行比较，判断存储的所述标记表情特征中是否存在与用户表情特征相匹配的标记表情特征；

其中，标记表情特征用于标记对智能终端的操作类型，其一一对应于智能终端的操作类型，其对应关系可以是系统预置或者用户自定义。

表情判断单元42通过判断标记表情特征与用户表情特征的相似度是否大于阈值；并将上述用户表情特征与智能终端中存储的至少一个标记表情特征进行比较，以判断用户表情特征与该至少一个标记表情特征的匹配度，上述阈值为智能终端预置的一匹配度值。

操作确定单元43，用于当存在匹配的标记表情特征时，确定该匹配的标记表情特征对应的操作信息；

其中，操作信息包括对智能终端的操作类型信息，以及用于关联所述当上述标记表情特征的关联信息。

具体的，当表情判断单元42判断标记表情特征与用户表情特征的匹配度大于阈值时，则确定该标记表情特征为匹配的标记表情特征，同时，操作确定单元43进一步确定标记表情特征所对应的操作信息。

操作执行单元44，用于根据上述操作信息对智能终端执行相应操作。

本发明实施例通过从采集的用户人脸图像中提取用户的表情特征，并通过该用户的表情特征确定匹配的标记表情特征，并最终确定对智能终端的操作类型以执行相应的操作。很方便的实现了通过面部表情对智能终端的操控，以节省用户操作的繁琐性，提升用户的使用体验及趣味性。

优选的，智能终端操作装置还可以包括：

终端监控单元，用于监控所述智能终端的通话状态，当检测到所述智能终端的处于通话状态时，启动图像采集单元采集所述用户的人脸图像；

其中，上述通话状态包括来电状态和通话中状态。

具体的，终端监控单元监控智能终端的来电信息，当检测到来电信息时，启动图像采集单元40进行人脸图像采集；或者当检测到智能终端处于通话中状态时，启动智能终端的图像采集单元40持续的采集上述用户的人脸图像。优选的，可以在监控到智能终端处于通话中状态时，进一步通过智能终端的传感器检测智能终端的状态，如当通过距离传感器检测到智能终端与障碍物的距离大于预设距离时，启动图像采集单元40持续的采集上述用户的人脸图像；或者又如，通过重力传感器或者陀螺仪或者加速度传感器等检测智能终端的运动状态，当检测到预设运动状态时，启动图像采集单元40持续的采集上述用户的人脸图像。

优选的，智能终端操作装置还可以包括：识别信息存储单元，用于接收所述用户输入的操作识别信息，并关联到本发明实施例提供的标记表情特征存储。

其中，所述操作识别信息用于标识所述标记表情特征与所述操作信息的对应关系。

具体的，识别信息存储单元接收用户输入的自定义的操作标志信息，自动关联到上述标记表情特征，最后将其作为操作信息存储。

更优选的，智能终端操作装置还可以包括标记表情特征存储单元；其中，

图像采集单元40还用于采集用户的自定义人脸图像信息；

特征提取单元41还用于提取自定义人脸图像信息表的自定义情特征；并将标记图像特征信息存储到所述图像特征库；

所述标记表情特征存储单元用于将所述自定义情特征作为标记表情特征存储。

通过该装置使得用户可以自定义的设置操作类型所关联的表情，这样极大的方便了用户通过表情操作智能终端，也为个性化操作提供了很大的便捷，极大的增强了操作的趣味性。

在本发明实施例中，智能终端操作装置的各单元可由相应的硬件或软件单元实现，各单元可以为独立的软、硬件单元，也可以集成为一个软、硬件单元，在此不用以限制本发明。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。