信息处理设备、信息处理方法和程序与流程

本公开涉及信息处理设备、信息处理方法和程序。

背景技术：

近年来，已知这样的技术，其中在多个命令与要操作的对象相关联的情况下，基于操作体的移动，从与对象相关联的多个命令中确定要执行的命令。例如，公开了一种基于操作体的移动速度(绝对速度)从与对象相关联的多个命令中确定要执行的命令的技术(例如，专利文献1)。

引文列表

专利文件

专利文献1：日本专利特许公开号2012-58882

技术实现要素：

本发明要解决的问题

然而，期望提供一种能够以更高精度识别由操作体做出的手势的技术。

问题的解决方案

本公开提供了一种信息处理设备，包括：相对速度计算单元，其基于通过按时间顺序感测操作体而获得的数据，计算所述操作体上的第二点相对于所述操作体上的第一点的相对速度；以及手势识别单元，其基于所述相对速度识别所述操作体的手势。

本公开提供了一种信息处理方法，该方法包括：其基于通过按时间顺序感测操作体而获得的数据，计算所述操作体上的第二点相对于所述操作体上的第一点的相对速度；以及基于所述相对速度，由处理器识别所述操作体的手势。

本公开提供了一种用于使计算机用作信息处理设备的程序，所述信息处理设备包括：相对速度计算单元，其基于通过按时间顺序感测操作体而获得的数据，计算所述操作体上的第二点相对于所述操作体上的第一点的相对速度；以及手势识别单元，其基于所述相对速度识别所述操作体的手势。

附图说明

图1是用于描述公知的技术中要改进的点的图。

图2是图示根据本公开第一实施例的信息处理系统的功能配置示例的图。

图3是示出根据同一实施例的信息处理系统的模式的第一示例的说明图。

图4是示出根据同一实施例的信息处理系统的模式的第二示例的说明图。

图5是示出根据同一实施例的信息处理系统的模式的第三示例的说明图。

图6是示出根据同一实施例的信息处理系统的模式的第四示例的说明图。

图7是示出其三维位置将由三维位置估计单元估计的用户身体上的点的示例的图。

图8是示出其三维位置将由三维位置估计单元估计的用户身体上的点的示例的图。

图9是示出其三维位置将由三维位置估计单元估计的用户身体上的点的示例的

图10是用于描述三维位置估计方法的概要的图。

图11是用于描述三维位置估计方法的示例的图。

图12是用于描述三维位置估计方法的示例的图。

图13是用于描述三维位置估计方法的示例的图。

图14是用于描述根据本公开的第一实施例的手势识别的图。

图15是图示根据同一实施例的信息处理系统的操作示例的流程图。

图16是图示根据本公开的第二和第四至第七实施例的信息处理系统的功能配置示例的图。

图17是用于描述根据同一实施例的信息处理系统的功能的图。

图18是图示根据同一实施例的信息处理系统的操作示例的流程图。

图19是图示根据本公开的第三实施例的信息处理系统的功能配置示例的图。

图20是图示根据同一实施例的信息处理系统的操作示例的流程图。

图21是用于描述根据同一实施例的信息处理系统的功能的图。

图22是用于描述根据同一实施例的信息处理系统的功能的图。

图23是图示根据同一实施例的信息处理系统的操作示例的流程图。

图24是用于描述根据本公开第五实施例的信息处理系统的功能的图。

图25是用于描述根据同一实施例的信息处理系统的功能的图。

图26是图示根据同一实施例的信息处理系统的操作示例的流程图。

图27是用于描述根据同一实施例的信息处理系统的功能的图。

图28是用于描述根据同一实施例的信息处理系统的功能的图。

图29是图示根据同一实施例的信息处理系统的操作示例的流程图。

图30是用于描述根据同一实施例的信息处理系统的功能的图。

图31是用于描述根据同一实施例的信息处理系统的功能的图。

图32是图示根据同一实施例的信息处理系统的操作示例的流程图。

图33是图示信息处理系统的硬件配置示例的框图。

具体实施方式

下面将参照附图详细描述本公开的优选实施例。请注意，在本说明书和附图中，具有基本相同功能配置的组件由相同的附图标记表示，因此将不再重复其描述。

此外，在本说明书和附图中，具有基本相同或相似功能配置的多个组件可以通过在相同附图标记之后添加不同的数字来彼此区分。然而，在不特别需要区分具有基本相同或相似功能配置的多个组件的情况下，这些组件仅由相同的附图标记表示。此外，不同实施例中的相似组件可以通过在相同参考数字之后添加不同字母来彼此区分。然而，在不特别需要区分相似组件的情况下，这些组件仅由相同的附图标记表示。

请请注意，将按以下顺序进行描述。

0.概述

1.第一实施例

1.1.信息处理系统的配置示例

1.2.信息处理设备的配置示例

1.3.信息处理系统的操作示例

2.第二实施例

2.1.信息处理系统的配置示例

2.2.信息处理系统的操作示例

3.第三实施例

3.1.信息处理系统的配置示例

3.2.信息处理系统的操作示例

4.第四实施例

4.1.信息处理系统的配置示例

4.2.信息处理系统的操作示例

5.第五实施例

5.1.信息处理系统的配置示例

5.2.信息处理系统的操作示例

6.第六实施例

6.1.信息处理系统的配置示例

6.2.信息处理系统的操作示例

7.第七实施例

7.1.信息处理系统的配置示例

7.2.信息处理系统的操作示例

8.硬件配置示例

9.结论

<0.概述>

近年来，已知这样的技术，其中在多个命令与要操作的对象相关联的情况下，基于操作体的移动，从与对象相关联的多个命令中确定要执行的命令。例如，公开了一种技术，其中基于操作体的移动速度(绝对速度)来确定与对象相关联的多个命令中要执行的命令。下面将参照图1描述在这种公知的技术中需要改进的点。

图1是用于描述公知的技术中要改进的点的图。参考图1,示出将食指作为操作体op的示例。此外，在公知的技术中，根据食指指尖的绝对速度来执行命令。具体地，在要操作的对象ob是钢琴琴键的情况下，在指尖的绝对速度超过阈值的情况下，执行输出钢琴的声音(以下也称为“钢琴声音”)的命令。另一方面，在指尖的绝对速度低于阈值的情况下，不执行输出钢琴声音的命令。

在这里，如图1所示，假设一种情况，其中试图执行琴键输入的用户以指尖相对于手掌的相对速度v2向下移动指尖以执行琴键输入，同时以绝对速度v1将手掌移向纸表面的右侧，以便改变用于琴键输入的琴键。此时，指尖的绝对速度v12是通过合成手掌的绝对速度v1和指尖相对于手掌的相对速度v2而获得的速度。也就是说，在公知的技术中，由于是否已经执行了琴键输入是考虑到由于用于琴键输入的琴键的改变而导致的速度分量来确定的，所以难以高精度地识别琴键输入(由操作体做出的手势)。

因此，在本说明书中，基于操作体的第二点(以下也称为“操作点”)相对于操作体的第一点(以下也称为“参考点”)的相对速度(在图1所示的示例中指尖相对于手掌的相对速度v2)提出用于识别由操作体做出的手势的技术(在图1所示的示例中的琴键输入)。这使得能够以更高的精度识别由操作体做出的手势。请注意，操作体的类型不限于稍后将描述的食指，并且可以是另一个手指，可以是除手指之外的用户身体的一部分，或者可以不是用户身体。

上面已经描述了本公开的实施例的概述。

<1.第一实施例>

[1.1.信息处理系统的配置示例]

接下来，将参考附图描述根据本公开第一实施例的信息处理系统的配置示例。图2是图示根据本公开第一实施例的信息处理系统的功能配置示例的图。如图2所示，信息处理系统100包括输入单元120和输出单元130。此外，信息处理系统100包括信息处理设备140(计算机)。信息处理设备140包括三维位置估计单元121、帧数确定单元122、相对速度/相对位置计算单元123、手势识别单元124、命令执行单元125和存储单元128。

输入单元120包括输入设备，并且通过按时间顺序感测操作体(更具体地，操作体的的一部分或全部的形状、运动等)来获取数据(输入信息)。在本公开的第一实施例中，输入单元120接受用户身体的形状、运动等作为输入信息的示例。然而，如上所述，操作体的类型不限于用户的身体。此外，由输入单元120获取的输入信息可以是二维数据，或者可以是三维数据。

具体地，输入单元120可以包括图像传感器和深度传感器。然而，输入单元120可以不包括所有这些传感器，但是可以包括这些传感器中的至少一个。可选地，输入单元120可以包括触摸传感器。下面主要假设由图像传感器获取操作体的形状、运动等的情况。然而，对于哪个传感器获取这些信息没有限制。

请注意，作为图像传感器，可以使用可见光照相机或红外照相机。作为深度传感器，可以使用立体相机、飞行时间(tof)传感器或基于结构光的距离图像传感器。触摸传感器可以是从上方或下方捕捉图像的照相机，或者可以是放置在投影面上的触摸面板。

输出单元130包括输出设备，并且根据由命令执行单元125执行的命令输出信息。下面主要假设输出单元130包括投影仪并且投影仪通过将信息投影到投影面上来输出信息的情况。然而，输出单元130不限于包括投影仪的情况。例如，输出单元130可以是触摸面板型显示器、液晶显示器(lcd)、有机电致发光(el)显示器等。

输出单元130输出信息的表面可以对应于显示表面。特别地，在投影仪用作输出设备的情况下，显示表面可以对应于投影仪将信息投射到其上的投影面(例如，台面)。以下描述主要假设投影面用作显示表面的情况，但是显示表面不限于投影面。此外，投影仪投射信息的区域不限于台面。例如，投影仪投影信息的区域可以是地板表面、墙壁表面、物体等。

稍后将详细描述信息处理设备140的细节。在这里，根据本公开第一实施例的信息处理系统100可以采用多种模式。作为根据本公开第一实施例的信息处理系统100的这种模式的示例，下面将描述第一至第四示例。然而，根据本公开的第一实施例的信息处理系统100的模式不限于第一至第四示例中的任何一种模式。

图3是示出根据本公开第一实施例的信息处理系统100的模式的第一示例的说明图。如图3所示，作为第一示例的信息处理系统100a包括输入单元120a和输出单元130a。信息处理系统100a在桌子110a的顶面上显示信息，并允许用户操作在桌子110a上显示的信息。以这种方式在桌子110a的顶面上显示信息的方法也称为“投影型”。

输入单元120a接受用户的操作、放置在桌子110a上的对象的形状或图案等作为输入信息。在图3所示的示例中，输入单元120a以悬挂在天花板上的状态设置在桌子110a上方。由输出单元130a从桌子110a上方投影信息并以这种方式在桌子110a的顶面上显示信息的方法也称为“上方投影型”。作为输入单元120a，可以使用用一个镜头对桌子110a成像的照相机，可以使用能够用两个镜头对桌子110a成像并在深度方向上记录信息的立体照相机，或者可以使用用于收集用户发出的声音或环境声音的麦克风。

在将用一个镜头对桌子110a成像的照相机用作输入单元120a的情况下，信息处理系统100a可以通过分析由照相机拍摄的图像来识别放置在桌子110a上的对象。此外，在立体摄像机用作输入单元120a的情况下，信息处理系统100a可以基于由立体摄像机获取的深度信息来识别放置在桌子110a上的对象(手等)。此外，信息处理系统100a可以基于深度信息识别用户的手与桌子110a的接触以及手从桌子110a的缩回。

此外，在将麦克风用作输入单元120a的情况下，所使用的麦克风可以是用于收集特定方向上的语音的麦克风阵列。在将麦克风阵列用作输入单元120a的情况下，信息处理系统100a可以将麦克风阵列的声音收集方向调整到任何方向。

输出单元130a根据输入信息在桌子110a上显示信息并输出语音。作为输出单元130a，可以使用投影仪、扬声器等。在图3所示的示例中，输出单元130a以悬挂在天花板上的状态设置在桌子110a上方。在输出单元130a由投影仪构成的情况下，输出单元130a将信息投影到桌子110a的顶面上。在输出单元130a由扬声器构成的情况下，输出单元130a基于音频信号输出语音。此时，扬声器的数量可以是一个，也可以是两个或更多。在输出单元130a由多个扬声器构成的情况下，信息处理系统100a可以限制从哪个扬声器输出语音，或者调整输出语音的方向。

此外，如图3所示，在根据本公开第一实施例的信息处理系统100是如图1所示的投影型信息处理系统100a的情况下，输出单元130a可以包括照明设备。在输出单元130a包括照明设备的情况下，信息处理系统100a可以基于由输入单元120a接受的输入信息的内容来控制照明设备的状态，例如“打开灯”或“关闭灯”。此外，在根据本公开的第一实施例的信息处理系统100是如图3所示的上述投影型信息处理系统100a的情况下，不仅可以在桌子110a上显示信息，还可以在放置在桌子110a上的物体上显示信息。

用户可以使用手指等对通过输出单元130a显示在桌子110a上的信息执行各种操作。此外，用户可以将对象放置在桌子110a上，并允许输入单元120a识别该对象，使得信息处理系统100a可以执行与该对象相关的各种处理。

图4是示出根据本公开第一实施例的信息处理系统100的模式的第二示例的说明图。如图4所示，作为第二示例的信息处理系统100b通过由输出单元130a从桌子110b的下方投影信息来在桌子110b的顶面上显示信息。桌子110b的顶面可以是使用半透明材料如玻璃板或塑料板形成的半透明屏幕。通过输出单元130a从桌子110b的下方投射信息并且以这种方式在桌子110b的顶面上显示信息的方法也称为“背投型”。

请注意，图4所示的示例示出了输入单元120b设置在桌子110b的表面上的配置。然而，设置输入单元120b的位置不受限制。例如，以类似于图4所示的信息处理系统100a的方式，输入单元120b可以设置在桌子110b的下方，与桌子110b相距一定距离。

图5是示出根据本公开第一实施例的信息处理系统100的模式的第三示例的说明图。如图5所示，作为第三示例的信息处理系统100c具有其中触摸面板型显示器放置在桌子上的配置。通过以这种方式放置在桌子上的触摸面板型显示器来显示信息的方法也称为“平置显示器”。输入单元120c和输出单元130c可以配置为触摸面板型显示器。在图5所示的信息处理系统100c中，类似于图3所示的信息处理系统100a的方式，用于检测用户位置的照相机可以设置在触摸面板型显示器上方。

图6是示出根据本公开第一实施例的信息处理系统100的模式的第四示例的说明图。如图6所示，作为第四示例的信息处理系统100d由眼镜型终端构成。输入单元120d由能够对用户的视野成像的照相机构成，并且可以接受通过成像获得的图像作为输入信息。此外，输出单元130d可以配置为根据用户视野中的输入信息呈现信息的显示器。例如，输出单元130d由透射显示器构成，并且用户可以通过输出单元130d看到外部环境。

请注意，以下描述主要假设将图3所示的第一示例用作根据本公开第一实施例的信息处理系统100的模式。也就是说，下面的描述主要假设输入单元120a和输出单元130a设置在桌子110a上方与桌子110a(信息显示表面)相距一定距离的情况。因此，在以下描述中，也将信息处理系统100a、输入单元120a和输出单元130a简单地称为信息处理系统100、输入单元120和输出单元130。然而，如上所述，根据本公开第一实施例的信息处理系统100的模式不受限制。

上面已经描述了根据本公开第一实施例的信息处理系统100的配置示例。

[1.2.信息处理设备的配置示例]

回到图2将继续进行说明。接下来，将描述信息处理设备140的配置示例。信息处理设备140包括三维位置估计单元121、帧数确定单元122、相对速度/相对位置计算单元123、手势识别单元124和命令执行单元125。这些模块由处理设备构成，例如一个或多个中央处理单元(cpu)。在这些模块由诸如cpu的处理设备构成的情况下，这种处理设备可以由电子电路构成。

三维位置估计单元121基于由输入单元120获取的输入信息来估计作为操作体上的点的示例的用户身体上的点的三维位置。用户身体上的点可以包括用户手上的点(例如，手指上的预定点或手掌上的预定点)、手腕上的预定点(例如，手腕位置)和肘部的预定点(例如，肘关节位置)。作为将由三维位置估计单元121估计的用户身体上的点的示例，下面将描述用户手上的点、手腕位置和肘关节位置。然而，用户身体上的点也可以包括肩部上的预定点(例如，肩关节位置)。

请注意，在以下描述中，除非另有说明，否则用作操作体示例的“手指”是指食指。然而，用作操作体示例的“手指”可以是食指以外的手指。此外，除非另有说明，拇指关节是指从拇指顶端(拇指基部)开始的第二个关节，而除拇指以外的手指关节(即食指、中指、无名指或小指)是指从指尖开始的第二个关节。然而，拇指关节可以表示从拇指尖端开始的第一关节，并且除拇指之外的手指的关节可以表示从指尖开始的第一关节，或者可以表示从指尖开始的第三关节(手指基部)。

图7至图9是示出其三维位置将由三维位置估计单元121估计的用户身体上的点的示例的图。参考图7至9，作为用户身体上的点的示例，示出了小指尖端的位置p1、小指关节的位置p2、无名指尖端的位置p3、无名指关节的位置p4、中指尖端的位置p5、中指关节的位置p6、食指尖端的位置p7、食指关节的位置p8、拇指尖端的位置p9、拇指尖端的第一关节的位置p10、拇指尖端的第二关节的位置p11、手腕位置(小指侧)p12、手腕位置(拇指侧)p13、手中心的位置p14、肘关节位置p15和上臂基座位置p16。

本公开的第一实施例主要假设原则上由三维位置估计单元121获取所有位置p1至p16的情况。然而，三维位置估计单元121可以仅获取位置p1至p16中的一些位置。此外，根据输入单元120和用户之间的位置关系，可以假设例如位置p1至p16中的一些位置未被获取的情况。例如可能无法直接获取上臂基部位置p16。即使在这种情况下，如果获取了肘关节位置p15和上臂基部位置p16之间的任何位置，则该位置可以用于代替上臂基部位置p16。

请注意，手的中心的位置p14没有特别限制，只要它是五个手指的各个的基部和手腕(即，手掌)之间的预定位置。例如，手中心的位置p14可以是多个点的重心位置。此外，手腕位置(小指侧)p12只需要是作为手腕位置获得的两个位置中的任一个，以更靠近拇指的位置为准。手腕位置(拇指侧)p13只需要是作为手腕位置获得的两个位置中的任一个，以更靠近小指的为准。手腕位置(小指侧)p12和手腕位置(拇指侧)p13中的每一个也可以根据用于检测每个位置等的算法适当地改变。

接下来，将描述由三维位置估计单元121执行的三维位置估计方法。图10是用于描述三维位置估计方法的概要的图。在这里，将主要描述估计手上的点的三维位置的情况。然而，如上所述，也可以估计除了手上的点之外的点的三维位置。例如，假设输入单元120已经获取了用手握住的咖啡杯的图像(图像im1)的情况。此时，三维位置估计单元121基于图像im1计算特征量。特征量的示例包括基于卷积神经网络(cnn)的特征量、方向梯度直方图(hog)的特征量和基于尺度不变特征变换(sift)的特征量。

接下来，将参考图11到13描述三维位置估计方法的示例。图11所示图表的横轴表示输入图像的示例。在图11所示的示例中，示出了三个输入图像im5、im6和im7。图11中所示图表的竖轴表示对应于输入图像的手的特征点的坐标(位置)。坐标用(xt、yt、zt)表示，其中t是帧编号。此外，例如，xt由xt＝(xt0、xt1...xtn)表示，其中n是特征点的数量。也就是说，xt表示特征点的x坐标的集合。这同样适用于特征点的yt和zt。

如图12所示，三维位置估计单元121通过使用预定算法来学习手上的特征点相对于输入图像的坐标，并且因此可以获得输入图像和手上的每个点的坐标之间的相关性。作为算法，可以应用上述cnn、boosting、支持向量机(svm)、图切割等。请注意，在图12所示的示例中，示出线性相关作为输入图像和手上每个点的坐标之间的相关的示例。然而，输入图像和手上每个点的坐标之间的相关性可以是另一种相关性(例如，非线性)。

在如图13所示输入图像im8的情况下,在已经获得输入图像和手上每个点的坐标之间的相关性之后，三维位置估计单元121可以基于该相关性来估计图像im8中手的坐标位置。三维位置估计单元121可以使用上述三维位置估计方法来估计手上每个点的位置。请注意，在这里已经假设了学习手的特征点相对于输入图像的坐标的情况。或者，在学习之前从输入图像提取特征量的情况下，可以学习手的特征点相对于特征量的坐标。

回到图2，将继续进行说明。三维位置估计单元121使存储单元128存储操作体上每个点的估计三维位置信息(在上文中，用户手上每个点的三维位置信息)。帧数确定单元122确定对应于预定帧数的三维位置信息是否已经由三维位置估计单元121获得(即，对应于预定帧数的三维位置信息是否已经存储在存储单元128中)。帧的预定数量没有特别限制，并且仅需要两个或更多。

在帧数确定单元122确定已经获得对应于预定帧数的三维位置信息的情况下，相对速度/相对位置计算单元123基于存储单元128存储的操作体上每个点的三维位置信息来计算操作体上每个点的绝对位置。然后，相对速度/相对位置计算单元123基于操作体上每个点的绝对位置，计算操作体的操作点相对于操作体的参考点的相对位置。请注意，本说明书主要假设相对位置是三维向量的情况。然而，相对位置可以是二维向量或标量。

可选地，相对速度/相对位置计算单元123基于操作体上每个点的三维位置的时间方向的变化来计算每个点的绝对速度。然后，相对速度/相对位置计算单元123基于每个点的绝对速度计算操作体的操作点相对于操作体的参考点的相对速度。具体来说，当操作点的相对速度表示为“v(操作点的相对速度)”时，操作点的绝对速度表示为“v(操作点的绝对速度)”，参考点的绝对速度表示为“v(参考点的绝对速度)”时，可以在v(操作点的绝对速度)和v(参考点的绝对速度)的基础上计算v(操作点的相对速度)，如下式(1)所示。

v(操作点相对速度)＝v(操作点绝对速度)-v(参考点绝对速度)(1)

请注意，本说明书主要假设相对速度是三维向量的情况。然而，相对位置可以是二维向量或标量。手势识别单元124基于由相对速度/相对位置计算单元123计算的、操作点相对于操作体的参考点的相对位置或相对速度来识别操作体的手势。这使得能够以更高的精度识别由操作体做出的手势。

更具体地，在操作点相对于参考点的相对位置或相对速度超过阈值的情况下，手势识别单元124识别第一手势。另一方面，在操作点相对于参考点的相对位置或相对速度等于或小于阈值的情况下，手势识别单元124识别不同于第一手势的第二手势。请注意，在操作点相对于参考点的相对位置或相对速度等于阈值的情况下，可以识别第一手势。此外，在相对位置或相对速度是向量(二维向量或三维向量)的情况下，仅需要用向量的长度来替换要与阈值进行比较的相对位置或相对速度。

图14是用于描述根据本公开的第一实施例的手势识别的图。在图14所示的示例中，以类似于图1所示的示例的方式，假设一种情况，其中试图执行琴键输入的用户以指尖相对于手掌的相对速度v2向下移动指尖以执行琴键输入，同时以绝对速度v1将手掌移向纸表面的右侧，以便改变用于琴键输入的琴键。此时，以类似于图1所示的示例的方式，指尖的绝对速度v12是通过合成手掌的绝对速度v1和指尖相对于手掌的相对速度v2而获得的速度。然而，在根据本公开的第一实施例的手势识别中，当确定是否已经执行了琴键输入时，排除了由于用于琴键输入的琴键的改变而导致的速度分量，并且这使得能够以高精度识别琴键输入(由操作体做出的手势)。

请注意，以下主要假设手势识别单元124基于操作点相对于操作体的参考点的相对速度来识别操作体的手势的情况。然而，手势识别单元124仅需要基于操作点相对于操作体的参考点的相对位置或相对速度中的至少一个来识别操作体的手势。

命令执行单元125可以用作命令确定单元，该命令确定单元确定对应于由手势识别单元124识别的手势的命令。此外，命令执行单元125执行所确定的命令。在这里，由命令执行单元125执行的命令的类型不受限制。例如，由命令执行单元125执行的命令的类型可以根据由信息处理设备140执行的应用来适当地改变。

上面已经描述了根据本公开第一实施例的信息处理设备140的配置示例。

[1.3.信息处理系统的操作示例]

接下来，将描述根据本公开第一实施例的信息处理系统100的操作示例。图15是示出根据本公开第一实施例的信息处理系统100的操作示例的流程图。输入单元120通过感测用户的手来按时间顺序输入(获取)图像作为操作体的示例(s11)。三维位置估计单元121基于由输入单元120获得的图像来估计手上的点的三维位置(s12)。请注意，由三维位置估计单元121估计的三维位置的点不限于如上所述的用户手上的点。

接下来，三维位置估计单元121将手的三维位置存储在存储单元128中(s13)。帧数确定单元122确定三维位置估计单元121是否已经获得了对应于指定帧数(预定帧数)的三维位置信息(s14)。在三维位置估计单元121没有获得对应于指定帧数(预定帧数)的三维位置信息的情况下(s14中的“否”)，帧数确定单元122返回s11。另一方面，在三维位置估计单元121已经获得对应于指定帧数(预定帧数)的三维位置信息的情况下(s14中的“是”)，帧数确定单元122将操作转移到s15。

相对速度/相对位置计算单元123基于由存储单元128存储的手上每个点的三维位置信息来计算手上每个点的绝对位置。然后，相对速度/相对位置计算单元123基于手上每个点的绝对位置来计算手的操作点相对于手的参考点的相对位置。或者，相对速度/相对位置计算单元123基于手上每个点的三维位置的时间方向的变化来计算每个点的绝对速度。然后，相对速度/相对位置计算单元123基于每个点的绝对速度计算手的操作点相对于手的参考点的相对速度(s15)。

接下来，手势识别单元124基于由相对速度/相对位置计算单元123计算的操作点相对于操作体的参考点的相对位置或相对速度来识别手的手势(s16)。这使得能够以更高的准确度识别手做出的手势。更具体地，在操作点相对于参考点的相对位置或相对速度超过阈值的情况下，手势识别单元124识别第一手势。另一方面，在操作点相对于参考点的相对位置或相对速度等于或小于阈值的情况下，手势识别单元124识别不同于第一手势的第二手势。请注意，在操作点相对于操作体的参考点的相对位置或相对速度等于阈值的情况下，可以识别第一手势。

接下来，命令执行单元125确定对应于由手势识别单元124识别的手势的命令。然后，命令执行单元125执行对应于由手势识别单元124识别的手势的命令(s17)。如上所述，由命令执行单元125执行的命令的类型可以根据由信息处理设备140执行的应用来适当地改变。

上面已经描述了根据本公开第一实施例的信息处理系统100的操作示例。

<2.第二实施例>

[2.1.信息处理系统的配置示例]

接下来，将描述根据本公开第二实施例的信息处理系统的配置示例。图16是图示根据本公开的第二实施例和第四至第七实施例的信息处理系统的功能配置示例的图。

如图16所示，根据本公开第二实施例的信息处理系统100a的信息处理设备140a与根据本公开第一实施例的信息处理系统100的信息处理设备140的不同之处在于，包括相对速度计算单元123a、手势识别单元124a和命令执行单元125a来代替相对位置/相对速度计算单元123、手势识别单元124和命令执行单元125。因此，在以下描述中，将主要描述相对速度计算单元123a、手势识别单元124a和命令执行单元125a，并且将省略对根据本公开第二实施例的信息处理系统100a中包括的其他配置的详细描述。

图17是用于描述根据本公开第二实施例的信息处理系统100a的功能的图。如图17所示，在本公开的第二实施例中，假设信息处理设备140a基于用户的操作执行用于输出钢琴声音的应用的情况。即，在本公开的第二实施例中，假设操作体op是用户的手，并且对象ob是钢琴键盘的情况。然而，如上所述，操作体op不限于用户的手。

此外，在这里，假设对象ob是由输出单元130显示的虚拟对象的情况。然而，对象ob不限于虚拟对象，而是可以是真实对象。此外，在这里，假设操作体op的参考点是手掌上的预定点(在这里，是手的中心位置)，并且操作体op的操作点是指尖的情况。然而，如上所述，手的中心位置不限于特定位置。

在帧数确定单元122确定已经获得对应于预定帧数的三维位置信息的情况下，相对速度计算单元123a基于操作体上每个点的绝对速度来计算操作体的操作点相对于操作体的参考点的相对速度。在这里，假设相对速度计算单元123a计算指尖相对于手的中心的相对速度的情况。也就是说，在本公开的第二实施例中，如果由三维位置估计单元121估计手的中心和指尖中的每一个的三维位置就足够了。

手势识别单元124a基于由相对速度计算单元123a计算的、操作点相对于参考点的相对速度来识别操作体的手势。在这里，在指尖相对于手的中心的相对速度超过阈值的情况下，手势识别单元124a将指尖在对象ob上的触摸识别为第一手势。例如，在指尖相对于手的中心在预定方向上的相对速度(例如，向下)超过阈值时，手势识别单元124a将指尖在对象ob上的触摸(在这里是琴键输入)识别为第一手势。另一方面，在指尖相对于手的中心的相对速度等于或小于阈值的情况下，手势识别单元124a将指尖对对象ob的非触摸识别为第二手势。

在图17所示的示例中，以类似于图1所示的示例的方式，假设这样一种情况，其中试图执行琴键输入的用户以指尖相对于手掌的相对速度v2向下移动指尖以执行琴键输入，同时以绝对速度v1将手掌移向纸表面的右侧(操作体op-1至op-3)，以便改变要用于琴键输入的琴键。此时，以类似于图1所示的示例的方式，指尖的绝对速度v12是通过合成手掌的绝对速度v1和指尖相对于手掌的相对速度v2而获得的速度。然而，在根据本公开的第二实施例的手势识别中，当确定是否已经执行了琴键输入时，排除了由于要用于琴键输入的琴键的改变而导致的速度分量，并且这样使得可以高精度地识别琴键输入。

命令执行单元125a执行对应于由手势识别单元124a识别的手势的命令。在这里，由命令执行单元125a执行的命令的类型不受限制。在这里，对应于用指尖触摸对象ob的命令可以包括输出对应于由指尖触摸的对象ob的声音的命令。也就是说，在已经识别出用指尖对对象ob的触摸的情况下，命令执行单元125a可以执行命令以使输出单元130输出对应于由指尖触摸的对象ob的声音。

在指尖相对于手的中心在预定方向上的相对速度超过阈值的情况下，命令执行单元125a可以输出总是相同音量的声音。可选地，命令执行单元125a可以调整音量(例如第一声音的音量)。例如，在指尖相对于手的中心在预定方向上的相对速度超过阈值的情况下，命令执行单元125a可以随着指尖相对于手的中心在预定方向上的相对速度增加而增加音量。这使得当用户想要输出更大的声音时，可以根据更强烈地触摸对象ob的用户的移动来调节音量。

在这里，指尖相对于手的中心在预定方向上的相对速度和音量之间的关系可以是恒定的，或者可以适当地改变。例如，指尖相对于手的中心在预定方向上的音量和相对速度之间的关系可以通过应用设置来改变，或者可以通过针对每个人的学习来改变。例如，可以确定指尖相对于手的中心在预定方向上的音量和相对速度之间的关系，使得用户的平均相对速度越低，平均音量越高。

此外，要与指尖相对于手的中心在预定方向上的相对速度进行比较的阈值可以是恒定的，或者可以适当地改变。例如，要与指尖相对于手的中心在预定方向上的相对速度进行比较的阈值可以通过应用设置来改变，或者可以通过针对每个人的学习来改变。例如，可以确定阈值，使得用户的平均相对速度越低，阈值越小。

上面已经描述了根据本公开第二实施例的信息处理系统100a的配置示例。

[2.2.信息处理系统的操作示例]

接下来，将描述根据本公开第二实施例的信息处理系统100a的操作示例。图18是示出根据本公开第二实施例的信息处理系统100a的操作示例的流程图。图18所示的s11至s14可以以类似于操作示例中的方式来执行(图15中所示的s11至s14)。然而，在本公开的第二实施例中，三维位置估计单元121仅需要估计手的中心和指尖的每个的三维位置。

相对速度计算单元123a基于手上每个点的三维位置的时间方向的变化来计算每个点的绝对速度。然后，相对速度计算单元123a基于每个点的绝对速度计算手的操作点相对于手的参考点的相对速度。在本公开的第二实施例中，相对速度计算单元123a基于手中心的绝对速度和指尖的绝对速度来计算指尖相对于手中心的相对速度(s15a)。

接下来，手势识别单元124a基于由相对速度计算单元123a计算的、操作点相对于操作体的参考点的相对速度来识别操作体的手势。更具体地，在指尖相对于手的中心的相对速度超过阈值的情况下(s16a中的“否”)，手势识别单元124a将对象ob上的触摸识别为第一手势的示例，并将操作转移到s172a。另一方面，在指尖相对于手的中心的相对速度等于或小于阈值的情况下(s16a中的“是”)，手势识别单元124a将对象ob上的非触摸识别为不同于第一手势的第二手势的示例，并将操作转移到s171a。请注意，在指尖相对于手的中心的相对速度等于阈值的情况下，可以识别第一手势。

接下来，命令执行单元125a执行对应于由手势识别单元124a识别的手势的命令。在手势识别单元124a已经识别出对象ob上的触摸的情况下，命令执行单元125a根据指尖的位置执行播放(输出)钢琴声(对应于指尖位置处的琴键的钢琴声)的命令(s172a)。另一方面，在手势识别单元124a已经识别出对象ob上的非触摸的情况下，命令执行单元125a不播放(不输出)钢琴声(s171a)。

上面已经描述了根据本公开第二实施例的信息处理系统100a的操作示例。

<3.第三实施例>

[3.1.信息处理系统的配置示例]

接下来，将描述根据本公开第三实施例的信息处理系统的配置示例。图19是图示根据本公开第三实施例的信息处理系统的功能配置示例的图。

如图19所示，根据本公开第三实施例的信息处理系统100b的信息处理设备140b与根据本公开第二实施例的信息处理系统100a的信息处理设备140的不同之处在于包括模式选择单元126。因此，在以下描述中，将主要描述模式选择单元126，并且将省略对根据本公开第三实施例的信息处理系统100b中包括的其他配置的详细描述。

在本公开的第三实施例中，模式选择单元126选择模式。在这里，模式可以用于确定相对位置计算方法，或者可以针对每个应用来确定。或者，可以选择在一个应用中彼此不同的多个模式之一。

相对速度计算单元123a基于由输入单元120获得的图像计算与模式相对应的相对速度。因此，计算与模式相对应的相对速度。具体地，模式选择单元126可以根据模式来确定参考点和操作点。例如，在基于用户的操作执行用于输出钢琴声音的应用的情况下，模式选择单元126可以将手的中心确定为参考点，并将指尖确定为操作点。

手势识别单元124a基于由相对速度计算单元123a计算的相对速度，来识别与模式相对应的手势。因此，识别了与该模式相对应的手势。命令执行单元125a基于手势识别单元124a识别的手势，执行与模式对应的命令。因此，执行了与该模式对应的命令。请注意，以上主要假设根据模式计算相对速度的情况。然而，计算相对速度的方法可以基于其他信息来确定。

上面已经描述了根据本公开第三实施例的信息处理系统100a的配置示例。

[3.2.信息处理系统的操作示例]

接下来，将描述根据本公开第三实施例的信息处理系统100b的操作示例。图20是示出根据本公开第三实施例的信息处理系统100b的操作示例的流程图。模式选择单元126选择用于确定相对位置计算方法的模式(s18)。例如，模式选择单元126设置对应于该模式的参考点和操作点。在这里，假设手的中心被设置为参考点并且指尖被设置为操作点的情况。s11及后面的步骤可以以与操作示例(图18中示出的s11及后面的步骤)类似的方式执行。

上面已经描述了根据本公开第三实施例的信息处理系统100b的操作示例。

<4.第四实施例>

[4.1.信息处理系统的配置示例]

接下来，将描述根据本公开第四实施例的信息处理系统的配置示例。

如图16所示，根据本公开第四实施例的信息处理系统100c的信息处理设备140c与根据本公开第二实施例的信息处理系统100a的信息处理设备140a的不同之处在于，包括手势识别单元124c和命令执行单元125c来代替手势识别单元124a和命令执行单元125a。因此，在以下描述中，将主要描述手势识别单元124c和命令执行单元125c，并且将省略对根据本公开第四实施例的信息处理系统100c中包括的其他配置的详细描述。

图21和22是用于描述根据本公开第四实施例的信息处理系统100c的功能的图。如图21和22所示，在本公开的第四实施例中，假设信息处理设备140c基于用户的操作执行游戏应用的情况。即，在本公开的第四实施例中，假设操作体op是用户的手的情况。然而，如上所述，操作体op不限于用户的手。

此外，在这里，假设对象ob是由输出单元130显示的虚拟对象的情况。然而，对象ob不限于虚拟对象，而是可以是真实对象。此外，在这里，假设操作体op的参考点是手掌上的预定点(在这里，是手的中心位置)，并且操作体op的操作点是指尖的情况。然而，如上所述，手的中心位置不限于特定位置。

手势识别单元124c基于由相对速度计算单元123a计算的、操作点相对于参考点的相对速度来识别操作体的手势。在这里，在指尖相对于手的中心的相对速度超过阈值的情况下，手势识别单元124将指尖在对象ob上的触摸识别为第一手势。例如，在指尖相对于手的中心的相对速度超过阈值的情况下，手势识别单元124c将指尖在对象ob上的触摸识别为第一手势。另一方面，在指尖相对于手的中心的相对速度等于或小于阈值的情况下，手势识别单元124c将手(或手掌)在对象ob上的触摸识别为第二手势。

在图21所示的示例中，假设手掌以绝对速度v1向下移动以移动对象ob(操作体op-1至op-2)的情况。此时，指尖相对于手掌的相对速度v2具有相对较小的值。另一方面，在所示的示例中，假设指尖以相对速度v2向下移动以选择对象ob(操作体op)的情况。此时，指尖相对于手掌的相对速度v2具有相对较大的值。在根据本公开第四实施例的手势识别中，由于基于指尖相对于手掌的相对速度v2来确定相对于对象的手势，所以可以高精度地识别手势。

命令执行单元125c执行对应于由手势识别单元124c识别的手势的命令。在这里，由命令执行单元125执行的命令的类型不受限制。例如，对应于用指尖触摸对象ob的命令可以包括选择由指尖触摸的对象ob的命令。也就是说，在已经识别出指尖对对象ob的触摸的情况下，命令执行单元125可以执行命令来选择指尖触摸的对象ob。

另一方面，对应于用手(或手掌)触摸对象ob的命令可以包括移动由手(或手掌)触摸的对象ob的命令。也就是说，在已经识别出用手(或手掌)触摸对象ob的情况下，命令执行单元125可以执行命令来移动由手(或手掌)触摸的对象ob。

请注意，本公开的第四实施例可以与本公开的第三实施例相结合。也就是说，根据本公开第四实施例的信息处理设备140c可以包括模式选择单元126。在这种情况下，相对速度计算单元123a基于由输入单元120获得的图像，计算与模式相对应的相对速度。因此，计算与模式对应的相对速度。具体地，模式选择单元126可以根据模式来确定参考点和操作点。例如，在基于用户的操作执行游戏应用的情况下，模式选择单元126可以将手的中心确定为参考点，并将指尖确定为操作点。

手势识别单元124c基于由相对速度计算单元123a计算的相对速度，识别与模式对应的手势。因此，识别了与该模式对应的手势。命令执行单元125c基于手势识别单元124c识别的手势，执行与模式对应的命令。结果，执行了与该模式对应的命令。请注意，以上主要假设计算与模式对应的相对速度的情况。然而，计算相对速度的方法可以基于其他信息来确定。

或者，在预定手势(例如，触摸对象的手势)已经从预定数据(例如，由输入单元120获得的图像)，模式选择单元126可以将手的中心确定为参考点，并将指尖确定为操作点。例如，触摸对象的手势可以是触摸桌子表面的手势。

上面已经描述了根据本公开第四实施例的信息处理系统100c的配置示例。

[4.2.信息处理系统的操作示例]

接下来，将描述根据本公开第四实施例的信息处理系统100c的操作示例。图23是示出根据本公开第四实施例的信息处理系统100c的操作示例的流程图。图23所示的s11至s14可以以类似于操作示例中的方式来执行(图18中所示的s11至s14)。在本公开的第四实施例中，以与本公开的第二实施例类似的方式，如果由三维位置估计单元121估计手的中心和指尖中的每一个的三维位置就足够了。

手势识别单元124c基于由相对速度计算单元123a计算的、操作点相对于操作体的参考点的相对速度来识别操作体的手势。更具体地，在指尖相对于手的中心的相对速度超过阈值的情况下(s16c中的“否”)，手势识别单元124a将指尖对对象ob的触摸识别为第一手势的示例(s172c)，并且命令执行单元125c根据指尖的位置执行选择对象ob的命令。

另一方面，在指尖相对于手的中心的相对速度等于或小于阈值的情况下(s16中的“是”)，手势识别单元124c将手(或手掌)在对象ob上的触摸识别为不同于第一手势的第二手势的示例。然后，命令执行单元125c根据手(或手掌)的位置执行移动对象ob的命令。请注意，在指尖相对于手的中心的相对速度等于阈值的情况下，可以识别第一手势。

上面已经描述了根据本公开第四实施例的信息处理系统100c的操作示例。

<5.第五实施例>

[5.1.信息处理系统的配置示例]

接下来，将描述根据本公开第五实施例的信息处理系统的配置示例。

如图16所示，根据本公开第五实施例的信息处理系统100d的信息处理设备140d与根据本公开第二实施例的信息处理系统100a的信息处理设备140a的不同之处在于，包括三维位置估计单元121d、相对速度计算单元123d、手势识别单元124d和命令执行单元125d来代替三维位置估计单元121、相对速度计算单元123a、手势识别单元124a和命令执行单元。因此，在以下描述中，将主要描述三维位置估计单元121d、相对速度计算单元123d、手势识别单元124d和命令执行单元125d，并且将省略对根据本公开第五实施例的信息处理系统100d中包括的其他配置的详细描述。

图24和25是用于描述根据本公开第五实施例的信息处理系统100d的功能的图。如图24和25所示，在本公开的第五实施例中，假设信息处理设备140d基于用户的操作执行游戏应用的情况。即，在本公开的第五实施例中，假设操作体op是用户的手的情况。然而，如上所述，操作体op不限于用户的手。

此外，在这里，假设对象ob是由输出单元130显示的虚拟对象的情况。然而，对象ob不限于虚拟对象，而是可以是真实对象。此外，在这里，假设操作体op的参考点是手腕上的预定点(在这里，手腕位置p12或手腕位置p13(图7和8))的情况，操作体op的操作点是手掌上的预定点(在这里，是手的中心位置)。然而，代替手腕上的预定点，可以使用肘部上的预定点(例如，肘关节位置p15(图9))，或者可以使用肩部的预定点(例如，肩关节位置)。此外，如上所述，手的中心位置不限于特定位置。

三维位置估计单元121d基于由输入单元120获得的输入信息来估计手腕和手的中心中的每一个的三维位置。三维位置估计单元121d使存储单元128存储关于每个手腕和手的中心的估计三维位置的信息。请注意，在这里，假设三维位置估计单元121d估计手腕和手中心中的每一个的三维位置的情况。可选地，三维位置估计单元121d可以估计手腕和手的中心中的每一个的二维位置(例如，平行于对象ob的显示表面的平面上的二维位置)。

在帧数确定单元122确定已经获得对应于预定帧数的三维位置信息的情况下，相对速度计算单元123基于操作体上每个点的绝对速度，计算操作体的操作点相对于操作体的参考点的相对速度。在这里，假设相对速度计算单元123计算手的中心相对于手腕的相对速度的情况。

手势识别单元124d基于由相对速度计算单元123d计算的、操作点相对于参考点的相对速度来识别操作体的手势。在这里，在手的中心相对于手腕的相对速度超过阈值的情况下，手势识别单元124d将以手腕作为支点挥动手的手势识别为第一手势。另一方面，在手的中心相对于手腕的相对速度等于或小于阈值的情况下，手势识别单元124d将以肘部为支点挥动手的手势识别为第二手势。请注意，在用肩部代替肘部的情况下，肩部可以作为支点。

在图24所示的示例中，假设一种情况，其中以手腕为支点挥动一只手，以便击打对象ob(操作体op)。此时，手掌相对于肘部的相对速度v3具有相对较小的值，但是手掌相对于手腕的相对速度具有相对较大的值。另一方面，在图25所示的示例中，假设为了移动对象ob(操作体op)而以肘部为支点挥动手的情况。此时，手掌相对于肘部的相对速度v4具有相对较大的值，但是手掌相对于手腕的相对速度具有相对较小的值。在根据本公开第五实施例的手势识别中，由于基于手掌相对于手腕的相对速度来确定相对于对象的手势，所以可以高精度地识别手势。

命令执行单元125d执行对应于由手势识别单元124d识别的手势的命令。在这里，由命令执行单元125d执行的命令的类型不受限制。例如，对应于以手腕为支点挥动手的手势的命令可以包括击打对象ob的命令。也就是说，在已经识别出以手腕为支点挥动手的手势的情况下，命令执行单元125d可以执行命令来击打对象ob。另一方面，对应于以肘部为支点挥动手的手势的命令可以包括移动对象ob的命令。也就是说，在已经识别出以肘部为支点挥动手的手势的情况下，命令执行单元125d可以执行移动对象ob的命令。

请注意，对应于以手腕为支点挥动手的手势的命令可以包括擦除对象的一部分的命令。另一方面，对应于以肘部为支点挥动手的手势的命令可以包括擦除整个对象的命令。例如，在执行绘图应用的情况下，对应于以手腕为支点挥动手的手势的命令可以包括擦除绘图的一部分的命令。另一方面，在执行绘图应用的情况下，对应于以手腕为支点挥动手的手势的命令可以包括擦除整个绘图的命令。

此外，本公开的第五实施例可以与本公开的第三实施例相结合。也就是说，根据本公开第五实施例的信息处理设备140d可以包括模式选择单元126。在这种情况下，相对速度计算单元123基于由输入单元120获得的图像，来计算与模式对应的相对速度。因此，计算与模式对应的相对速度。具体地，模式选择单元126可以根据模式来确定参考点和操作点。例如，在基于用户的操作执行游戏应用的情况下，模式选择单元126可以将手腕确定为参考点，并将手的中心确定为操作点。

手势识别单元124d基于由相对速度计算单元123d计算的相对速度，识别与模式对应的手势。因此，识别了与该模式对应的手势。命令执行单元125d基于手势识别单元124d识别的手势，执行与模式对应的命令。因此，执行了与该模式对应的命令。请注意，以上主要假设根据模式计算相对速度的情况。然而，计算相对速度的方法可以基于其他信息来确定。

上面已经描述了根据本公开第五实施例的信息处理系统100d的配置示例。

[5.2.信息处理系统的操作示例]

接下来，将描述根据本公开第五实施例的信息处理系统100d的操作示例。图26是示出根据本公开第五实施例的信息处理系统100d的操作示例的流程图。输入单元120通过按时间顺序感测用户的手和手臂作为操作体的示例来输入(获取)图像(s11)。三维位置估计单元121d基于由输入单元120获得的图像来估计手和手臂上的点的三维位置(s12d)。请注意，其三维位置将由三维位置估计单元121d估计的点可以包括用户的手腕和手的中心，但是不限于如上所述。

接下来，三维位置估计单元121d将手和手臂的三维位置存储在存储单元128中(s13d)。帧数确定单元122确定三维位置估计单元121是否已经获得了对应于指定帧数(预定帧数)的三维位置信息(s14)。在三维位置估计单元121没有获得对应于指定帧数(预定帧数)的三维位置信息的情况下(s14中的“否”)，帧数确定单元122返回s11。另一方面，在三维位置估计单元121d已经获得对应于指定帧数(预定帧数)的三维位置信息的情况下(s14中的“是”)，帧数确定单元122将操作转移到s15d。

相对速度计算单元123基于由存储单元128存储的手和手臂上的每个点的三维位置信息来计算手腕和手的中心中的每一个的绝对位置。然后，相对速度计算单元123基于每个手腕和手的中心的三维位置的时间方向的变化来计算每个手腕和手的中心的绝对速度。然后，相对速度计算单元123基于手腕和手的中心中的每一个的绝对速度，计算手和手臂的操作点(手的中心)相对于手和手臂的参考点(手腕)的相对速度(s15d)。

手势识别单元124d基于由相对速度计算单元123d计算的、操作点相对于操作体的参考点的相对速度来识别操作体的手势。更具体地，在手的中心相对于手腕的相对速度超过阈值的情况下(s16d中的“否”)，手势识别单元124d识别以手腕作为支点挥动手的手势作为第一手势的示例。然后，命令执行单元125d确定已经执行了根据手的中心位置击打虚拟对象(对象ob)的操作(s172d)，并执行对应于该操作的命令。

另一方面，在手的中心相对于手腕的相对速度等于或小于阈值的情况下(s16d中的“是”)，手势识别单元124d识别以肘部为支点挥动手的手势，作为不同于第一手势的第二手势的示例。然后，命令执行单元125d确定已经执行了根据手的中心位置移动虚拟对象(对象ob)的操作(s171d)，并执行对应于该操作的命令。请注意，在手的中心相对于手腕的相对速度等于阈值的情况下，可以识别第一手势。

上面已经描述了根据本公开第五实施例的信息处理系统100d的操作示例。

<6.第六实施例>

[6.1.信息处理系统的配置示例]

接下来，将描述根据本公开第六实施例的信息处理系统的配置示例。

如图16所示，根据本公开第六实施例的信息处理系统100e的信息处理设备140e与根据本公开第二实施例的信息处理系统100a的信息处理设备140a的不同之处在于，包括三维位置估计单元121e、相对速度计算单元123e、手势识别单元124e和命令执行单元125e来代替三维位置估计单元121、相对速度计算单元123a、手势识别单元124a和命令执行单元。因此，在以下描述中，将主要描述三维位置估计单元121e、相对速度计算单元123e、手势识别单元124e和命令执行单元125e，并且将省略对根据本公开第六实施例的信息处理系统100e中包括的其他配置的详细描述。

图27和28是用于描述根据本公开第六实施例的信息处理系统100e的功能的图。如图27和28所示，在本公开的第六实施例中，假设信息处理设备140e基于用户的操作执行游戏应用的情况。即，在本公开的第六实施例中，假设操作体op是用户的手的情况。然而，如上所述，操作体op不限于用户的手。

此外，在这里，假设对象ob是由输出单元130显示的虚拟对象的情况。然而，对象ob不限于虚拟对象，而是可以是真实对象。此外，在这里，假设一种情况，其中操作体op的参考点是手指关节(在这里，食指关节的位置p8(图7和8))，并且操作体op的操作点是指尖(在这里，食指的指尖的位置p7(图7和8))。

三维位置估计单元121e基于由输入单元120获得的输入信息来估计手的三维位置。三维位置估计单元121e使存储单元128存储关于手的估计三维位置的信息。请注意，在本公开的第六实施例中，三维位置估计单元121e仅需要估计手指关节和指尖中的每一个的三维位置作为手的三维位置。

在帧数确定单元122确定已经获得对应于预定帧数的三维位置信息的情况下，相对速度计算单元123e基于操作体上每个点的绝对速度计算操作体的操作点相对于操作体的参考点的相对速度。在这里，假设相对速度计算单元123e计算指尖相对于手指关节的相对速度的情况。

手势识别单元124e基于由相对速度计算单元123e计算的、操作点相对于参考点的相对速度来识别操作体的手势。在这里，在指尖相对于手指关节的相对速度超过阈值的情况下，手势识别单元124将以手指关节为支点移动指尖的手势识别为第一手势。另一方面，在指尖相对于手指关节的相对速度等于或小于阈值的情况下，手势识别单元124将以手指基部为支点移动指尖的手势识别为第二手势。

在图27所示的示例中，假设指尖以手指基部为支点移动以选择对象ob的情况。此时，手指关节的绝对速度v5具有相对较大的值，但是指尖相对于手指关节的相对速度具有相对较小的值。另一方面，在图28所示的示例中，假设指尖以手指关节为支点移动以移动对象ob为目的的情况。此时，手指关节的绝对速度具有相对较小的值，但是指尖相对于手指关节的相对速度v2具有相对较大的值。在根据本公开第六实施例的手势识别中，由于基于指尖相对于手指关节的相对速度来确定相对于对象的手势，所以可以高精度地识别手势。

命令执行单元125e执行对应于由手势识别单元124e识别的手势的命令。在这里，由命令执行单元125e执行的命令的类型不受限制。例如，对应于以手指基部为支点移动指尖的手势的命令可以包括选择对象ob的命令。也就是说，在已经识别出以手指基部为支点移动指尖的手势的情况下，命令执行单元125e可以执行选择对象ob的命令。另一方面，对应于以手指关节点为支点移动指尖的手势的命令可以包括移动对象ob的命令。也就是说，在已经识别出以手指关节点为支点移动指尖的手势的情况下，命令执行单元125e可以执行选择对象ob的命令。

请注意，本公开的第六实施例可以与本公开的第三实施例相结合。也就是说，根据本公开第六实施例的信息处理设备140e可以包括模式选择单元126。在这种情况下，相对速度计算单元123e基于由输入单元120获得的图像，计算与模式对应的相对速度。结果，计算与模式对应的相对速度。具体地，模式选择单元126可以根据模式来确定参考点和操作点。例如，在基于用户的操作执行游戏应用的情况下，模式选择单元126可以将手指关节确定为参考点，并将指尖确定为操作点。

手势识别单元124e基于由相对速度计算单元123e计算的相对速度，识别与模式对应的手势。因此，识别了与该模式对应的手势。命令执行单元125e基于手势识别单元124e识别的手势，根据模式执行命令。因此，执行了根据该模式的命令。请注意，以上主要假设根据模式计算相对速度的情况。然而，计算相对速度的方法可以基于其他信息来确定。

例如，在已经从预定数据(例如，图像)识别了预定手势(例如，指向的手势)的情况下，相对速度计算单元123e可以将手指关节确定为参考点，并将指尖确定为操作点。例如，指向的手势可以是伸出食指的手势。

上面已经描述了根据本公开第六实施例的信息处理系统100e的配置示例。

[6.2.信息处理系统的操作示例]

接下来，将描述根据本公开第六实施例的信息处理系统100e的操作示例。图29是示出根据本公开第六实施例的信息处理系统100e的操作示例的流程图。输入单元120通过按时间顺序感测作为操作体的示例的用户的手来输入(获取)图像(s11)。三维位置估计单元121e基于由输入单元120获得的图像来估计手上的点的三维位置(s12e)。请注意，其三维位置将由三维位置估计单元121e估计的点可以包括手指关节和指尖，但是不限于如上所述。

接下来，三维位置估计单元121e将手的三维位置存储在存储单元128中(s13e)。帧数确定单元122确定三维位置估计单元121是否已经获得了对应于指定帧数(预定帧数)的三维位置信息(s14)。在三维位置估计单元121未获得对应于指定帧数(预定帧数)的三维位置信息的情况下(s14中的“否”)，帧数确定单元122返回s11。另一方面，在三维位置估计单元121e已经获得对应于指定帧数(预定帧数)的三维位置信息的情况下(s14中的“是”)，帧数确定单元122将操作转移到s15e。

相对速度计算单元123e基于由存储单元128存储的手上每个点的三维位置信息来计算手指关节和指尖中的每个的绝对位置。然后，相对速度计算单元123e基于每个手指关节和指尖的三维位置的时间方向的变化来计算每个手指关节和指尖的绝对速度。然后，相对速度计算单元123e基于手指关节和指尖中的每一个的绝对速度，计算手的操作点(指尖)相对于手的参考点(手指关节)的相对速度(s15e)。

手势识别单元124e基于由相对速度计算单元123e计算的、操作点相对于操作体的参考点的相对速度来识别操作体的手势。更具体地，在指尖相对于手指关节的相对速度超过阈值的情况下(s16e中的“否”)，手势识别单元124e将以手指关节为支点移动指尖的手势(滚动操作)识别为第一手势的示例(s172e)，并且命令执行单元125e根据指尖的位置执行移动对象ob的命令。

另一方面，在指尖相对于手指关节的相对速度等于或小于阈值的情况下(s16e中的“是”)，手势识别单元124e将以手指基部为支点移动指尖的手势(点击操作)识别为不同于第一手势的第二手势的示例(s171e)，并且命令执行单元125e根据指尖的位置执行移动对象ob的命令。请注意，在指尖相对于手指关节的相对速度等于阈值的情况下，可以识别第一手势。根据本公开的第六实施例，在已经识别滚动操作的情况下，可以执行不识别点击操作的控制，并且可以享受提高确定点击操作的准确度的效果。

上面已经描述了根据本公开第六实施例的信息处理系统100e的操作示例。

<7.第七实施例>

[7.1.信息处理系统的配置示例]

接下来，将描述根据本公开第七实施例的信息处理系统的配置示例。

如图16所示，根据本公开第七实施例的信息处理系统100f的信息处理设备140f与根据本公开第二实施例的信息处理系统100a的信息处理设备140a的不同之处在于，包括三维位置估计单元121f、相对速度计算单元123f、手势识别单元124f和命令执行单元125f来代替三维位置估计单元121、相对速度计算单元123a、手势识别单元124a和命令执行单元。因此，在以下描述中，将主要描述三维位置估计单元121f、相对速度计算单元123f、手势识别单元124f和命令执行单元125f，并且将省略对根据本公开第七实施例的信息处理系统100f中包括的其他配置的详细描述。

图30和31是用于描述根据本公开第七实施例的信息处理系统100f的功能的图。如图30和31所示，在本公开的第七实施例中，假设信息处理设备140f基于用户的操作执行游戏应用的情况。即，在本公开的第七实施例中，假设操作体是用户身体的一部分(人体部分)的情况。然而，如上所述，操作体不限于用户身体的一部分(人体部分)。

此外，在这里，假设对象是由输出单元130显示的虚拟对象的情况。然而，对象不限于虚拟对象，而是可以是真实对象。此外，在这里，假设操作体的基准点是肩部上的预定点(例如，肩关节位置)，并且操作体的操作点是拳头上的预定点(在这里，手的中心的位置p14(图7和8))。然而，代替肩部上的预定点(例如，肩关节位置)，可以使用除了肩部之外的部分上的预定点(例如，脚)。

三维位置估计单元121f基于由输入单元120获得的输入信息来估计人体部分的三维位置。三维位置估计单元121f使存储单元128存储关于人体部分的估计三维位置的信息。请注意，在本公开的第七实施例中，三维位置估计单元121f仅需要估计肩部和拳头中的每一个的三维位置作为人体部分的三维位置。

在帧数确定单元122确定已经获得对应于预定帧数的三维位置信息的情况下，相对速度计算单元123f基于操作体上每个点的绝对速度计算操作体的操作点相对于操作体的参考点的相对速度。在这里，假设相对速度计算单元123计算拳头相对于肩部的相对速度的情况。

手势识别单元124f基于由相对速度计算单元123f计算的、操作点相对于参考点的相对速度来识别操作体的手势。在这里，在拳头相对于肩部的相对速度超过阈值的情况下，手势识别单元124f将第一类型的击打识别为第一手势。另一方面，在拳头相对于肩部的相对速度低于阈值的情况下，手势识别单元124将第二类型的击打识别为第二手势。

在图30所示的示例中，假设有一种情况，试图向一个对象刺拳。例如，假设用于刺拳的拳头和肩部在身体的相对侧，其中肩部的位置从p17-1移动到p17-2，拳头的位置从p14-1移动到p14-2。此时，拳头相对于肩部的相对速度v6具有相对较小的值。另一方面，在图31所示的示例中，假设有一种情况，试图向一个对象打出直拳。例如，假设用于打出直拳的拳头和肩部在身体的相对两侧，其中肩部的位置从p17-3移动到p17-4，拳头的位置从p14-3移动到p14-4。此时，拳头相对于肩部的相对速度v6具有相对较大的值。

在根据本公开的第七实施例的手势识别中，由于基于拳头相对于肩部的相对速度来确定相对于对象的手势，所以可以高精度地识别手势。请注意，例如，在用于刺拳的拳头和肩部在身体的同一侧的情况下，拳头相对于肩部的相对速度具有相对较大的值。另一方面，在用于打出直拳的拳头和肩部在身体的同一侧的情况下，拳头相对于肩部的相对速度具有相对较小的值。

命令执行单元125f执行对应于由手势识别单元124f识别的手势的命令。在这里，由命令执行单元125f执行的命令的类型不受限制。例如，对应于刺拳的命令可以包括对对象造成相对较小损伤的命令。也就是说，在已经识别出刺拳的情况下，命令执行单元125f可以执行命令以对对象造成相对较小的损害。另一方面，对应于直拳的命令可以包括对对象造成相对较大损伤的命令。也就是说，在已经识别出直拳的情况下，命令执行单元125f可以执行命令以对对象造成相对较大的损坏。

请注意，本公开的第七实施例可以与本公开的第三实施例相结合。也就是说，根据本公开第七实施例的信息处理设备140f可以包括模式选择单元126。在这种情况下，相对速度计算单元123f基于由输入单元120获得的图像，计算与模式对应的相对速度。结果，计算与模式对应的相对速度。具体地，模式选择单元126可以根据模式来确定参考点和操作点。例如，在基于用户的操作执行游戏应用的情况下，模式选择单元126可以将肩部确定为参考点，将拳头确定为操作点。

手势识别单元124f基于由相对速度计算单元123f计算的相对速度，识别与模式对应的手势。结果，识别了根据该模式的手势。命令执行单元125f基于由手势识别单元124f识别的手势，执行与模式对应的命令。因此，执行了与该模式对应的命令。请注意，以上主要假设根据模式计算相对速度的情况。然而，计算相对速度的方法可以基于其他信息来确定。

上面已经描述了根据本公开第七实施例的信息处理系统100f的配置示例。

[7.2.信息处理系统的操作示例]

接下来，将描述根据本公开第七实施例的信息处理系统100f的操作示例。图32是示出根据本公开第七实施例的信息处理系统100f的操作示例的流程图。输入单元120通过按时间顺序感测作为操作体的示例的用户的人体部分来输入(获取)图像(s11)。三维位置估计单元121f基于由输入单元120获得的图像来估计人体部位上的点的三维位置(s12f)。请注意，其三维位置将由三维位置估计单元121f估计的点可以包括肩部和拳头，但是不限于如上所述。

接下来，三维位置估计单元121f将手的三维位置存储在存储单元128中(s13f)。帧数确定单元122确定三维位置估计单元121是否已经获得了对应于指定帧数(预定帧数)的三维位置信息(s14)。在三维位置估计单元121f未获得对应于指定帧数(预定帧数)的三维位置信息的情况下(s14中的“否”)，帧数确定单元122返回s11。另一方面，在三维位置估计单元121e已经获得对应于指定帧数(预定帧数)的三维位置信息的情况下(s14中的“是”)，帧数确定单元122将操作转移到s15f。

相对速度计算单元123f基于由存储单元128存储的人体部位上的每个点的三维位置信息来计算每个肩部和拳头的绝对位置。然后，相对速度计算单元123f基于每个肩部和拳头的三维位置的时间方向的变化来计算每个肩部和拳头的绝对速度。然后，相对速度计算单元123f基于肩部和拳头中的每一个的绝对速度，计算操作体的操作点(拳头)相对于操作体的参考点(肩部)的相对速度(s15f)。

手势识别单元124f基于由相对速度计算单元123f计算的、操作点相对于操作体的参考点的相对速度来识别操作体的手势。更具体地，在用于打出直拳的拳头和肩部位于身体的相对侧并且拳头相对于肩部的相对速度超过阈值的情况下(s16f中的“否”)，手势识别单元124f将直拳识别为第一手势的示例(s172f)，并且命令执行单元125f根据从肩部到拳头的方向执行命令以对对象造成相对较大的损害。

另一方面，在用于打出刺拳的拳头和肩部位于身体的相对侧并且拳头相对于肩部的相对速度等于或小于阈值的情况下(s16f中的“是”)，手势识别单元124f将刺拳识别为不同于第一手势的第二手势的示例(s171f)，并且命令执行单元125f根据从肩部到拳头的方向执行命令以对对象造成相对较小的损害。

请注意，在拳头相对于肩部的相对速度等于阈值的情况下，可以识别第一手势。此外，在用于打出直拳的拳头和肩部在身体的同一侧并且拳头相对于肩部的相对速度等于或小于阈值的情况下，手势识别单元124f可以将直拳识别为第二手势的示例。另一方面，在用于打出刺拳的拳头和肩部在身体的同一侧并且拳头相对于肩部的相对速度超过阈值的情况下，手势识别单元124f可以将刺拳识别为第一手势的示例。

上面已经描述了根据本公开第七实施例的信息处理系统100f的操作示例。

<8.硬件配置示例>

接下来，将参考图33描述根据本公开实施例的信息处理系统100的硬件配置。图33是示出根据本公开实施例的信息处理系统100的硬件配置示例的框图。

如图33所示，信息处理系统100包括中央处理器(cpu)901、只读存储器(rom)903和随机存取存储器(ram)905。cpu901、rom903和ram905可以构成三维位置估计单元121、帧数确定单元122、相对速度/相对位置计算单元123、手势识别单元124和命令执行单元125。此外，信息处理系统100可以包括主机总线907、桥接器909、外部总线911、接口913、输入设备915、输出设备917、存储设备919、驱动器921、连接端口923和通信装置925。此外，信息处理系统100可以根据需要包括成像设备933和传感器935。信息处理系统100可以包括被称为数字信号处理器(dsp)的处理电路或专用集成电路(asic)，以代替cpu901或与其结合。

cpu901用作算术处理设备和控制设备，并且根据记录在rom903、ram905、存储设备919或可移动记录介质927中的各种程序来控制信息处理系统100中的全部或部分操作。rom903存储由cpu901使用的程序、算术参数等。ram905临时存储用于由cpu901执行的程序、在执行期间适当改变的参数等。cpu901、rom903和ram905通过由诸如cpu总线的内部总线构成的主机总线907相互连接。此外，主机总线907经由桥接器909连接到外部总线911，例如外围组件互连/接口(pci)总线。

输入设备915是由用户操作的设备，例如按钮。输入设备915可以包括鼠标、键盘、触摸板、开关、杠杆等。此外，输入设备915可以包括检测用户声音的麦克风。输入设备915可以是例如使用红外线或其他无线电波的遥控设备，或者可以是外部连接设备929，例如可以用于操作信息处理系统100的移动电话。输入设备915包括输入控制电路，该输入控制电路基于用户输入的信息生成输入信号，并将输入信号输出到cpu901。用户操作输入设备915以向信息处理系统100输入各种类型的数据，或者给出执行处理操作的指令。此外，稍后描述的成像设备933还可以通过对用户的手、用户的手指等的移动进行成像来用作输入设备。此时，可以根据手的移动或手指的方向来确定指向位置。请注意，输入设备915可以构成上述输入单元120。

输出设备917由能够在视觉上或听觉上向用户通知所获取的信息的设备构成。输出设备917可以是例如诸如液晶显示器(lcd)或有机电致发光(el)显示器的显示设备，或者诸如扬声器或耳机的声音输出设备。此外，输出设备917可以包括等离子体显示面板(pdp)、投影仪、全息图、打印机设备等。输出设备917将通过信息处理系统100的处理获得的结果输出为诸如文本或图像的视频，或者诸如语音或音效的声音。此外，输出设备917可以包括用于照亮周围环境的照明设备等。请注意，输出设备917可以构成上述输出单元130。

存储设备919是被配置为信息处理系统100的存储单元的示例的数据存储设备。存储设备919由例如磁存储设备构成，例如硬盘驱动器(hdd)、半导体存储设备、光存储设备或磁光存储设备。存储设备919存储要由cpu901执行的程序和各种类型的数据、从外部获取的各种类型的数据等。

驱动器921是诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动记录介质927的读取器/写入器，并且内置或外部附接到信息处理系统100。驱动器921读取记录在安装的可移动记录介质927中的信息，并将该信息输出到随机存取存储器905。此外，驱动器921将记录写入安装的可移动记录介质927。

连接端口923是用于将设备直接连接到信息处理系统100的端口。连接端口923可以是例如通用串行总线(usb)端口、ieee1394端口或小型计算机系统接口(scsi)端口。此外，连接端口923可以是rs-232c端口、光学音频终端、高清多媒体接口(hdmi(注册商标))端口等。将外部连接设备929连接到连接端口923允许在信息处理系统100和外部连接设备929之间交换各种类型的数据。

此外，通信装置925例如是由用于连接到网络931的通信设备等构成的通信接口。通信装置925可以是例如用于有线或无线局域网(lan)、蓝牙(注册商标)或无线usb(wusb)的通信卡。此外，通信装置925可以是用于光通信的路由器、用于非对称数字用户线路(adsl)的路由器、用于各种通信的调制解调器等。通信装置925通过使用诸如tcp/ip的预定协议，向和从因特网和其他通信设备发送和接收信号等。此外，连接到通信设备925的网络931是通过有线或无线连接的网络，并且例如是互联网、家庭局域网、红外通信、无线电波通信或卫星通信。

成像装置933是通过使用诸如电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)之类的成像元件和用于控制成像元件上的拍摄体图像的形成的透镜之类的各种构件对真实空间进行成像并生成拍摄图像的装置。成像设备933可以拍摄静止图像，或者可以拍摄运动图像。

传感器935是各种传感器，例如距离测量传感器、加速度传感器、陀螺仪传感器、地磁传感器、振动传感器、光学传感器和声音传感器。传感器935获取关于信息处理系统100本身的状态的信息，例如信息处理系统100的外壳的姿态，以及关于信息处理系统100的周围环境的信息，例如信息处理系统100周围的亮度和噪声。此外，传感器935可以包括接收全球定位系统(gps)信号并测量设备的纬度、经度和高度的全球定位系统传感器。请注意，传感器935可以构成上述输入单元120。

<9.结论>

本公开的实施例提供了一种信息处理设备，包括：相对速度计算单元，其基于通过按时间顺序感测操作体而获得的数据，计算该操作体上的第二点相对于该操作体上的第一点的相对速度；以及手势识别单元，基于相对速度识别操作体的手势。根据这样的配置，可以更高精度地识别操作体做出的手势。

上面已经参照附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这些示例。显然，在本公开的技术领域中具有普通知识的人可以在权利要求中描述的技术思想的范围内提出各种变化和修改，并且这种各种变化和修改自然被理解为属于本公开的技术范围。

例如，每个配置的位置不受特别限制，只要实现上述信息处理系统100的操作即可。信息处理系统100中每个单元的部分处理可以由未示出的服务器来执行。

此外，本说明书中描述的效果仅仅是说明性的或示例性的，而不是限制性的。也就是说，除了上述效果之外或代替上述效果，根据本说明书的描述，根据本公开的技术可以表现出对于本领域技术人员来说显而易见的其他效果。

请注意，如下所述的配置也属于本公开的技术范围。

(1)一种信息处理设备，包括：

相对速度计算单元，其基于通过按时间顺序感测操作体而获得的数据，计算所述操作体上的第二点相对于所述操作体上的第一点的相对速度；和

手势识别单元，其基于所述相对速度识别所述操作体的手势。

(2)根据(1)所述的信息处理设备，进一步包括：

命令确定单元，其确定对应于所述手势的命令。

(3)根据(1)或(2)所述的信息处理设备，其中

所述数据是通过按时间顺序感测所述操作体而获得的二维数据或三维数据。

(4)根据(1)至(3)中任一项所述的信息处理设备，进一步包括：

模式选择单元，其选择模式，

其中所述相对速度计算单元基于所述数据计算根据所述模式的所述相对速度。

(5)根据(1)至(4)中任一项所述的信息处理设备，其中

所述手势识别单元在所述相对速度超过阈值的情况下识别第一手势，并且在所述相对速度低于所述阈值的情况下识别不同于所述第一手势的第二手势。

(6)根据(5)所述的信息处理设备，其中

所述第一点是手掌上的预定点，并且

所述第二点是指尖。

(7)根据(6)所述的信息处理设备，其中

在所述相对速度超过所述阈值的情况下，所述手势识别单元将所述指尖在对象上的触摸识别为所述第一手势。

(8)根据(7)所述的信息处理设备，其中

对应于用所述指尖触摸的命令包括输出对应于所述对象的声音的命令或选择所述对象的命令。

(9)根据(8)所述的信息处理设备，其中

在所述相对速度低于阈值的情况下，所述手势识别单元将手掌在所述对象上的触摸识别为所述第二手势。

(10)根据(9)所述的信息处理设备，其中

对应于用所述手掌的所述触摸的命令包括移动所述对象的命令。

(11)根据(5)所述的信息处理设备，其中

所述第一点是手腕或肘部上的预定点，并且

所述第二点是手掌上的预定点。

(12)根据(11)所述的信息处理设备，其中

在所述相对速度超过所述阈值的情况下，所述手势识别单元将以所述手腕为支点挥动手的手势识别为所述第一手势，并且在所述相对速度低于所述阈值的情况下，将以所述肘部或肩部为支点挥动手的手势识别为所述第二手势。

(13)根据(12)所述的信息处理设备，其中

对应于以所述手腕为支点挥动手的手势的命令包括击打对象的命令，对应于以所述肘部或所述肩部为支点挥动手的手势的命令包括移动所述对象的命令。

(14)根据(5)所述的信息处理设备，其中

所述第一点是手指关节点，并且

所述第二点是指尖。

(15)根据(14)所述的信息处理设备，其中

在所述相对速度超过所述阈值的情况下，所述手势识别单元将以手指基部为支点移动所述指尖的手势识别为所述第一手势，并且将在所述相对速度低于所述阈值的情况下，将以所述手指关节点为支点移动所述指尖的手势识别为所述第二手势。

(16)根据(15)所述的信息处理设备，其中

对应于以所述手指基部为支点移动所述指尖的手势的命令包括选择所述对象的命令，对应于以所述手指关节点为支点移动所述指尖的手势的命令包括移动所述对象的命令。

(17)根据(5)所述的信息处理设备，其中

所述第一点是肩部上的预定点，并且

所述第二点是拳头上的预定点。

(18)根据(17)所述的信息处理设备，其中

在所述相对速度超过所述阈值的情况下，所述手势识别单元将第一类型的击打识别为所述第一手势，并且在所述相对速度低于所述阈值的情况下将第二类型的击打识别为所述第二手势。

(19)一种信息处理方法，包括：

基于通过按时间顺序感测操作体获得的数据，计算所述操作体上的第二点相对于所述操作体上的第一点的相对速度；以及

由处理器基于所述相对速度识别所述操作体的手势。

(20)一种程序，其用于使计算机用作信息处理设备，所述信息处理设备包括：

相对速度计算单元，其基于通过按时间顺序感测操作体而获得的数据，计算所述操作体上的第二点相对于所述操作体上的第一点的相对速度；和

手势识别单元，其基于所述相对速度识别所述操作体的手势。

参考符号列表

100信息处理系统

110桌子

120输入单元

121三维位置估计单元

122帧数确定单元

123相对位置/相对速度计算单元

124手势识别单元

125命令执行单元

126模式选择单元

128存储单元

130输出单元

140信息处理设备