智能冷藏设备及其方法与流程

本发明涉及智能家电领域，具体地，涉及一种智能冷藏设备及其方法。

背景技术：

随着物联网技术和智能家居的迅猛发展，万物互联是大势所趋。近年来，很多家用设备通过增加通讯模块从而能够接入到互联网中，然而连接功能仅仅是智能发展的基础性条件，但距离能够被用户接受和认可的智能功能以及有效提高用户的场景体验还有很多提升空间。

传统冰箱主要功能是食品存储，但是缺乏对食品信息的智能管理功能。在物联网的大环境下，以目前业界提出的冷藏设备如智能冰箱为例，其能够接入家庭路由器所在的网络，实现冰箱存储或感知信息与外网或其他设备的交互，与传统冰箱相比主要是增加了信息交互功能，其他方面并未起到重要变化，难以满足用户的很多场景体验需要，导致用户对于这种冷藏设备的接受度不高。

因此，有必要改变设备与设备，设备与人之间的单一冰冷联接，使得智能设备更加贴近用户，满足用户的场景体验需要。

技术实现要素：

有鉴于此，本发明旨在提供一种用于冷藏设备的综合信息处理方案，以拓展包括智能冰箱在内的冷藏设备在智能生活方面发挥作用，同时提高用户在智能能藏设备上的使用体验。

根据本发明的第一方面，提供一种用于智能冷藏设备的方法，，包括：获取包括智能冷藏设备内的物品的图像；对物品添加包括图像拍摄时间和身份标识号的标签；设定物品的预设保质期；检索具有与物品相同的身份标识号的最早图像及其拍摄时间，根据当前图像的拍摄时间和最早图像的拍摄时间，以确定物品的存储时长；以及响应于物品的存储时长距物品的预设保质期的差值小于预设的提醒时长，呈现物品的保质期提醒信息。

在一个实施例中，所述标签还可以包括物品的类别。

在一个实施例中，设定物品的预设保质期可以包括以下至少一项：呈现所述物品的图像和输入窗口，响应于接收到在输入窗口中的输入操作，设定所述物品的预设保质期；呈现所述物品的图像和建议保质期，响应于接收到对建议保质期的确认操作，设定所述物品的预设保质期；呈现所述物品的图像和建议保质期的范围选择滑动条，响应于接收到对范围选择滑动条的拖动操作，设定所述物品的预设保质期；以及响应于接收到对预设保质期的消除设定指令，消除预设保质期。

在一个实施例中，所述建议保质期可以根据所述物品的类别和预设的与类别关联的保质期来确定。

根据本发明的第二方面，提供一种智能冷藏设备，包括：图像采集组件、处理组件和呈现组件。图像采集组件可以被配置采集包括智能冷藏设备内的物品的图像。处理组件可以被配置为对物品添加包括图像拍摄时间和身份标识号的标签；设定物品的预设保质期；检索具有与物品相同的身份标识号的最早图像及其拍摄时间，根据当前图像的拍摄时间和最早图像的拍摄时间，以确定物品的存储时长；以及响应于物品的存储时长距物品的预设保质期的差值小于预设的提醒时长，产生物品的保质期提醒信息。呈现组件可以被配置为呈现已被添加标签的物品的图像和所述保质期提醒信息。

在一个实施例中，所述标签还可以包括物品的类别。

在一个实施例中，所述智能冷藏设备还可以包括输入组件，其中，响应于经由所述输入组件点击已被添加标签的物品的图像，所述处理组件还可以被配置为执行以下至少一项：响应于呈现组件呈现所述物品的图像和输入窗口，并接收到经由输入组件在输入窗口中的输入操作，设定所述物品的预设保质期；响应于呈现组件呈现所述物品的图像和建议保质期，并接收到经由输入组件对建议保质期的确认操作，设定所述物品的预设保质期；响应于呈现组件呈现所述物品的图像和建议保质期的范围选择滑动条，并接收到经由输入组件对范围选择滑动条的拖动操作，设定所述物品的预设保质期；以及响应于经由输入组件接收到对预设保质期的消除设定指令，消除预设保质期。

在一个实施例中，所述建议保质期根可以据所述物品的类别和预设的与类别关联的保质期来确定。

采用本发明的方案后，用户可以及时方便地获知智能冷藏设备中的物品的保质期情况，并且用户还可以灵活地设置物品的预计保质期。这拓展了冷藏设备的智能化生活应用，用户与冷藏设备之间的交互更加便捷、人性化和智能化，有效提高了用户在冷藏设备上的使用体验。

附图说明

以下结合附图，将更清楚本发明的示例实施例的上述和其他方面、特征和优点，附图中：

图1a和1b示出了根据本发明示例实施例的智能冷藏设备的结构的正视图和侧视图；

图2示出了根据本发明示例实施例的用于智能冷藏设备的信息交换系统的概览图；

图3示出了根据本发明实施例的智能冷藏设备的功能模块框图；以及

图4示出了根据本发明实施例的用于智能冷藏设备的方法的流程图。

具体实施方式

以下参考附图描述了本发明的示例实施例。

图1a和1b示出了根据本发明示例实施例的智能冰箱的结构的正视图和侧视图。

结合图1a至图1b所示，作为一个实施例，冰箱的冷藏柜本体10(也可被称作冷藏室区域)的储物空间包括第一隔层空间101、第二隔层空间102、第三隔层空间103和第四隔层空间104，隔层空间可以是更多或更少，在本发明中不做限制。下面以冰箱的冷藏柜本体被分为3个隔层空间为例来描述本发明的智能冰箱的结构，在一个实施例中，摄像头组包括第一摄像头1、第二摄像头2、第三摄像头3、第四摄像头4和第五摄像头5，其中，第一摄像头1设置于第一隔层空间101的左内侧壁靠近顶部且靠近外敞口的位置上，用于获取第一隔层空间101的储物图像，即其摄像方向朝向第一隔层空间101的储物区域；第二摄像头2设置于第二隔层空间102的左内侧壁靠近顶部且靠近外敞口的位置上，用于获取第二隔层空间102的储物图像，即其摄像方向朝向第二隔层空间102的储物区域；第三摄像头3设置于第三隔层空间103的左内侧壁靠近其顶部且靠近外敞口的位置上，用于获取第三隔层空间103的储物图像，即其摄像方向朝向第三隔层空间103的储物区域；第四摄像头4优选地设置于冷藏柜本体10内邻近第一隔层空间101或者第二隔层空间102且靠近外敞口的位置，用于获取冰箱门(也可被称作冷藏室门区域)20内侧整体空间的储物图像，即当冰箱门20相对于冷藏柜本体10形成预定开启角度时，第四摄像头4的拍摄角度对准冰箱门20内侧的储物区域；第五摄像头5优选地设置于冰箱门本体20的内侧(更优选地设置于其内侧的顶层兜槽上)，用于获取冷藏柜本体中包括三个隔层空间在内的整体储物图像，即当冰箱门20相对于冷藏柜本体10形成上述预定开启角度时，第五摄像头5的摄像方向朝向冷藏柜整体隔层空间的储物区域。

在使用过程中，当第一隔层空间101的储物状态发生变化时，可以通过第一摄像头1采集相应的图像，当第二隔层空间102的储物状态发生变化时，可以通过第二摄像头2采集相应的图像，当第三隔层空间的储物状态发生变化时，可以通过第三摄像头3采集相应的图像，而任一隔层空间的储物状态变化时，还可以通过第五摄像头5获得整体隔层空间的图像，这样在微观上和宏观上均得到了储物状态变化的相应图像。这两种角度的图像有助于云端的图像识别系统更为准确的识别出相应食品信息。另外，当冰箱门20内侧的储物状态变化时，可以通过第四摄像头4获得相应的图像，由于冰箱门20内侧的储物通常较少，这样获得的图像也有助于云端的图像识别系统识别出冰箱门20内侧的储物信息。

需要说明的是，第四摄像头4和第五摄像头5可以被配置为在冰箱门20相对于冷藏柜本体10形成预定角度时同时动作，这样有助于提高图像整体采集的一致性和准确性，并且以尽量少的摄像头数目获得尽量多的图像信息。优选地，第四摄像头4和第五摄像头5的安装高度可以大体一致。

为了更为有效说明上述情形的实现过程，下面进一步举例说明一种具体实施方式：具体地，冰箱上还可以包括一传感器组和主控装置，该传感器组可以包括手部检测传感器(如红外传感器)、角度传感器、冰箱门开关状态检测装置(该装置可直接利用冰箱已有的开关门检测装置)，其中，手部检测传感器用于检测用户手部是否伸进隔层空间，在一个实施例中，手部传感器可以设置于如图1a和图1b所示的位置6处，角度传感器可以设置于冰箱门的转轴上，用于检测冰箱门箱对于冷藏柜的打开角度。

主控装置可以包括如下操作：识别冰箱当前的相应状态；控制摄像头的动作、进行图像采集和存储；实现网络传输等，还可以包括如下功能：根据云端图像识别系统的反馈信息以图形化界面显示冰箱储物空间中的储物状态，为用户提供语音控制以及向用户提供警报、温馨提示等功能。

在使用过程中，整个主控装置可以由冰箱供电单元供电，传感器组的各种相应状态信息实时传送给主控装置，当用户购买食品(例如苹果和鸡蛋)后，打开冰箱，主控装置得知冰箱门打开且得知冰箱门的打开方向(关闭方向)和角度，用户将苹果放到第一隔层空间101中，主控装置也得知这一状态，用户放置完苹果后，主控装置控制第一摄像头1动作，得到第一隔层空间101的储物图像，此外，用户还将鸡蛋放置在冰箱门20内侧，之后用户关闭冰箱门20，在关闭的过程中，当冰箱门20相对于冷藏柜本体10的角度为预定角度(如45°)时，主控装置控制第四摄像头4和第五摄像头5同时动作，得到冷藏柜本体10整体空间的储物图像以及冰箱门20内侧整体空间的储物图像。

在上述相应摄像头动作的预定时间段内，主控装置还采集各相应摄像头获得的图像并将其存储为预定的格式(如jpeg格式)，当用户将冰箱门20关闭后，主控装置将这一周期内(从打开冰箱门到关闭冰箱门的时间段内)获得的三幅图像(第一隔层空间101的微观图像、冷藏柜本体10的整体图像以及冰箱门20内侧的整体图像)传输至云端图像识别系统，由云端图像识别系统根据这些图像获得第一隔层空间101的储物状态以及冰箱门20内侧的储物状态。

用户取出食品时主控装置的工作情形与上述类似，若有多个隔层空间涉及取放动作，所得到的图像数量也相应增加。此外，若是用户打开冰箱后，并未在冷藏柜本体10中取放食品，而仅仅在冰箱门20内侧进行取放动作，此时，主控装置并不控制相应摄像头获取隔层空间的微观图像，整个周期内的图像为两幅整体空间的储物图像；若是用户仅仅打开一个很小的角度(可以预设)，且既不在冷藏柜本体10中进行取放动作也不在冰箱门20内侧进行取放动作(这种情形下，通常是用户人工查看冰箱内部状态的情形)，此时，整个周期中，无需获取任何储物图像。

另外，云端图像识别系统获取每个周期的图像(组)后，可以及时处理，获得相应隔层空间和冰箱门20内侧位置的储物状态信息，例如可以得出第一个隔层空间101有几个苹果，冰箱门20内侧有几个鸡蛋，云端图像识别系统将识别后的信息反馈给主控装置，主控装置通过其显示模块以图形化的方式将该信息呈现给用户，并且可以根据相应品类的保质期提醒用户及时用完。云端图像识别系统处理得到的信息也可以发送给用户的终端上，这样用户能够及时得知冰箱中的相关状态，以及得到相关提醒；此外，云端图像识别系统也可以将获得的图像直接转发给用户终端，这样用户终端也能够更加直观地查看冰箱中的储物状态，而且这在图像识别系统难以有效识别某些图像时更能提供有效的辅助。

图2示出了根据本发明实施例的用于智能冷藏设备的信息交换系统200的概览图。

根据本发明的实施例，整体方案的信息交换系统200可以包括智能冷藏设备210、服务器220、网络330和至少一个终端设备241和242。网络230用来在智能冷藏设备210、服务器220和终端设备241、242之间提供通信链路的介质。网络可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备241、242通过网络230与智能冷藏设备210或者服务器220交互，以接收或发送消息等。终端设备241、242上可以安装有各种客户端应用，例如智能冷藏设备210的客户端应用，购物类应用等。

智能冷藏设备210可以是具有显示屏并且支持网络连接的智能冷藏设备，包括但不限于冰箱、冰柜和冷库等。终端设备241、242可以是具有显示屏的各种电子设备，例如智能手机、平板电脑、电子书阅读器、MP3播放器、MP4播放器、膝上型便携计算机和台式计算机等等。

智能冷藏设备210可对终端设备241和242上显示的智能冷藏设备客户端类应用提供数据支持。

服务器220可以是提供各种服务的服务器，例如对各终端设备241、242上显示的数据提供支持的后台服务器。后台服务器可以对接收到的请求等数据进行分析等处理，并将处理结果(例如图像识别结果和添加的标签)反馈给终端设备241、242。

图3示出了根据本发明实施例的智能冷藏设备的功能模块框图。

智能冷藏设备可以包括图像采集组件301、处理组件302、呈现组件303和输入组件304。其中，图像采集组件301用于采集置于智能冷藏设备内物品的图像，并向处理组件302发送采集的图像。其中，图像采集组件301可以是上文参考图1描述的相机或相机组合。处理组件可以是任意类型的处理器，例如通用处理器、专用处理器、可编程处理器等。呈现组件303可以是任意类型的显示器，例如液晶显示、LED显示器等。输入组件304可以是任意类型的输入设备，例如字母数字输入键盘。在一个实施例中，输入组件304可以是触摸输入设备，从而输入组件304和呈现组件303可以一体形成。

处理组件302用于获取图像采集组件301采集的图像，并对图像中的物品添加标签，形成已添加便签的图像，并向呈现组件发送已添加标签的图像。处理组件320还可以响应于接收到用户对已添加标签的图像中物品的点击操作，设定已添加标签的物品的预设保质期，并且可以响应于已添加标签的物品的存储时长距预设保质期的差值小于预设的提醒时长，向呈现组件303发送提醒保质期信息。

在一个实施例中，为了便于接收用户输入的预设保质期，处理组件302可以被配置用于响应于接收到用户对已添加标签的图像中物品的点击操作，向呈现组件303发送对应点击操作的已添加标签的物品的图像和已添加标签的物品的输入窗口，响应于接收到用户经由输入组件304向输入窗口输入预设保质期的输入操作，设定已添加标签的物品的预设保质期。

在一个实施例中，为了进一步向用户确认预设保质期，处理组件302可以被配置用于响应于接收对已添加标签的图像中的物品的点击操作，向呈现组件303发送对应点击操作的已添加标签的物品的图像和已添加标签的物品的建议保质期，响应于接收到用户经由输入组件304对建议保质期的确认操作，设定已添加标签的物品的预设保质期，这里，建议保质期根据类别和数据库中预设的与类别关联的保质期来确定。例如，蔬菜类的保质期可以默认设置为一星期，水果类可以默认设置为两个星期，但不限于此。

在一个实施例中，为了便于用户调整预设保质期，处理组件302可以被配置用于响应于接收到用户对已添加标签的图像中物品的点击操作，向呈现组件303发送对应点击操作的已添加标签的物品的图像和已添加标签的物品的建议保质期的范围选择滑动条，以及响应于接收到对范围选择滑动条的拖动操作，根据拖动操作的终点设定已添加标签的物品的预设保质期。同样，建议保质期根据类别和数据库中预设的与类别关联的保质期来确定。

在一个实施例中，为了便于用户消除设定保质期，上述处理组件302还可以被配置用于响应于接收用户输入的对预设保质期的消除设定指令，消除设定预设保质期，并向呈现组件303发送成功取消设定保质期信息。

在一个实施例中，上述的处理组件302还可以配置用于接收以下经智能冷藏设备300的输入组件304输入的一项或多项：点击操作、确认操作、输入操作、拖动操作和消除设定指令，以及向智能冷藏设备300的呈现组件303发送以下一项或多项信息：已添加标签的图像、对应点击操作的已添加标签的物品的图像和建议保质期、提醒保质期信息、对应点击操作的已添加标签的物品的图像和已添加标签的物品的输入窗口、对应点击操作的已添加标签的物品的图像和已添加标签的物品的建议保质期的范围选择滑动条、成功取消设定保质期信息。

相应地，输入组件304被配置用于接收上述一项或多项操作，向处理组件发送上述一项或多项操作。并且，呈现组件303被配置用于接收处理组件302发送的上述一项或多项信息，呈现上述一项或多项信息。该实现方式拓展了智能冷藏设备的输入和呈现方式，进一步提高了用户和智能冷藏设备交互的便捷性。

具体地，呈现组件303可以被配置用于呈现已被添加标签物品的图像以及呈现提醒保质期信息。

在一个实施例中，呈现组件303还可以被配置用于：呈现上述对应点击操作的已添加标签的物品的图像和已添加标签的物品的输入窗口。或者，呈现上述对应点击操作的已添加标签的物品的图像和建议保质期。或者，呈现上述对应点击操作的已添加标签的物品的图像和已添加标签的物品的建议保质期的范围选择滑动条。或者，响应于接收成功取消设定保质期信息，呈现成功取消设定保质期信息

输入组件304可以用于接收对已添加标签的图像中的物品的点击操作，向处理组件302发送点击操作。在这里，输入组件可以为智能冷藏设备上预先设置的用于输入指令的设备，例如键盘、触摸板、触摸屏等。当输入组件304为触摸屏、呈现组件303为显示屏时，呈现组件304和输入组件303可以合二为一，集成在智能冷藏设备的屏幕上。

输入组件304在接收用户输入的对图像中的物品的保质期的设定指令时，为了简化设定保质期的步骤，可以直接接收用户输入的对图像中的物品的点击操作，之后向处理组件302发送点击操作，由处理组件根据点击操作，触发设定已添加标签的物品的预设保质期。

具体地，输入组件304可以配置用于：接收上述点击操作，向处理组件302发送上述点击操作，以及接收上述输入操作，向处理组件302发送上述输入操作。或者，接收上述点击操作，向处理组件发送上述点击操作，以及接收上述确认操作，向处理组件302发送上述确认操作。或者，接收上述点击操作，向处理组件302发送上述点击操作，以及接收上述拖动操作，向处理组件302发送上述拖动操作。或者，接收上述消除设定指令，向处理组件302发送上述消除设定指令。

在具体使用过程中，在用户从智能冰箱中取用完毕物品关门时，设置于冰箱门内和冰箱箱体内的摄像头采集冰箱内物品的图像，并向冰箱的处理器发送拍摄的图像。之后，处理器对图像进行去重、分割、识别等处理后，得到对图像中的物品的识别结果，并根据识别结果对已识别的图像中的物品添加标签。其中，标签可以包括拍摄时间、身份标识号和按照保质期区分的物品类别。

此时，例如，响应于接收到用户对已添加标签的图像中物品的点击操作，触摸显示屏上呈现对应点击操作的已添加标签的物品的图像和已添加标签的物品的建议保质期的范围选择滑动条，响应于接收到对范围选择滑动条的拖动操作，根据拖动操作的终点设定已添加标签的物品的预设保质期。以识别到的物品苹果为例，可以在数据库的历史标签中检索与本次拍摄的苹果具有同一身份标识号的图像并确定与本次拍摄的苹果具有同一身份标识号的图像的首次拍摄时间，之后确定本次拍摄时间与首次拍摄时间的间距时长，判断间距时长距预设保质期的差值是否小于预设的提醒时长，若小于，在触摸显示屏上显示苹果的保质期提醒信息、保质期时限信息(例如何时过期)和从拍摄的图像中得到的与苹果的身份标识号对应的图像信息。

图4示出了根据本发明实施例的用于智能冷藏设备的方法400的流程图。如图4所示，在步骤401，获取包括智能冷藏设备内的物品的图像；在步骤402，对所述物品添加包括图像拍摄时间和身份标识号的标签；在步骤403，设定物品的预设保质期；在步骤404，检索具有与所述物品相同的身份标识号的最早图像及其拍摄时间，根据当前图像的拍摄时间和最早图像的拍摄时间来确定所述物品的存储时长；以及在步骤405，响应于所述物品的存储时长距所述物品的预设保质期的差值小于预设的提醒时长，呈现所述物品的保质期提醒信息。

在一个实施例中，所述标签还可以包括物品的类别。

在一个实施例中，步骤402设定物品的预设保质期可以包括以下至少一项：呈现所述物品的图像和输入窗口，响应于接收到在输入窗口中的输入操作，设定所述物品的预设保质期；呈现所述物品的图像和建议保质期，响应于接收到对建议保质期的确认操作，设定所述物品的预设保质期；呈现所述物品的图像和建议保质期的范围选择滑动条，响应于接收到对范围选择滑动条的拖动操作，设定所述物品的预设保质期；以及响应于接收到对预设保质期的消除设定指令，消除预设保质期。

此外，在一个实施例中，所述建议保质期可以根据所述物品的类别和预设的与类别关联的保质期来确定。

采用本发明的方案后，用户可以及时方便地获知智能冷藏设备中的物品的保质期情况，并且用户还可以灵活地设置物品的预计保质期。这拓展了冷藏设备的智能化生活应用，用户与冷藏设备之间的交互更加便捷、人性化和智能化，有效提高了用户在冷藏设备上的使用体验。

以上方案仅是示出本发明构思的一个具体实现方案，本发明不限于上述实现方案。可以省略或跳过上述实现方案中的一部分处理，而不脱离本发明的精神和范围。

实施例中的方法可以通过多种计算机装置以可执的程序命令形式实现并记录在计算机可读记录介质中。在这种情况下，计算机可读记录介质可以包括单独的程序命令、数据文件、数据结构或其组合。同时，记录在记录介质中的程序命令可以专门设计或配置用于本发明，或是计算机软件领域的技术人员已知应用的。计算机可读记录介质包括例如硬盘、软盘或磁带等磁性介质、例如压缩盘只读存储器(CD-ROM)或数字通用盘(DVD)等光学介质、例如光磁软盘的磁光介质以及例如存储和执行程序命令的ROM、RAM、闪存等硬件装置。此外，程序命令包括编译器形成的机器语言代码和计算机通过使用解释程序可执行的高级语言。前面的硬件装置可以配置成作为至少一个软件模块操作以执行本发明的操作，并且逆向操作也是一样的。

尽管以特定顺序示出并描述了本文方法的操作，然而可以改变每个方法的操作的顺序，使得可以以相反顺序执行特定操作或使得可以至少部分地与其它操作同时来执行特定操作。此外，本发明不限于上述示例实施例，它可以在不脱离本公开的精神和范围的前提下，包括一个或多个其他部件或操作，或省略一个或多个其他部件或操作。

以上已经结合本发明的优选实施例示出了本发明，但是本领域的技术人员将会理解，在不脱离本发明的精神和范围的情况下，可以对本发明进行各种修改、替换和改变。因此，本发明不应由上述实施例来限定，而应由所附权利要求及其等价物来限定。