《智能货柜内货品识别方法及装置、智能货柜》涉及货柜技术领域，具体涉及一种智能货柜内货品识别方法及装置、智能货柜。

图1是《智能货柜内货品识别方法及装置、智能货柜》实施例一中的一种智能货柜内货品识别方法的流程示意图；

图2是《智能货柜内货品识别方法及装置、智能货柜》的服务器、重量传感器、货品识别指令发送单元和图像采集设备之间的通信示意图；

图3是《智能货柜内货品识别方法及装置、智能货柜》的包含步骤500的智能货柜内货品识别方法的流程示意图；

图4是《智能货柜内货品识别方法及装置、智能货柜》的智能货柜内货品识别方法中步骤100的流程示意图；

图5是《智能货柜内货品识别方法及装置、智能货柜》中包含步骤600的智能货柜内货品识别方法的流程示意图；

图6是《智能货柜内货品识别方法及装置、智能货柜》中服务器、终端设备和智能货柜之间的交互示意图；

图7是《智能货柜内货品识别方法及装置、智能货柜》应用实例中的智能货柜内货品识别方法的逻辑流程图；

图8是《智能货柜内货品识别方法及装置、智能货柜》实施例二中的一种智能货柜内货品识别系统的结构示意图；

图9是《智能货柜内货品识别方法及装置、智能货柜》实施例三中的一种电子设备的结构示意图；

图10是《智能货柜内货品识别方法及装置、智能货柜》实施例五中的一种智能货柜的结构示意图。

智能货柜内货品识别方法及装置、智能货柜专利目的

《智能货柜内货品识别方法及装置、智能货柜》提供一种智能货柜内货品识别方法及装置、智能货柜，能够对智能货柜内的货品进行准确且快速的识别，仅需将把货品分类摆放即可，无需核对数量，有效节省了人力成本。

智能货柜内货品识别方法及装置、智能货柜技术方案

《智能货柜内货品识别方法及装置、智能货柜》提供以下技术方案：第一方面，该发明提供一种智能货柜内货品识别方法，所述货品识别方法包括：接收目标智能货柜的货品识别指令；采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品；以及，对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型；根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量。进一步地，所述智能货柜内货品识别方法还包括：基于所述目标智能货柜中发生变化的各类货品的类型和数量，更新该目标智能货柜的货品实时信息。进一步地，所述接收目标智能货柜的货品识别指令包括：接收针对所述目标智能货柜的用户身份识别信息或交易信息；向所述目标智能货柜发送柜门开启指令，使得所述目标智能货柜根据该柜门开启指令开启柜门的门锁；以及，接收所述目标智能货柜在柜门开启再关闭后发送的货品识别指令。进一步地，所述接收针对所述目标智能货柜的用户身份识别信息或交易信息，包括：接收用户通过用终端设备以扫描二维码的方式连接进入所述目标智能货柜对应的应用APP后，在该应用APP中发送的用户身份识别信息或交易信息；其中，所述二维码设置在所述目标智能货柜的外壁上。进一步地，所述接收针对所述目标智能货柜的用户身份识别信息或交易信息，包括：接收以人脸图像识别的方式获取的用户身份识别信息或交易信息；其中，所述人脸图像识别的方式包括：通过设置在所述目标智能货柜的外壁上的图像采集设备获取位于所述目标智能货柜外的用户的人脸图像，并对该人脸图像进行人脸图像识别。进一步地，所述采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，包括：控制设置在所述目标智能货柜内的多个图像采集设备采集所述目标智能货柜的内部货品图像，其中，不同的图像采集设备用于采集所述目标智能货柜中不同货架上的货品图像，且全部货架上的货品图像组成所述内部货品图像；以及，控制分别设置在所述目标智能货柜中各个货架上的重量传感器采集各个货架上的货品的重量变化值，其中，同一货架上摆放同一类型的货品。进一步地，所述对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型，包括：对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的货品的图像特征；以及，根据所述货品的图像特征和预设的货品图像特征库，确定所述目标智能货柜中数量发生变化的货品的类型；其中，所述货品图像特征库中存储有货品的类型和图像特征之间的对应关系。进一步地，所述根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，以及，预获取的货品重量库，计算得到所述目标智能货柜中数量发生变化的各类货品的数量初值；以及，根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量；其中，所述货品重量库中存储有货品的类型和货品重量之间的对应关系。

进一步地，所述根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：若所述各类货品的数量初值为整数，则直接将该数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量；若所述各类货品的数量初值为非整数，则根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量。进一步地，所述根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：判断所述数量初值的小数部分的数值是否处于允许误差范围内；若是，则将该数量初值进行四舍五入，并将四舍五入后的值确定所述目标智能货柜中数量发生变化的各类货品的数量；若否，则向用户的终端设备发送货品确认指令。进一步地，所述更新该目标智能货柜的货品实时信息，包括：在所述目标智能货柜对应的应用APP中更新该目标智能货柜的货品实时信息。进一步地，所述货品识别方法还包括：若检测获知所述目标智能货柜中的某类货品的数量低于对应的补货阈值，则向补货人员的终端设备发送补货告知信息。第二方面，《智能货柜内货品识别方法及装置、智能货柜》提供一种智能货柜内货品识别系统，所述货品识别系统包括：货品识别指令接收模块，用于接收目标智能货柜的货品识别指令；图像及重量采集模块，用于采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品；增减货品类型识别模块，用于对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的货品的类型；增减货品数量识别模块，用于对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。第三方面，《智能货柜内货品识别方法及装置、智能货柜》提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现所述智能货柜内货品识别方法的步骤。第四方面，《智能货柜内货品识别方法及装置、智能货柜》提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述智能货柜内货品识别方法的步骤。第五方面，该发明提供一种智能货柜，所述智能货柜与所述的电子设备通信。

智能货柜内货品识别方法及装置、智能货柜改善效果

《智能货柜内货品识别方法及装置、智能货柜》提供的智能货柜内货品识别方法，通过接收目标智能货柜的货品识别指令；采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品；以及对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型；根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量，能够对智能货柜内的货品进行准确且快速的识别，仅需将把货品分类摆放即可，无需核对数量，有效节省了人力成本，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。

智能货柜泛指以自助售货机的形式销售商品的智能货柜，通常占地面积在1～2平方米左右，一般采取无现金交易和普通货币交易。例如：自助橙子机、自助咖啡机、自助冰淇淋机、自助便当机、传统的无人自助售货机等；由于智能货柜的无人贩售的特性，需要补货人员定期查询进行补货，以使得智能货柜能够随时满足用户的购满需求。截至2018年3月，已有的针对智能货柜中货品识别的方式，通常为需要补货人员在补货前挨个登记商品信息，并在补货过程中按照原标记将不同类型的货品摆放在对应的位置以及记录货品的更新情况，并在补货完毕以人工手动录入或者外在文件导入的方式将货品更新情况输入该智能货柜对应的货柜商品管理系统中。然而，2018年3月以前的针对智能货柜中货品识别的方式，准确程度差，且补货时需要对货品进行一一核对，需要耗费大量人力和时间成本。

1.《智能货柜内货品识别方法及装置、智能货柜》的特征在于，所述货品识别方法包括：接收目标智能货柜的货品识别指令；采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，包括：控制设置在所述目标智能货柜内的多个图像采集设备采集所述目标智能货柜的内部货品图像，其中，不同的图像采集设备用于采集所述目标智能货柜中不同货架上的货品图像，且全部货架上的货品图像组成所述内部货品图像；以及，控制分别设置在所述目标智能货柜中各个货架上的重量传感器采集各个货架上的货品的重量变化值，其中，同一货架上摆放同一类型的货品；其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品；以及，对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型；根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，以及，预获取的货品重量库，计算得到所述目标智能货柜中数量发生变化的各类货品的数量初值，其中，所述货品重量库中存储有货品的类型和货品重量之间的对应关系；根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量。

2.根据权利要求1所述的货品识别方法，其特征在于，所述智能货柜内货品识别方法还包括：基于所述目标智能货柜中发生变化的各类货品的类型和数量，更新该目标智能货柜的货品实时信息。

3.根据权利要求1所述的货品识别方法，其特征在于，所述接收目标智能货柜的货品识别指令包括：接收针对所述目标智能货柜的用户身份识别信息或交易信息；向所述目标智能货柜发送柜门开启指令，使得所述目标智能货柜根据该柜门开启指令开启柜门的门锁；以及，接收所述目标智能货柜在柜门开启再关闭后发送的货品识别指令。

4.根据权利要求3所述的货品识别方法，其特征在于，所述接收针对所述目标智能货柜的用户身份识别信息或交易信息，包括：接收用户通过用终端设备以扫描二维码的方式连接进入所述目标智能货柜对应的应用APP后，在该应用APP中发送的用户身份识别信息或交易信息；其中，所述二维码设置在所述目标智能货柜的外壁上。

5.根据权利要求3所述的货品识别方法，其特征在于，所述接收针对所述目标智能货柜的用户身份识别信息或交易信息，包括：接收以人脸图像识别的方式获取的用户身份识别信息或交易信息；其中，所述人脸图像识别的方式包括：通过设置在所述目标智能货柜的外壁上的图像采集设备获取位于所述目标智能货柜外的用户的人脸图像，并对该人脸图像进行人脸图像识别。

6.根据权利要求1所述的货品识别方法，其特征在于，所述对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型，包括：对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的货品的图像特征；以及，根据所述货品的图像特征和预设的货品图像特征库，确定所述目标智能货柜中数量发生变化的货品的类型；其中，所述货品图像特征库中存储有货品的类型和图像特征之间的对应关系。

7.根据权利要求1所述的货品识别方法，其特征在于，所述根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：若所述各类货品的数量初值为整数，则直接将该数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量；若所述各类货品的数量初值为非整数，则根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量。

8.根据权利要求7所述的货品识别方法，其特征在于，所述根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：判断所述数量初值的小数部分的数值是否处于允许误差范围内；若是，则将该数量初值进行四舍五入，并将四舍五入后的值确定所述目标智能货柜中数量发生变化的各类货品的数量；若否，则向用户的终端设备发送货品确认指令。

9.根据权利要求2所述的货品识别方法，其特征在于，所述更新该目标智能货柜的货品实时信息，包括：在所述目标智能货柜对应的应用APP中更新该目标智能货柜的货品实时信息。10.根据权利要求1所述的货品识别方法，其特征在于，所述货品识别方法还包括：若检测获知所述目标智能货柜中的某类货品的数量低于对应的补货阈值，则向补货人员的终端设备发送补货告知信息。

11.《智能货柜内货品识别方法及装置、智能货柜》的特征在于，所述货品识别系统包括：货品识别指令接收模块，用于接收目标智能货柜的货品识别指令；图像及重量采集模块，用于采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，包括：控制设置在所述目标智能货柜内的多个图像采集设备采集所述目标智能货柜的内部货品图像，其中，不同的图像采集设备用于采集所述目标智能货柜中不同货架上的货品图像，且全部货架上的货品图像组成所述内部货品图像；以及，控制分别设置在所述目标智能货柜中各个货架上的重量传感器采集各个货架上的货品的重量变化值，其中，同一货架上摆放同一类型的货品；其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品；增减货品类型识别模块，用于对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型；增减货品数量识别模块，用于根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量，包括：根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，以及，预获取的货品重量库，计算得到所述目标智能货柜中数量发生变化的各类货品的数量初值，其中，所述货品重量库中存储有货品的类型和货品重量之间的对应关系；根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量。

12.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至10任一项所述智能货柜内货品识别方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至10任一项所述智能货柜内货品识别方法的步骤。

14.一种智能货柜，其特征在于，所述智能货柜与权利要求12所述的电子设备通信。

《智能货柜内货品识别方法及装置、智能货柜》的实施例一提供一种智能货柜内货品识别方法的具体实施方式，参见图1，所述智能货柜内货品识别方法具体包括如下内容：步骤100：接收目标智能货柜的货品识别指令。在该实施例中，参见图2，所述智能货柜内货品识别方法的执行主体为一种服务器，该服务器可以设置在智能货柜内部，也可以对多个智能货柜进行远程管理，另外，在所述智能货柜中还设置有货品识别指令发送单元和图像采集设备，所述货品识别指令发送单元、图像采集设备和重量传感器分别与服务器通信连接，可以理解的是，所述图像采集设备可以为摄像头，所述货品识别指令发送单元用于在接收到货品识别指令后，向所述服务器发送货品识别指令。在一种具体举例中，所述货品识别指令发送单元可以为位移传感器，且位移传感器的两部分分别为设置在所述智能货柜的柜门上器件一以及设置在所述智能货柜内壁上靠近所述器件一的器件二，当柜门被打开时，器件一和器件二之间的位移超过预设阈值，则所述位移传感器记录柜门发生一次开启，当器件一和器件二之间的位移超过预设阈值之后，器件一和器件二之间的位移又小于或等于预设阈值后，则所述位移传感器记录柜门发生一次关闭，在所述位移传感器连续检测到所述智能货柜的柜门发生一次开启和一次关闭后，所述位移传感器向所述服务器发送货品识别指令。当然，所述智能货柜的柜门发生一次开启和一次关闭的情形中，也包括柜门虽然被打开，但并未发送货品变化的情形，因此，所述货品识别指令实际可以理解为：只要智能货柜内的货品疑似发生变化的情形，即向所述服务器发送货品识别指令，如此设置，一方面能够保证服务器能够及时获知智能货柜的货品变化情况，另一方面，服务器每次都在接收到货品识别指令后才获知智能货柜的货品变化情况，有效减少了智能货柜内部的图像采集设备及服务器的运行损耗，进而能够提高智能货柜内部的图像采集设备及服务器的使用寿命。步骤200：采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品。 在步骤200中，所述服务器控制所述目标智能货柜内的图像采集设备采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值。所述采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，具体包含如下内容：控制设置在所述目标智能货柜内的多个图像采集设备采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值；其中，不同的图像采集设备用于采集所述目标智能货柜中不同货架上的货品图像。可以理解的是，每个智能货柜内的图像采集设备均能够采集到有当前目标智能货柜中的全部货品，因此，每个智能货柜内的图像采集设备可以设置为多个。在一种具体实施方式中，所述步骤200具体包括如下内容：控制设置在所述目标智能货柜内的多个图像采集设备采集所述目标智能货柜的内部货品图像，其中，不同的图像采集设备用于采集所述目标智能货柜中不同货架上的货品图像，且全部货架上的货品图像组成所述内部货品图像；以及，控制分别设置在所述目标智能货柜中各个货架上的重量传感器采集各个货架上的货品的重量变化值，其中，同一货架上摆放同一类型的货品。在一种具体举例中，一个智能货柜中一般均包含有多层货架，且各层货架的两侧及上方均可以设有多个图像采集设备，以保证，每个智能货柜内的图像采集设备均能够采集到有当前目标智能货柜中的全部货品，同时，为了保证获取图像的清晰程度，每个图像采集设备上均可以对应的照明设备。步骤300：对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。在步骤300中，所述服务器接收所述图像采集设备发送的内部货品图像，并对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型，通过这种图像识别方式，使得补货人员在补货的过程中，无需在指定的位置摆放商品，使得补货过程更加快速且便捷。

在一种具体举例中，所述步300具体包括如下内容：步骤301：对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的货品的图像特征。步骤302：根据所述货品的图像特征和预设的货品图像特征库，确定所述目标智能货柜中数量发生变化的货品的类型；其中，所述货品图像特征库中存储有货品的类型和图像特征之间的对应关系。可以理解的是，所述对所述内部货品图像进行图像识别（image recognition method）为利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术，即利用软件根据图片灰阶差做进一步识别处理，具体可以基于神经网络进行图像识别、基于小波矩进行图像识别或者基于分形特征进行图像识别。其中，基于神经网络进行图像识别的过程可以由预处理，特征提取和神经网络分类器组成，预处理就是将原始数据中的无用信息删除，平滑，二值化和进行幅度归一化等；基于小波矩进行图像识别的过程可以通过将输入二维二值图像的不变矩阵作为识别特征，运用BP网络进行识别，将输入图像经过归一化处理，极坐标化，旋转不变小波矩特征提取后，送入BP网络分类器进行识别，获得识别结果；基于分形特征进行图像识别的过程可以包含红外图像预处理、红外图像分形特征提取和基于神经网络的红外图像识别。步骤400：根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量。在步骤400中，所述服务器控制所述目标智能货柜中的重量传感器采集各货架的重量，各重量传感器将重量与前一次采集相比的重量变化值发送至所述服务器，若存在重量未发生变化的货架，则其对应的重量变化值为0。另外，在该实施例中，步骤300和步骤400的执行顺序可根据实际应用情形设定为任意顺序。

在一种具体举例中，一个智能货柜中一般均包含有多层货架，且各层货架的底端均设有至少一个重量传感器，且各个重量传感器均与服务器通信。例如，在下端设有重量传感器的货架上存在货物时，在重力作用下，通过作为承载器的货架将重力传递至重量传感器，使重量传感器的弹性体产生变形，贴附于弹性体上的应变计桥路失去平衡，输出与重量数值成正比例的电信号，经线性放大器将信号放大；再经A/D转换为数字信号，由仪表的微处理机（CPU）对重量信号进行处理后直接显示重量数据，并将重量数据发送至服务器。 从上述描述可知，《智能货柜内货品识别方法及装置、智能货柜》的实施例提供的智能货柜内货品识别方法，能够对智能货柜内的货品进行准确且快速的识别，仅需将把货品分类摆放即可，无需核对数量，有效节省了人力成本，补货过程更加快速且便捷，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。

在一种具体实施方式中，参见图3，该发明还提供一种在智能货柜内货品识别方法中的步骤400之后执行的步骤500，所述步骤500具体包括如下内容：步骤500：基于所述目标智能货柜中发生变化的各类货品的类型和数量，更新该目标智能货柜的货品实时信息。在步骤500中，所述服务器基于所述目标智能货柜中发生变化的各类货品的类型和数量，在该目标智能货柜对应的数据库中更新该目标智能货柜的货品实时信息。在一种应用实例中，所述更新该目标智能货柜的货品实时信息具体可以包括：在所述目标智能货柜对应的应用APP中更新该目标智能货柜的货品实时信息。从上述描述可知，《智能货柜内货品识别方法及装置、智能货柜》的实施例提供的智能货柜内货品识别方法，通过更新目标智能货柜的货品实时信息，解决了无人货柜商品管理系统的对应的数据，在补货的时候需要人工手动录入或者外在文件导入，不利于系统数据快速更新迭代的业务增长需求，且存在重复多余的人力资源浪费的问题。在一种具体实施方式中，参见图4，该发明还提供一种在智能货柜内货品识别方法中的步骤100的第一种具体实施方式，所述步骤100具体包括如下内容：步骤101：接收针对所述目标智能货柜的用户身份识别信息或交易信息。在一种具体实施方式中，所述步骤101具体包括如下内容：所述服务器接收用户通过用终端设备以扫描二维码的方式连接进入所述目标智能货柜对应的应用APP后，在该应用APP中发送的用户身份识别信息或交易信息；其中，所述二维码设置在所述目标智能货柜的外壁上。在另种具体实施方式中，所述步骤101具体包括如下内容：接收以人脸图像识别的方式获取的用户身份识别信息或交易信息；其中，所述人脸图像识别的方式包括：通过设置在所述目标智能货柜的外壁上的图像采集设备获取位于所述目标智能货柜外的用户的人脸图像，并对该人脸图像进行人脸图像识别。步骤102：向所述目标智能货柜发送柜门开启指令，使得所述目标智能货柜根据该柜门开启指令开启柜门的门锁。步骤103：接收所述目标智能货柜在柜门开启再关闭后发送的货品识别指令。

《智能货柜内货品识别方法及装置、智能货柜》的实施例提供的智能货柜内货品识别方法，通过扫描二维码方式和内置的摄像头拍照系统，动态实时获取商品图像信息，自动上报货柜的实时图像，通过图像识别，实现全程智能化、自动化货品补录机制，实现精准商品数据管控方案；解放传统零售无人柜在补货的过程中带来的人力资源、时间资源等浪费现象；进一步为无人柜零售行业提供高效便捷的解决方案。在一种具体实施方式中，参见图5，《智能货柜内货品识别方法及装置、智能货柜》还提供一种在智能货柜内货品识别方法中的步骤600的具体实施方式，所述步骤600具体在步400之后执行，所述步骤600具体包括如下内容：步骤600：若检测获知所述目标智能货柜中的某类货品的数量低于对应的补货阈值，则向补货人员的终端设备发送补货告知信息。从上述描述可知，《智能货柜内货品识别方法及装置、智能货柜》的实施例提供的智能货柜内货品识别方法，能够更加准确且可靠地实现对智能货柜内货品的及时补货，并能够准确对所述用户身份识别信息进行验证，保证了智能货柜补货及交易的安全性和可靠性。在一种具体实施方式中，《智能货柜内货品识别方法及装置、智能货柜》还提供一种在智能货柜内货品识别方法中的步骤400的具体实施方式，所述步骤400具体包括如下内容：步骤401：根据所述目标智能货柜中数量发生变化的各类货品的类型和对应的重量变化值，以及，预获取的货品重量库，计算得到所述目标智能货柜中数量发生变化的各类货品的数量初值；其中，所述货品重量库中存储有货品的类型和货品重量之间的对应关系。步骤402：根据所述各类货品的数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量。在步骤402中，若所述各类货品的数量初值为整数，则所述服务器直接将该数量初值确定所述目标智能货柜中数量发生变化的各类货品的数量；若所述各类货品的数量初值为非整数，则所述服务器根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量。其中，所述根据所述数量初值的小数部分的数值确定所述目标智能货柜中数量发生变化的各类货品的数量，具体包括如下内容：判断所述数量初值的小数部分的数值是否处于允许误差范围内；若是，则将该数量初值进行四舍五入，并将四舍五入后的值确定所述目标智能货柜中数量发生变化的各类货品的数量；若否，则向用户的终端设备发送货品确认指令。

另外，参见图6，从服务器和智能货柜的交互角度来看，《智能货柜内货品识别方法及装置、智能货柜》的智能货柜内货品识别方法具体包括如下内容：（1）用户使用终端设备扫描设置在智能货柜上的二维码，在移动终端内进入二维码对应的APP中，并在APP中输入身份信息，移动终端将输入至APP内的用户身份识别信息发送至服务器。（2）服务器对该用户身份识别信息进行验证，并在验证成功后向所述目标智能货柜发送柜门开启指令。（3）所述目标智能货柜接收所述柜门开启指令后，开启柜门的门锁，并在柜门开启再关闭后向所述服务器发送的货品识别指令。（4）所述服务器接收所述货品识别指令，并向所述目标智能货柜的摄像头发送拍照指令，并向所述目标智能货柜的重量传感器发送重量采集指令。（5）所述目标智能货柜的摄像头根据所述拍照指令进行货品图像采集，并将采集得到的内部货品图像发送至服务器；以及，所述目标智能货柜的重量传感器根据所述重量采集指令进行货品重量采集，并将采集得到的重量变化值发送至服务器。（6）所述服务器对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型，根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量，并基于所述目标智能货柜中发生变化的各类货品的类型和数量，更新数据库中的目标智能货柜的货品实时信息。（7）所述服务器将更新后的目标智能货柜的货品实时信息发送至所述APP中，便于身体验证成功的用户查看。

为进一步的说明本方案，《智能货柜内货品识别方法及装置、智能货柜》还提供一种智能货柜内货品识别方法的具体应用实例，参见图7，具体包括如下内容：S1、补货人员登录补货APP，扫码开门；S2、补货人员将商品摆放到货架上，同一个重力传感器对应的货架或托盘内只摆放一种商品；S3、关门；S4、启动摄像头工作，拍摄货架图片发送至服务器，服务器进行图像分析处理和比对，获取每个货架内增减的商品品类；同时关门后，主控板查询重量传感器的重量变化值，并发送至服务器；S5、服务器获取重量变化后，调用商品数据库，通过该货架内商品的总重量变化除以单个商品的重量，进一步计算出每个货架内增减商品的数量；S6、服务器自动发送补货商品的品类和数量到补货APP。为了加深对本专利的理解，下面对上述方案进行详细描述。所述货架或托盘用于摆放货商品，每个货架或托盘内置至少一个重量传感器，并将货架或托盘进行有序编号，同一个序号对应的货架或托盘内只摆放一种商品，即同样的名称和重量的商品；进一步地，所述货架或托盘内摆放的货品也可以根据形状或形态进行大致分区，或者根据当前区域人群的购物习惯进行区间定制，例如，一二层摆放饮料乳品类，三层摆放面包类，四层摆放休闲零食；或者，一层左侧的托盘内摆放饮料，一层右侧的托盘摆放乳制品；二层左侧托盘摆放面包，二层右侧托盘摆放饼干；所述摄像头分布安装在每层搁架的两侧、搁架前后方或搁架顶部的至少任一个位置；所述商品数据库，至少包含每个商品的名称、数量和单价，还可以包含商品的品类、净含量、包装方式、重量允许误差、商品最低数量、商品是否充足、商品保质期等其中的任意一个或多个信息；所述S4中，图像识别的方式如下：通过图像采集的方式，将食品随意摆放在货柜上，将每组图片的食材进行人工标记，提取食材特征，建立食材特征数据库；通过重复的、大量的食材特征对食材进行特征训练；将图片进行处理，建立图像识别算法模型；根据食材特征识别出终端发送的图片中的食材；将关门前后的每层搁架中食材进行比对，识别出变化的食材名称和数量；所述S5中的计算方式，结果不是整数时，采用四舍五入的方式获取商品数量；所述S5中的计算方式，结果若不是整数时，进一步地，当小数点后的数值在一定范围内，进一步地，这个范围可以选取为4-6，则表示该商品的实际重量与商品标示重量之间的误差较大，可以提示补货人员进行人工确认，以避免补货商品数量统计错误；进一步地，示例如下：如某方便面的包装标示重量为110克，补货员新放入托盘1内该方便面10桶，若该方便面的实际测试重量与110克偏差较大，例如每桶平均偏重5克，则重量传感器检测到托盘1内重量变化可能为1150克，服务器通过图像比对获取到托盘1内摆放的商品为某方便面，同时获取到重量传感器传送来的重量变化为1150克，服务器调用商品数据库，获取该方便面的包装标示重量为110克，计算1150除以110，得到托盘1内方便面数量为10.46桶，该数值小数点后的数值在4-6之间，则判断误差较大，请补货人员确认托盘1内方便面的数量，若补货人员不进行处理，则按照四舍五入，确定补货员在托盘1内放入某方便面10桶。以上为比较极端的情况下的处理方式，一般情况下，当商品包装标示重量与实际测量重量误差较小时，

例如上述示例中，若每桶方便面的实际测试重量比包装标示重量平均偏重1克，则重量传感器检测到托盘1内重量变化可能为1110克，采用上述同样的处理方式，服务器经计算得到托盘1内方便面数量为10.09桶，小数点后数字不在4-6之间，则四舍五入确定补货员在托盘1内放入某方便面10桶，不需要补货员确认，可自动生成补货清单。所述重量允许误差，为每个商品的实际测量重量与包装标示重量之间可以接受的误差范围，由工作人员选取一定数量的商品标本进行实际测试后人为设置，重量允许误差也可以不设置，不设置则默认为0；所述重量变化若为负值，则表示补货员从货架或托盘上取出商品，则从货品清单上相应地减去该商品的库存；所述图像识别，若判定食品当前摆放位置与上一次图像结果不一致，且检测上次图像识别结果，判断该商品是否为新商品，若是，则在商品库存和补货清单中增加该商品数据；若不是，则将该食品上一次摆放位置的重量传感器数值置换到当前位置；进一步地，举例说明，若某品牌可乐在上次补货时是摆在托盘1位置，本次补货后，经云端图片识别发现该品牌可乐摆在托盘2位置，则将托盘1的上次重量直接移植到托盘2上，通过托盘2内的重量变化判定当前补货商品数量；其他位置以此类推。另外，《智能货柜内货品识别方法及装置、智能货柜》的应用实例还包括一种补货的提醒方法：将货柜内的每个商品设置最低数量值Kn（Kn为自然数），通过上述步骤检测到货柜内每个商品的当前数量Qn后，比较Qn与Kn的大小：若Qn＝0，则提示缺货；若0

如表1所示，服务器根据当前区域人群以往的购物数据和习惯，设置每个商品的最低要求数量，该区域人员对方便面和可乐的需求较高，故某方便面C和某可乐A的最低数量要求为3，其余商品最低数量为1，根据图2可见，某方便面C的当前库存为2，低于方便面的最低数量要求3，显示数量不足；某可乐A的当前库存为0，显示缺货；此时，服务器会发送补货提醒到补货人员的客户端，补货人员接收到补货清单提醒后，通过补货客户端查看补货提醒和当前货柜内所有商品库存，再带领足够的货品去进行补货。

如表2所示，补货人员登陆补货APP，并扫描货柜二维码开门，将货品放入货柜内，所有商品摆放完毕，关门离开。此时服务器通过图像识别判定货架1、2、3、4摆放的商品分别为某小面包B、某方便面C、某可乐A、某酸奶D，再通过货架内置的重量传感器发送的重量变化，判断货架1、2、3、4的重量变化分别为0、345克、2.64千克、1.4千克，服务器调用商品数据库，获取每个商品的单位重量，通过以下计算获取每个货架商品的补货数量：0/100＝0；345/115＝3；2640/330＝8；1400/200＝7；服务器将以上商品和重量信息发送给补货APP端和设备端（如有显示屏，补货人员登陆后可查看），补货人员即便已离开，依然随时可登陆补货APP查看补货详情。如图3的示例，若补货人员发现货柜内小面包剩余较多，且其摆在角落位置货架1上，补货人员临时将小面包摆放到原来某可乐A的中心位置货架3上，再将某可乐A摆放到小面包原来的货架1上，此时服务器通过图像识别判定货架1摆放的商品为某可乐A，货架3上摆放的商品为小面包，则将货架1和3的上一次重量数值进行对换后再根据上述方式计算两个货架的补货数量。另外，本应用实例中的补货APP也可以是安装在货柜的门体上，通过货柜显示屏进行显示，进一步地，补货员开门的方式除了扫码开门外，还可以是人脸识别开门；通过摄像头图像识别获取货品品名，通过重量传感器获取商品数量，识别顺序可以前后调整。

从上述描述可知，《智能货柜内货品识别方法及装置、智能货柜》的应用实例中的智能货柜内货品识别方法，通过货架内安装重量传感器的方式，获取货品的重量变化，通过货柜内安装摄像头的方式获取商品图片，并进行图片识别，进而获取货架上商品增减的品类；此方法不要求货品的摆放位置固定，可以随意将某一种货品摆放在任意一个货架或托盘上；根据货品的重量变化和品类变化，结合服务器的商品数据库信息，快速地计算出商品的补货详情，自动生成补货清单；当检测到货架内商品数量低于某个设定值时，服务器自动发送补货提醒给补货人员；当检测到货架内商品与上次不同时，直接调用商品上次摆放货架的重量值，更新数据；本应用实例中的智能货柜内货品识别方法，相对于传统的售货机的货品识别方法，在补货时，无需一一扫描商品条码，直接放入商品，关门离开即可；相对于新型的无人零售机，采用此方式，货品在货架内的摆放不再局限于某个货架只能摆放某一种指定商品，补货人员可以将某一种货品摆放在任意一个货架或托盘内，关门即可自动获取补货品类和数量；对于补货工作人员来说，方便快捷，补货效率高。该发明的实施例二提供一种能够实现上述智能货柜内货品识别方法全部内容的一种智能货柜内货品识别系统的具体实施方式，参见图8，所述智能货柜内货品识别系统具体包括如下内容：货品识别指令接收模块10，用于接收目标智能货柜的货品识别指令。图像及重量采集模块20，用于采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品。增减货品类型识别模块30，用于对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。增减货品数量识别模块40，用于对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。该发明提供的智能货柜内货品识别系统的实施例具体可以用于执行上述智能货柜内货品识别方法的实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。从上述描述可知，《智能货柜内货品识别方法及装置、智能货柜》的实施例提供的智能货柜内货品识别系统，能够对智能货柜内的货品进行准确且快速的识别，有效节省了人力成本，补货过程更加快速且便捷，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。

《智能货柜内货品识别方法及装置、智能货柜》的实施例三提供能够实现上述智能货柜内货品识别方法中全部步骤的一种电子设备的具体实施方式，参见图9，所述电子设备具体包括如下内容：处理器（processor）601、存储器（memory）602、通信接口（Communications Interface）603和总线604；其中，所述处理器601、存储器602、通信接口603通过所述总线604完成相互间的通信；所述通信接口603用于实现服务器及智能货柜中各种设备之间的信息传输；所述处理器601用于调用所述存储器602中的计算机程序，所述处理器执行所述计算机程序时实现上述实施例一中的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：步骤100：接收目标智能货柜的货品识别指令。步骤200：采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品。 步骤300：对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。步骤400：根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量。从上述描述可知，《智能货柜内货品识别方法及装置、智能货柜》的实施例提供的电子设备，能够对智能货柜内的货品进行准确且快速的识别，有效节省了人力成本，补货过程更加快速且便捷，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。《智能货柜内货品识别方法及装置、智能货柜》的实施例四提供能够实现上述智能货柜内货品识别方法中全部步骤的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例一的全部步骤，例如，所述处理器执行所述计算机程序时实现下述步骤：步骤100：接收目标智能货柜的货品识别指令。步骤200：采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品。 步骤300：对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。步骤400：根据所述目标智能货柜中发生变化的各类货品的类型和对应的重量变化值，确定所述目标智能货柜中数量发生变化的各类货品的数量。从上述描述可知，《智能货柜内货品识别方法及装置、智能货柜》的实施例提供的计算机可读存储介质，能够对智能货柜内的货品进行准确且快速的识别，有效节省了人力成本，补货过程更加快速且便捷，并提高了智能货柜的智能化程度和应用可靠性，故使得用户体验提高。《智能货柜内货品识别方法及装置、智能货柜》的实施例五提供能够一种智能货柜的具体实施方式，参见图10，所述智能货柜具体包括如下内容：所述智能货柜与所述的电子设备通信，所述电子设备用于接收目标智能货柜的货品识别指令，采集所述目标智能货柜的内部货品图像，并获取该目标智能货柜内各类货品的重量变化值，其中，所述内部货品图像中包含有当前目标智能货柜中的全部货品，以及对所述内部货品图像进行图像识别，得到所述目标智能货柜中数量发生变化的各类货品的类型。在一种具体举例中，所述智能货柜中包括位移传感器、多个重量传感器和多个摄像头，一个智能货柜中一般均包含有多层货架，且各层货架的两侧及上方均可以设有多个摄像头，以保证每个智能货柜内的摄像头均能够采集到有当前目标智能货柜中的全部货品，同时，为了保证获取图像的清晰程度，每个摄像头上均可以对应的照明灯，所述货品识别指令发送单元可以为位移传感器，且位移传感器的两部分分别为设置在所述智能货柜的柜门上器件一以及设置在所述智能货柜内壁上靠近所述器件一的器件二，且各层货架的底端均设有至少一个重量传感器，且各个重量传感器均与服务器通信。

2021年8月16日，《智能货柜内货品识别方法及装置、智能货柜》获得安徽省第八届专利奖优秀奖。

本标准适用于智能化货柜售卖动作的评价，本标准售卖动作评价相关试验包括: 手动售卖测试，商品取出性（多瓶售卖）测试，硬币、纸币通路测试，通常售卖测试，商品划伤测试，售卖噪音测试，电压变动测试以及特殊售卖试验。该标准的发布有益于智能化货柜各售卖相关动作、指标的规范化。指导智能化货柜生产单位针对售卖相关特性进行测试和质量评价，售卖动作是否流畅、准确，动作过程是否有噪声以及其他问题，确保在投入使用前各性能良好。旨在为行业内的企业提供品质评价的标准，提升产品品质。

本标准适用于智能化货柜的冷却、加热性能的测试和品质评价。标准技术内容包括：电气特性评价，冷却特性评价，加热特性评价，冷却、加热组合特性评价，环境耐候性评价以及异常状态评价和其他一般特性评价。随着无人设备的发展和使用市场的扩大，智能化货柜投入使用范围愈加广泛。本标准为测试智能化终端冷藏设备的冷却、加热性能提供依据和判断方法，确保冷却、加热性能有关品质有足够保证。

本标准主要用于智能化货柜的相关特性的判断及相关技术要求的提出。主要技术内容包括翻倒角度、调平螺钉上浮、主体推倒性、地脚螺钉固定强度、主体振动5方面特性技术要求的测评，确保产品符合出品要求,保证产品质量,提高用户体验满意度。 2100433B