[0001] 本申请要求于 2018年 09月 17日在中国国家知识产权局提交的、 申请号为 201811

079680 .5、 发明名称为“一种装配方法、 装配装置及装配设备”的中国专利申请的 优先权， 其全部内容通过引用结合在本申请中。

技术领域

[0002] 本申请涉及自动化技术领域， 具体涉及一种装配方法、 装配装置及装配设备。

背景技术

[0003] 这里的陈述仅提供与本申请有关的背景信息， 而不必然构成现有技术。 自动化 技术领域中， 可以通过自动化设备实现各种装配的动作， 比如： 将销钉插入插 孔中， 将不同外形或种类的零部件插入对应的目标插 孔中等等。

[0004] 通常， 自动化的装配设备柔性化程度较低， 因此当需要彼此装配的结构件的结 构、 种类或环境等等发生改变时， 通常需要重新修改程序， 造成成本的增加。 并且， 在一些装配难度比较大的动作中， 通过自动化设备很难完成装配， 或者 在装配过程中失误率很高。

发明概述

技术问题

[0005] 本申请实施例的目的之一在于： 提供一种装配方法、 装配装置及装配设备， 旨 在解决装配的工作效率及准确率较低的问题。

问题的解决方案

技术解决方案

[0006] 为解决上述技术问题， 本申请实施例采用的技术方案是：

[0007] 第一方面， 提供了一种装配方法， 所述装配方法包括：

[0008] 基于获取的装配件和待装配件的第一图像或第 一位姿， 结合获取的装配相关的 参数信息， 经过预先经过训练的第一模型生成指向所述机 械手的第一指令， 通 过所述指令控制机械手移动到所述待装配件附 近， 抓取所述待装配件， 带动所 述待装配件移动到所述装配件的装配位置附近 和带动所述待装配件装配到所述 装配位置； 其中， 所述第一位姿为基于所述第一图像获取的所述 装配件和待装 配件的位姿。

[0009] 第二方面， 提供了一种装配方法， 所述装配方法包括：

[0010] 基于获取的待装配件的第二图像或第二位姿， 结合获取的装配相关的参数信息 ， 生成第二指令， 通过所述第二指令控制机械手移动到所述待装 配件附近， 抓 取所述待装配件； 其中， 所述第二位姿为基于所述第二图像获取的所述 待装配 件的位姿；

[0011] 基于获取的装配件的装配位置第三图像或第三 位姿， 结合获取的装配相关的参 数信息， 生成第三指令， 通过所述第三指令带动所述待装配件移动到所 述装配 件的装配位置附近， 带动所述待装配件装配到所述装配位置； 其中， 所述第三 位姿为基于所述第三图像获取的所述装配件的 装配位置的位姿；

[0012] 所述第二指令经过预先经过训练的第二模型生 成； 和 /或，

[0013] 所述第三指令经过预先经过训练的第三模型生 成。

[0014] 第三方面， 提供一种装配方法， 所述装配方法包括：

[0015] 基于获取的待装配件的第二图像或第二位姿， 生成第四指令， 通过所述第四指 令控制机械手移动到所述装配件附近； 其中， 所述第二位姿为基于所述第二图 像获取的所述待装配件的位姿；

[0016] 基于获取的机械手移动到所述装配件附近后的 待装配件的第四图像或第四位姿 ， 结合获取的装配相关的参数信息， 生成第五指令， 通过所述第五指令控制机 械手抓取所述装配件； 其中， 所述第四位姿为基于所述第四图像获取的所述 机 械手移动到所述装配件附近后的所述待装配件 的位姿；

[0017] 基于获取的装配件上的装配位置的第三图像或 第三位姿， 生成第六指令， 通过 所述第六指令控制机械手带动所述装配件移动 到待装配位置附近； 其中， 所述 第三位姿为基于所述第三图像获取的所述装配 件上的装配位置的位姿；

[0018] 基于获取的机械手带动所述装配件移动到待装 配位置附近后的装配件上的装配 位置第五图像或第五位姿， 结合获取的装配相关的参数信息， 生成第七指令， 通过所述第七指令控制所述机械手带动所述待 装配件装配到所述装配位置； 其 中， 所述第五位姿为基于所述第五图像获取的机械 手带动所述装配件移动到所 述待装配位置附近后的所述装配件上的所述装 配位置的位姿；

[0019] 所述第五指令经过预先经过训练的第四模型生 成； 和 /或，

[0020] 所述第六指令经过预先经过训练的第五模型生 成； 和 /或，

[0021] 所述第七指令经过预先经过训练的第六模型生 成； 和 /或，

[0022] 所述第八指令经过预先经过训练的第七模型生 成。

[0023] 第四方面， 提供一种装配装置， 所述装配装置包括第一指令生成模块；

[0024] 所述第一指令生成模块， 用于基于获取的装配件和待装配件的第一图像 或第一 位姿， 结合获取的装配相关的参数信息， 经过预先经过训练的第一模型生成指 向所述机械手的第一指令， 通过所述指令控制机械手移动到所述待装配件 附近 ， 抓取所述待装配件， 带动所述待装配件移动到所述装配件的装配位 置附近和 带动所述待装配件装配到所述装配位置； 其中， 所述第一位姿为基于所述第一 图像获取的所述装配件和待装配件的位姿； 或，

[0025] 所述装配装置包括第二指令生成模块和第三指 令生成模块；

[0026] 所述第二指令生成模块， 用于基于获取的待装配件的第二图像或第二位 姿， 结 合获取的装配相关的参数信息， 生成第二指令， 通过所述第二指令控制机械手 移动到所述待装配件附近， 抓取所述待装配件； 其中， 所述第二位姿为基于所 述第二图像获取的所述待装配件的位姿；

[0027] 所述第三指令生成模块， 用于基于获取的装配件的装配位置第三图像或 第三位 姿， 结合获取的装配相关的参数信息， 生成第三指令， 通过所述第三指令带动 所述待装配件移动到所述装配件的装配位置附 近， 带动所述待装配件装配到所 述装配位置； 其中， 所述第三位姿为基于所述第三图像获取的所述 装配件的位 姿；

[0028] 所述第二指令生成模块为经过预先经过训练的 第二模型； 和 /或所述第三指令 生成模块为经过预先经过训练的第三模型； 或，

[0029] 所述装配装置包括第四指令生成模块、 第五指令生成模块、 第六指令生成模块 、 第七指令生成模块；

[0030] 所述第四指令生成模块， 用于基于获取的待装配件的第二图像或第二位 姿， 生 成第四指令， 通过所述第四指令控制机械手移动到所述装配 件附近； 其中， 所 述第二位姿为基于所述第二图像获取的所述待 装配件的位姿；

[0031] 所述第五指令生成模块， 用于基于获取的机械手移动到所述装配件附近 后的待 装配件的第四图像或第四位姿， 结合获取的装配相关的参数信息， 生成第五指 令， 通过所述第五指令控制机械手抓取所述装配件 ； 其中， 所述第四位姿为基 于所述第四图像获取的所述机械手移动到所述 装配件附近后的待装配件的位姿

[0032] 所述第六指令生成模块， 用于基于获取的装配件上的装配位置的第三图 像或第 三位姿， 生成第六指令， 通过所述第六指令控制机械手带动所述装配件 移动到 待装配位置附近； 其中， 所述第三位姿为基于所述第三图像获取的所述 装配件 上的装配位置的位姿；

[0033] 所述第七指令生成模块， 用于基于获取的机械手带动所述装配件移动到 待装配 位置附近后的装配件上的装配位置第五图像或 第五位姿， 结合获取的装配相关 的参数信息， 生成第七指令， 通过所述第七指令控制所述机械手带动所述待 装 配件装配到所述装配位置； 其中， 所述第五位姿为基于所述第五图像获取的机 械手带动所述装配件移动到待装配位置附近后 的装配件上的装配位置的位姿；

[0034] 所述第五指令生成模块为预先经过训练的第四 模型； 和 /或所述第六指令生成 模块为预先经过训练的第六模型； 和 /或所述第六指令生成模块为预先经过训练 的第六模型； 和 /或所述第六指令生成模块为预先经过训练的� �六模型。

[0035] 第五方面， 提供一种计算机可读存储介质， 其上存储有计算机可读指令， 所述 指令被处理器执行时实现第一方面、 第二方面或第三方面任意一项所述的装配 方法。

[0036] 第六方面， 提供一种计算机设备， 所述计算机设备包括存储器、 处理器以及存 储在所述存储器中并可在所述处理器上运行的 计算机可读指令， 所述处理器执 行所述计算机可读指令时实现第一方面、 第二方面或第三方面任意一项所述的 装配方法。

[0037] 第七方面， 提供一种装配设备， 所述装配设备包括机械手、 图像传感器和控制 装置；

[0038] 所述机械手， 用于根据所述控制装置的控制， 执行装配相关的动作； [0039] 所述图像传感器， 用于获取并发送给控制装置装配相关的第一图 像、 第二图像 、 第三图像、 第四图像和 /或第五图像；

[0040] 所述控制装置， 用于基于获取的装配件和待装配件的所述第一 图像或第一位姿 ， 结合获取的装配相关的参数信息， 经过预先经过训练的第一模型生成指向机 械手的第一指令， 通过所述指令控制所述机械手移动到所述待装 配件附近， 抓 取所述待装配件， 带动所述待装配件移动到所述装配件的装配位 置附近和带动 所述待装配件装配到所述装配位置； 其中， 所述第一位姿为基于所述第一图像 获取的所述装配件和所述待装配件的位姿； 或，

[0041] 基于获取的待装配件的所述第二图像或第二位 姿， 结合获取的装配相关的参数 信息， 生成第二指令， 通过所述第二指令控制机械手移动到所述待装 配件附近 ， 抓取所述待装配件； 其中， 所述第二位姿为基于所述第二图像获取的所述 待 装配件的位姿；

[0042] 基于获取的装配件的装配位置所述第三图像或 第三位姿， 结合获取的装配相关 的参数信息， 生成第三指令， 通过所述第三指令带动所述待装配件移动到所 述 装配件的装配位置附近， 带动所述待装配件装配到所述装配位置； 其中， 所述 第三位姿为基于所述第三图像获取的所述装配 件的装配位置的位姿；

[0043] 所述第二指令经过预先经过训练的第二模型生 成； 和 /或，

[0044] 所述第三指令经过预先经过训练的第三模型生 成；

[0045] 基于获取的待装配件的所述第二图像或第二位 姿， 生成第四指令， 通过所述第 四指令控制机械手移动到所述装配件附近； 其中， 所述第二位姿为基于所述第 二图像获取的所述待装配件的位姿； 或，

[0046] 基于获取的机械手移动到所述装配件附近后的 待装配件的所述第四图像或第四 位姿， 结合获取的装配相关的参数信息， 生成第五指令， 通过所述第五指令控 制机械手抓取所述装配件； 其中， 所述第四位姿为基于所述第四图像获取的所 述机械手移动到所述装配件附近后的所述待装 配件的位姿；

[0047] 基于获取的装配件上的装配位置的所述第三图 像或第三位姿， 生成第六指令， 通过所述第六指令控制机械手带动所述装配件 移动到待装配位置附近； 其中， 所述第三位姿为基于所述第三图像获取的所述 装配件上的装配位置的位姿； [0048] 基于获取的机械手带动所述装配件移动到待装 配位置附近后的装配件上的装配 位置的所述第五图像或第五位姿， 结合获取的装配相关的参数信息， 生成第七 指令， 通过所述第七指令控制所述机械手带动所述待 装配件装配到所述装配位 置； 其中， 所述第五位姿为基于所述第五图像获取的机械 手带动所述装配件移 动到所述待装配位置附近后的所述装配件上的 所述装配位置的位姿；

[0049] 所述第五指令经过预先经过训练的第四模型生 成； 和 /或，

[0050] 所述第六指令经过预先经过训练的第五模型生 成； 和 /或，

[0051] 所述第七指令经过预先经过训练的第六模型生 成； 和 /或，

[0052] 所述第八指令经过预先经过训练的第七模型生 成。

[0053] 本申请实施例提供的一种装配方法、 装配装置及装配设备的有益效果在于： 通 过机器学习的方法进行装配， 能够提高装配的工作效率及准确率。 另外， 可以 将一个复杂的动作拆分成多个分动作实现， 从而减少动作实现的困难性。

发明的有益效果

对附图的简要说明

附图说明

[0054] 为了更清楚地说明本申请实施例中的技术方案 ， 下面将对实施例或示范性技术 描述中所需要使用的附图作简单地介绍， 显而易见地， 下面描述中的附图仅仅 是本申请的一些实施例， 对于本领域普通技术人员来讲， 在不付出创造性劳动 的前提下， 还可以根据这些附图获得其它的附图。

[0055] 图 1是本申请实施例提供的装配设备的结构框图� �

[0056] 图 2是本申请实施例提供的装配方法的第一流程� �。

[0057] 图 3是本申请实施例提供的装配方法的第二流程� �。

[0058] 图 4是本申请实施例提供的装配方法的第三流程� �。

[0059] 图 5是本申请实施例提供的装配装置的第一结构� �图。

[0060] 图 6是本申请实施例提供的装配装置的第二结构� �图。

[0061] 图 7是本申请实施例提供的装配装置的第三结构� �图。

[0062] 图 8是本申请实施例提供的第一模型的结构示意� �。

[0063] 图 9是本申请实施例提供的计算机设备的结构示� �图。 发明实施例

本发明的实施方式

[0064] 为了使本申请的目的、 技术方案及优点更加清楚明白， 以下结合附图及实施例 ， 对本申请进行进一步详细说明。 应当理解， 此处所描述的具体实施例仅用以 解释本申请， 并不用于限定本申请。

[0065] 为了说明本申请的技术方案， 以下结合具体附图及实施例进行详细说明。

[0066] 图 1为本申请实施例的装配设备的结构框图。 如图 1所示， 本申请实施例提供一 种装配设备， 所述装配设备 10包括机械手 11、 图像传感器 12和控制装置 14。

[0067] 所述机械手 11， 用于执行控制装置 14发送的控制指令或信息， 从而完成装配相 关的动作， 比如： 抓取待装配件 A、 带动待装配件 A装配到装配件 B的装配位置 A '上。 机械手可以包括但不限于串联机械手或并联机 械手； 其中， 串联机械手可 以包括但不限于： 四轴机械手、 六轴机械手等等。 机械手包括由多个串联或并 联轴构成的操作臂 111和设置在操作臂 111末端用于执行具体工作的末端执行器 1 12, 末端执行器可以为人形手、 夹爪 （如图 1所示） 、 吸盘或者工具等等。 由于 机械手是通过末端执行器去抓取待装配件， 因此本实施例所述的机械手的位姿 实际上指的是机械手的末端执行器的位姿。

[0068] 在一些实施中， 机械手上 （比如： 末端执行器上） 还可以设置力传感器 13 , 力 传感器 13藕接控制装置 14, 当抓取物体或者进行装配的动作时， 物体会给末端 执行器 112上设置的力传感器 13—定的作用力， 通过力传感器 13获取的力 /力矩的 反馈信号并发送给后端控制装置 14。

[0069] 图像传感器 12, 用于获取装配相关的图像， 比如： 后面实施例所述的第一图像 、 第二图像、 第三图像、 第四图像和 /或第五图像； 图像传感器 12可以包括但不 限于： 照相机、 摄像机、 扫描仪或其他带有相关功能的设备 （手机、 电脑等） 等等。 该图像可以包括静态图像或者视频图像 （连续的静态图像） 数据， 当为 视频图像时， 可以从视频图像中截取任意一帧或几帧静态图 像。 获取的图像可 以是二维图像， 也可以是三维图像。

[0070] 控制装置 14通过有线或者无线的方式分别藕接机械手 11、 图像传感器 12和力传 感器 13。 [0071] 无线方式可以包括但不限于： 3G/4G、 WIFI、 蓝牙、 WiMAX、 Zigbee、 UWB

(ultra wideband) ， 以及其它现在已知或将来开发的无线连接方式 。

[0072] 有关控制装置 14的限定可以参见下面实施例中关于装配方法� ��限定。 控制装置 中各个模块可全部或部分通过软件、 硬件及其组合来实现。 上述各模块可以硬 件形式内嵌于或独立于计算机设备的处理器中 ， 也可以以软件形式存储于计算 机设备的存储器中， 以便处理器调用执行以上各个模块对应的操作 。

[0073] 图 2为本申请提供的装配方法的第一流程图。 如图 2所示， 本申请实施例提供一 种装配方法， 该装配方法包括如下方法步骤：

[0074] S11、 获取待装配件和装配件的装配位置的第一图像 或第一位姿， 其中， 所述 第一位姿为基于所述图像获取的所述装配件和 待装配件的位姿；

[0075] 根据第一图像可以基于传统的视觉方法， 识别出第一图像中的第一位姿， 也可 以基于预先经过训练的模型， 即机器学习的方法获取第一图像中的第一位姿 。

[0076] 控制装置获取图像传感器拍摄并发送的第一图 像， 该第一图像包括待装配件和 装配件； 或者进一步， 在一些实施例中， 还可对获取的图像进行各种处理， 比 如： 目标识别提取， 从而使得第一图像仅包括待装配件和装配件。

[0077] S12、 基于所述第一图像或第一位姿， 结合获取的装配相关的参数信息， 经过 预先经过训练的第一模型生成第一指令， 通过所述第一指令控制机械手执行包 括但不限于如下动作步骤： 移动到所述待装配件附近， 抓取所述待装配件， 带 动所述待装配件移动到所述装配件的装配位置 附近， 带动所述待装配件装配到 所述装配位置。

[0078] 可以将第一图像直接输入预先经过训练的第一 模型； 也可以将第一图像进行处 理提取出第一图像中的装配件和待装配件的第 一位姿， 将第一位姿输入预先经 过训练的第一模型。

[0079] 通过机器学习的方法进行装配， 能够提高装配的工作效率及准确率。

[0080] 需要说明的是， 当输入第一模型的包括第一图像， 则第一模型的结构可以为卷 积神经网络 (Convolutional Neural Network, CNN) 模型， 以及现在开发或将来 开发的基于图像进行机器学习的模型。

[0081] CNN是一种卷积层神经网络， 常见的 (Convolutional Neural Network, CNN) 模型可以包括各种网络结构， 比如： LeNet， AlexNet， ZFNet， VGG, GoogLeN et, Residual

Net, DenseNet, R-CNN, SPP-NET, Fast-RCNN, Faster-RCNN, FCN, Mask-R CNN, YOLO, SSD, Y0L02， 以及其它现在已知或将来开发的网络模型结构

[0082] CNN属于神经网络 （Neural Network， NN） 中的一种， 当输入第一模型的不包 括第一图像 （比如是： 第一位姿） ， 贝 1」第一模型的结构并不限于 CNN， 可以为 N N中的任意需要的模型结构。

[0083] 在一些实施例中， 所述第一模型的结构也可以是 CNN模型与其它模型的结合， 比如： 循环神经网络 （Recurrent Neural Network, RNN） 。

[0084] 需要说明的是， 所述参数信息包括但不限于机械手的位姿信息 、 力 /力矩反馈 信号、 和 /或所述装配件和 /或所述待装配件的物理信息。 所述机械手的位姿， 是 指获取第一图像时对应的机械手的位姿。 其可以是在此之前完成最后一次控制 机械手的运动后获取的机械手的位姿， 比如： 需要控制机械手移动到某一位姿 处， 则对应知道最后一次运动控制后的机械手的位 姿。

[0085] 物理信息是指装配件和 /装配件的物理结构信息， 比如： 根据装配件和 /或待装 配件的 CAD结构图可以了解物理结构信息。

[0086] 如图 8所示， 图 8为本申请提供的第一模型的第一结构示意图� � 在一些实施例中 ， 单纯的图像输入的问题可以直接使用 CNN模型， 当输入既有图像， 又有其他 参数信息时 （具体表达为一组向量） ， 通常模型会有所修改， 网络的第一部分 L 1与普通的 CNN类似， 依然是卷积层、 池化层的叠加， 第一部分 L1的输出 （一个 多通道的图像） 会被“拉伸”成一个向量， 然后与其他参数信息向量链接在一起， 再进入网络的第二部分 L2 （例如普通的全连接层网络） ， 最后到达输出， 例如 ， 表示机械手下一个指令的一个 6维向量 （x， y， z， u， v， w） 。

[0087] 图 3为本申请提供的装配方法的第二流程图。 通常将一个复杂的动作采用一个 模型实现的方法， 训练起来比较困难， 训练后的模型的准确度可能也不是很高 ， 因此， 可以将一个复杂的动作拆分成多个分动作实现 。 每个分动作可以基于 传统的编程方法实现， 也可以基于经过训练的模型实现。 [0088] 如图 3所示， 本申请实施例还提供一种装配方法， 包括如下方法步骤：

[0089] S21、 获取待装配件的第二图像或第二位姿； 基于所述第二图像或第二位姿， 结合获取的装配相关的参数信息， 生成第二指令， 通过所述第二指令控制机械 手移动到所述待装配件附近， 抓取所述待装配件； 其中， 所述第二位姿为基于 所述第二图像获取的待装配件的位姿；

[0090] S22、 获取装配件的装配位置的第三图像或第三位姿 ， 基于所述第三图像或第 三位姿， 结合获取的装配相关的参数信息， 生成第三指令， 通过所述第三指令 带动所述待装配件移动到所述装配件的装配位 置附近， 带动所述待装配件装配 到所述装配位置； 其中， 所述第三位姿为基于所述第三图像获取的装配 件的装 配位置的位姿；

[0091] 所述第二指令基于预先经过训练的第二模型获 取； 和 /或，

[0092] 所述第三指令基于预先经过训练的第三模型获 取。

[0093] 第二模型或第三模型的结构可以参照上面的第 一模型所述， 即除了输入的图像 ， 还需要结合某些参数信息， 在此不再重复赘述。

[0094] 上述步骤 S21或步骤 22中至少有一个 （一个或者两个） 方法步骤是基于预先经 过训练的模型获取的指令， 当其中一个步骤采用预先经过训练的模型， 另外一 个步骤可以基于传统的视觉识别下的编程方式 实现指令的获取。 比如： 第二指 令是基于预先经过训练的第二模型获取， 而第三指令是基于传统的视觉识别下 的编程方式实现指令的获取。

[0095] 图 4为本申请提供的装配方法的第三流程图。 根据上面实施例所述， 所述装配 动作可以进一步分成更多的分动作。 同样每个分动作可以基于传统的编程方法 实现， 也可以基于经过训练的模型实现。

[0096] 如图 4所示， 本申请实施例还提供一种装配方法， 包括如下方法步骤：

[0097] S31、 基于获取的待装配件的第二图像或第二位姿， 生成第四指令， 通过所述 第四指令控制机械手移动到所述装配件附近； 其中， 所述第二位姿为基于所述 待装配件的第二图像获取的位姿；

[0098] 在一些实施例中， 步骤 S31可以再细分为 2步， 第一步是基于获取的第二图像识 别出机械手目标位置， 这一步既可以基于预先经过训练的模型 （具体可以采用 监督学习的训练方法） 实现； 也可以用传统视觉算法实现。 第二步是基于第一 步计算出来的目标位置， 控制机械手移动到目标， 这一步既可以基于预先经过 训练的模型， 也可以用普通的轨迹规划算法。

[0099] S32、 基于获取的机械手移动到所述装配件附近后的 待装配件的第四图像或第 四位姿， 结合获取的装配相关的参数信息， 生成第五指令， 通过所述第五指令 控制机械手抓取所述装配件； 其中， 所述第四位姿为基于所述第四图像获取的 机械手移动到所述装配件附近后的待装配件的 位姿；

[0100] S33、 基于获取的装配件上的装配位置的第三图像或 第三位姿， 生成第六指令

， 通过所述第六指令控制机械手带动所述装配件 移动到待装配位置附近； 其中 ， 所述第三位姿为基于所述第三图像获取的所述 装配件上的装配位置的位姿； [0101] S34、 基于获取的机械手带动所述装配件移动到待装 配位置附近后的装配件上 的装配位置的第五图像或第五位姿， 结合获取的装配相关的参数信息， 生成第 七指令， 通过所述第七指令控制所述机械手带动所述待 装配件装配到所述装配 位置； 其中， 所述第五位姿为基于所述第五图像获取的机械 手带动所述装配件 移动到待装配位置附近后的装配件上的装配位 置的位姿；

[0102] 所述第五指令经过预先经过训练的第四模型生 成； 和 /或，

[0103] 所述第六指令经过预先经过训练的第五模型生 成； 和 /或，

[0104] 所述第七指令经过预先经过训练的第六模型生 成； 和 /或，

[0105] 所述第八指令经过预先经过训练的第七模型生 成。

[0106] 上述步骤 S21或步骤 22中至少有一个方法步骤是基于采用预先经过� ��练的模型 获取的指令； 如果其中某些步骤没有采用预先经过训练的模 型获取指令， 则可 以基于传统的编程方式实现指令的获取。 比如： 第六指令是基于预先经过训练 的第五模型获取， 而第五指令是基于传统的视觉识别下的编程方 式实现指令的 获取的。

[0107] 上述 S31、 S32、 S33、 S34个环节对人当采用经过预先经过训练的模型 ， 即机器 学习的方法时， 其本质是一样的， 区别在于某些环节如果需要很好地实现的话 ， 可能需要结合其它的参数信息， 比如： 力 /力矩传感器 （即感知系统） 的力 /力 矩参数信息、 力矩控制和设计好的末端执行器 （即执行系统） 的位姿信息。 例 如 S31与 S33只是单纯的移动机械臂到目标位置， 而 S32与 S34则涉及一些物体接 触， 因此 S32、 S34与 S31、 S33相比对感知系统和执行系统可能有更高的要 求。

[0108] 上述第二位姿、 第三位姿、 第四位姿和第五位姿的相关获取方法参见第一 位姿 的获取方法， 在此不再重复赘述。

[0109] 需要说明的是， 上述第二模型、 第三模型、 第四模型、 第五模型、 第六模型或 第七模型的模型结构可以参见第一模型中的相 关描述， 在此不再赘述。

[0110] 在一些实施例中， 上述预先经过训练的第一模型、 第二模型、 第三模型、 第四 模型、 第五模型、 第六模型和 /或第七模型的训练方法可以包括但不限于监� �学 习、 强化学习和模仿学习。

[0111] 通常， 对于单纯的图像中的目标识别基于监督学习的 方法更方便， 而对于一个 动作策略的学习， 则采用强化学习或模仿学习的方法更好。

[0112] 其中， 强化学习 （Reinforcement Learning） ， （可以在仿真环境中 /真实环境中 ） 初始化一个策略 （给定当前图像以及机械手的姿态， 输出一个动作指令， 具 体形式为 CNN， 因为我们有图像作为输入； 注意， 与分步方法的第二步不一样 的地方是强化学习时预想目标位置并不作为策 略的输入） ， 让机械手按照该策 略进行运动， 每进行一条轨迹 （或者每一个动作） 的采集的同时会给予这条轨 迹 （动作） 一个分数。 （例如该轨迹是否运动到预想的目标位置， 该轨迹的终 点与预想的目标位置的空间距离等） 。 当数据采集到一定阶段， 则根据这些轨 迹及对应的分数对策略进行优化。 反复进行上述的采样以及优化过程， 直到最 终策略能走出分数高的轨迹。

[0113] 其中， 模仿学习 （Imitation learning） ， （在仿真环境中 /真实环境中） 提供一 些专家轨迹， 初始化一个机械手策略 （输入输出同强化学习， 具体形式仍然为 C NN） ， 进行轨迹采样， 注意模仿学习中不需要为轨迹提供分数 （实际上这也是 模仿学习与强化学习相比的优势所在， 因为轨迹奖励分数的设计是非常讲究技 巧的， 设计不好的话强化学习绝大多数情况下都不会 学习出好的策略） 。 通过 模仿学习的算法去优化策略， 重复上述采样与优化过程， 使得最终机械手策略 所走出来的轨迹与专家轨迹相似。

[0114] 为了判断机械手策略所走出的轨迹是否与专家 轨迹相似， 可以引入分类器， 通 过分类器对模型学习出的轨迹和专家轨迹进行 分类， 结合分类器的 loss function 优化上述各个模型。

[0115] 其中， 监督学习 (Supervised Learning) 是使用已知正确答案的示例来训练网 络。

[0116] 进一步， 在另一些实施例中， 对于 CNN模型， 为了节省训练时间， 我们也可以 用别人训练好的模型的参数来初始化自己的模 型， 然后在这个基础上进行微调

(finetune) _°

[0117] 图 5为本申请提供的装配装置的第一结构框图。 图 6为本申请提供的装配装置的 第二结构框图。 图 7为本申请提供的装配装置的第三结构框图。

[0118] 对应上面方法的实施例， 本申请实施例还提供一种装配装置， 下文描述的装配 装置和上文描述的装配方法可相互对应参照。

[0119] 如图 5所示， 在一些实施例中， 所述装配装置 200包括第一指令生成模块 210， 用于基于获取装配件和待装配件的第一图像或 第一位姿， 结合获取的装配相关 的参数信息， 经过预先经过训练的第一模型生成第一指令， 通过第一指令控制 机械手移动到待装配件附近， 抓取待装配件， 带动待装配件移动到装配件的装 配位置附近， 带动待装配件装配到装配位置； 其中， 第一位姿为基于第一图像 获取的装配件和待装配件的位姿。

[0120] 如图 6所示， 在另一些实施例中， 所述装配装置 300包括如下模块： 第二指令生 成模块 310、 第三指令生成模块 320。

[0121] 第二指令生成模块 310， 用于基于获取的待装配件的第二图像或第二位 姿， 结 合获取的装配相关的参数信息， 生成第二指令， 通过所述第二指令控制机械手 移动到所述待装配件附近， 抓取所述待装配件； 其中， 所述第二位姿为基于所 述第二图像获取的待装配件的位姿；

[0122] 第三指令生成模块 320, 用于基于获取装配件的装配位置的第三图像或 第三位 姿， 结合获取的装配相关的参数信息， 生成第三指令， 通过所述第三指令带动 所述待装配件移动到所述装配件的装配位置附 近， 带动所述待装配件装配到所 述装配位置； 其中， 所述第三位姿为基于所述第三图像获取的装配 件的装配位 置的位姿； [0123] 第二指令生成模块 310为基于预先经过训练的第二模型获取； 和 /或，

[0124] 第三指令生成模块 320为基于预先经过训练的第三模型获取。

[0125] 如图 7所示， 在另一些实施例中， 所述装配装置 400包括如下模块： 第四指令生 成模块 410、 第五指令生成模块 420、 第六指令生成模块 430、 第七指令生成模块 440。

[0126] 第四指令生成模块 410, 用于基于获取的待装配件的第二图像或第二位 姿， 生 成第四指令， 通过所述第四指令控制机械手移动到所述装配 件附近； 其中， 所 述第二位姿为基于所述第二图像获取的待装配 件的位姿；

[0127] 第五指令生成模块 420, 用于基于机械手移动到所述装配件附近后的待 装配件 的第四图像或第四位姿,结合获取的装配相关� �参数信息， 生成第五指令， 通过 所述第五指令控制机械手抓取所述装配件； 其中， 所述第四位姿为基于所述第 四图像获取的机械手移动到所述装配件附近后 的待装配件的位姿；

[0128] 第六指令生成模块 430, 用于基于获取的装配件上的装配位置的第三图 像或第 三位姿， 生成第六指令， 通过所述第六指令控制机械手带动所述装配件 移动到 待装配位置附近； 其中， 第三位姿为基于所述第三图像获取的装配件上 的装配 位置的位姿；

[0129] 第七指令生成模块 440, 用于基于获取机械手带动所述装配件移动到待 装配位 置附近后的装配件上的装配位置的第五图像或 第五位姿， 结合获取的装配相关 的参数信息， 生成第七指令， 通过所述第七指令控制所述机械手带动所述待 装 配件装配到所述装配位置； 其中， 第五位姿为基于所述第五图像获取的机械手 带动所述装配件移动到待装配位置附近后的装 配件上的装配位置的位姿；

[0130] 其中， 第四指令生成模块 450, 用于基于预先经过训练的第四模型生成第四指 令； 和 /或，

[0131] 第五指令生成模块 460, 用于基于预先经过训练的第五模型生成第五指 令； 和 / 或，

[0132] 第六指令生成模块 470, 用于基于预先经过训练的第六模型生成第六指 令； 和 / 或，

[0133] 第七指令生成模块 480, 用于基于预先经过训练的第七模型生成第七指 令。 [0134] 在一些实施例中， 本申请实施例提供一种计算机可读存储介质， 计算机可读存 储介质存储有计算机可读指令， 计算机可读指令被处理器执行时实现上面实施 例所述的装配方法的相关方法步骤。

[0135] 图 9是本申请一实施例提供的计算机设备的结构� �意图。 如图 9所示， 该实施例 的计算机设备 3包括： 处理器 30、 存储器 31以及存储在所述存储器 31中并可在所 述处理器 30上运行的计算机可读指令 32。 所述处理器 30执行所述计算机可读指 令 32时实现上述各个装配方法的步骤。

[0136] 示例性的， 所述计算机可读指令可以被分割成一个或多个 模块 /单元， 所述一 个或者多个模块 /单元被存储在所述存储器 (图未示意出) 中， 并由所述处理器 7 40执行， 以完成本申请。 所述一个或多个模块 /单元可以是能够完成特定功能的 一系列计算机可读指令段， 该指令段用于描述所述计算机可读指令装配的 过程 。 例如， 所述计算机可读指令可以被分割成第一指令生 成模块， 用于基于获取 装配件和待装配件的第一图像或第一位姿， 结合获取的装配相关的参数信息， 经过预先经过训练的第一模型生成第一指令， 通过所述第一指令控制机械手移 动到所述待装配件附近， 抓取所述待装配件， 带动所述待装配件移动到所述装 配件的装配位置附近， 带动所述待装配件装配到所述装配位置； 其中， 所述第 一位姿为基于所述第一图像获取的所述待装配 件和装配件的位姿。

[0137] 所述计算机设备可以是桌上型计算机、 笔记本、 掌上电脑及云端服务器等计算 设备。 所述计算机设备可包括， 但不仅限于， 处理器、 存储器。 本领域技术人 员可以理解， 所述示意图仅仅是计算机设备的示例， 并不构成对计算机设备的 限定， 可以包括比图示更多或更少的部件， 或者组合某些部件， 或者不同的部 件， 例如所述计算机设备还可以包括输入输出设备 、 网络接入设备、 总线等。

[0138] 所述处理器 30可以是中央处理单元 (Central Processing Unit， CPU) , 还可以是其 他通用处理器、 数字信号处理器 (Digital Signal Processor， DSP)、 专用集成电路 (Application Specific Integrated Circuit, ASIC)、 现成可编程门阵列

(Field-Programmable Gate Array, FPGA)或者其他可编程逻辑器件、 分立门或者 晶体管逻辑器件、 分立硬件组件等。 通用处理器可以是微处理器或者该处理器 也可以是任何常规的处理器等。 [0139] 所述存储器可以是所述计算机设备内置的存储 设备， 例如硬盘或内存。 所述存 储器也可以是所述插机设备的外部存储设备， 例如所述插机设备上配备的插接 式硬盘， 智能存储卡 (Smart Media Card, SMC) ， 安全数字 (Secure

Digital， SD) 卡， 闪存卡 (Flash Card) 等。 进一步地， 所述存储器还可以既包 括所述计算机设备 3的内部存储单元， 也包括外部存储设备。 所述存储器用于存 储所述计算机可读指令以及所述插机设备所需 的其他计算机指令和数据。 所述 存储器还可以用于暂时地存储已经输出或者将 要输出的数据。

[0140] 以上仅为本申请的可选实施例而已， 并不用于限制本申请。 对于本领域的技术 人员来说， 本申请可以有各种更改和变化。 凡在本申请的精神和原则之内， 所 作的任何修改、 等同替换、 改进等， 均应包含在本申请的权利要求范围之内。