滤波片光谱图像技术识别自然场景成熟柑橘的 装置及方法 技术领域 本发明涉及一种自然场景下柑橘和树枝的识别 装置及其方法， 特指基于滤波片光谱图 像技术识别自然场景下柑橘和树枝的装置及其 方法。 技术背景 手摘、 刀剪、 竿捅等目前传统的水果采摘方法， 容易造成水果不同程度的损伤， 导致 在储存与销售期间出现腐烂。 另外传统的水果采摘是一项强度大、 耗时长的劳动。 因此开 发具备自然场景下可靠作业的智能机器人来代 替人工采摘具有十分重要的意义。 水果采摘 机器人的正常工作均依赖于对果实的正确识别 。 因而要实现水果采摘机器人对水果的收 获， 关键是要在复杂的自然场景下识别出水果。 但果树形态各异、 参差不齐， 许多果实位 于树枝后面或两个树枝间， 而且果树的树枝较粗大， 若机械手与这些树枝相碰撞势必会损 坏机械手， 欲使机械手能够采摘到这些果实， 必须避开树枝， 因此同样也要识别出树枝等 障碍物以便为机械手的运动提供参数，完成水 果的采摘。 经检索， 未见自然场景下果实识别的相关专利， 仅检索到在结构环境下的机器人工业 应用领域对象物识别的相关发明， 如"具有彩色图像识别能力的工业机器人的装� �及方法， 专利号 200410093502.X", "图像识别设备、 方法和机器人设备， 申请号 200710138345.3" 等。 上述发明主要是满足在结构性的工业环境下机 器人的作业需求， 环境简单、 稳定， 不 受光照等因素干扰， 因此只需通过对象图像和数据库中的模型图像 进行匹配， 即可达到检 测对象的目的。 而在非结构性的自然环境下， 由于果实大小和生长空间的差异， 不可能有 一个确定的模型图像与对象图像实现匹配， 而且光照方向和强度的可变性， 背景的复杂性 等因素的影响势必也会给识别造成困难。 针对非结构性的复杂自然环境， 必须寻求一种区 别工业领域的， 识别精度高、 鲁棒性强的新方法。 果实、 树叶、 树枝及杂草等其它背景物 质的内部有机成分不同， 它们的光 ΐί特性也不相同， 在不同波段下的对光的吸收值也存在 差异。 因此光谱图像技术可以集图像信息和光谱信息 于一身， 可以分析对象图像的光谱信 息， 从组成成分等内部特性出发， 达到有效识别果实和树枝的目的。 发明内容 本发明的目的是针对水果采摘机器人， 设计了一种基于滤波片光谱图像技术的果实及 其树枝的识别方法， 为机械手的运动提供参数。 本发明的目的是通过以下方法实现的： 基于滤波片光谱图像技术识别自然 景下成熟 柑橘的装置:主要由 CCD相机、 云台、 滤波片、 相机三脚架、 挡板、 转盘及计算机组成； 其特征在于 CCD相机能够感应近红外信号， 云台安装在相机三脚架上， 挡板带有圆孔且 垂直固定在相机三脚架的云台上； 在挡板的一侧， 安放 CCD相机， 并将其镜头嵌入挡板 的圆孔； 在挡板的另一侧， 将转盘固定在挡板上， 转盘带有五个圆孔并可以自由转动， 并 在此转盘的圆孔中分别安置滤波片。 基于滤波片光谱图像技术识别自然场景下成熟 柑橘的方法： 首先通过上述基于滤波片 光谱图像技术识别自然场景下成熟柑橘的装置 ， 采集到不同波段同一场景下的滤波图像； 并将数据传输到计算机中， 构建三维立体数据块， 接着对此数据块进行预处理； 最后对预 处理后的数据提取果实和树枝的特征数据， 即可达到识别自然场景下成熟柑橘的目的。 所述的图像数据的采集： 首先调整相机的参数（曝光时间， 光圈大小等）， 保证能够 采集到清晰的图像； 通过转盘的转动， 当转盘上滤波片外侧的刻度与挡板上圆孔下方 的刻 度相对齐重合时， 即表示相机的镜头， 挡板的圆孔和转盘上的滤波片三者完全成一线 ， 就 可以进行图像采集。 这样既可以保证相机的稳定， 也可以保证相机镜头与滤波片之间严密 不漏光。 通过转盘的转动， 就可以采集到同一场景下不同波长下的滤波图 像。 所述的原始数据的预处理： 由采集到的滤波图像即可构建三维数据块，在 此数据块中， 每一像元在不同的波段图像下都有一个灰度值 ，连接这些灰度值，就组成了一条光谱曲线， 即每一像元都对应于一条光谱曲线。由于光信 号经由滤波片过滤， CCD相机暗噪音的存在 等因素的影响， 由滤波图像构建的三维数据块势必会存在相当 的噪声， 因此有必要进行预 处理， 以去除噪声。 最小噪声分离法可以有效地去除噪声信号， 提取有价值信息， 而且也 可以扩大柑橘、 树枝、 树叶及背景物质间的光谱差异， 因此首先对原始数据进行最小噪声 分离处理。 所述特征数据的提取： 应用光谱角分类对预处理后的数据进行特征提 取； 光谱角分类 法是一种光谱的匹配技术， 这种技术基于估计待测光谱与参照光谱相似性 来区分各像元点 的光谱曲线； 上述方法需提供柑橘和树枝的参照光谱； 在表面光洁， 具代表性的柑橘和树 枝的样 ^：图像上选取感兴趣区域（ROD,并计算 ROI中所包含像元的光谱平均值， 即得柑 橘和树枝的参照光谱。 光谱角分类法正是通过比较每一像元的待测光 谱与参照光谱间的差 异来提取柑橘和树枝的特征的。 本发明与传统技术相比的优点：

( 1 ) 获取信息全。 光谱图像技术既可以获取对象的波段图像信息 ， 同时也可以获取 对象的光谱信息。

(2) 分析方法独特新颖。 传统的识别方法主要是采用基于局部灰度、 颜色特征和形 状特征的技术， 而且一般局限于可见光和二维图像信息范畴上 进行图像分析， 挖掘不到更多信息。 光谱图像技术则可以从三维信息出发， 利用光谱角分类法 这种独特新颖方法分析光谱信息， 挖掘更多能够有效地识别柑橘和树枝的信息。

(3) 识别精度高。 光谱图像技术是根据果实、 树枝、 树叶及其它背景物质的光谱特 性的不同， 从对象的内部特性来分析提取对象的特征， 可以有效的克服光照不 均匀、 复杂背景等影响， 识别精度高。

(4) 鲁棒性强。 机器人是在复杂的自然环境下进行采摘作业的 ， 因此光照强度和方 向的可变性、 复杂背景的不确定性等因素都会导致传统识别 方法的弱鲁棒性。 而光谱图像技术是以光谱曲线为出发点， 与图像的强度不相关， 同时能够反应 对象的内部特性， 因此可以克服光照和复杂背景的影响， 鲁棒性强。 本发明的有益效果是： 利用滤光片光谱图像技术可以为分析复杂自然 场景下的果树图像时， 提供了一种新型 的识别技术， 开拓了一种新领域的分析手段， 打破了传统方法仅在二维层面上分析图像的 局限性。 此技术结合作业对象的内部特性和外部特征， 并利用光谱角分类法， 从采集得到 的三维数据块中挖掘出更多有价值信息， 提高了识别精度， 并且针对不同的自然环境具有 很好的鲁棒性， 为开发具有识别能力、 视觉功能、 作业轻软柔和化、 恶劣条件下作业可靠 稳定的智能化水果收获机器人打下基础， 也为推广水果采摘机器人的实用化提供可能。 附图说明 图 1 : 发明应用实例实现装置示意图。 其中， 1、 CCD相机； 2、 云台； 3、 挡板； 4、 转盘； 5、滤波片； 6、挡板上的刻度线； 7、 转盘上的刻度线； 8、 相机三脚架； 9、 果树； 10、 计算机。 图 2: 本发明方法的流程图 具体实施方式 ， 本发明以光谱角分类算法提取对象特征为例， 介绍本发明具体的实施方式。 发明应用实例实现硬件示意图参阅图 1， 本发明的流程图参阅图 2。 实例选用的相机为 对近红外区域具有良好感应效果的 CCD相机。首先将挡板 3垂直固定在三脚架云台 2上， 并将 CCD相机 1安置在挡板 3的一侧， 将其镜头对准挡板 3的圆孔， 防止漏光； 然后将 五个滤波片 5分别嵌入到转盘 4的圆孔， 并在此转盘固定在挡板 3的另一侧， 保证避免漏 光， 同时转盘 4可以自由转动； 当转盘 4上滤波片 5外侧的红色刻度线 7与挡板 3上的红 色刻度线 6相对齐重合时， 即表明相机 1的镜头、 挡板 3的圆孔和滤波片 5三者成一线， 此时即可采集图像了。 首先调整相机的曝光时间， 光圈大小等参数， 使相机能够采集到清晰的图像， 通过转 动转盘 4, 采集同一场景下不同波段的五幅柑橘果树的滤 波图像； 采集得到的数据输入到 计算机后， 构建三维数据块； 接着运用最小噪声分离法对原始数据进行预处 理， 以去除噪 声， 并扩大柑橘、 树枝、 树叶和背景物质间的光谱差异； 然后分别在表面光洁、 色彩饱和 的柑橘和树枝上选取感兴趣区域（ROI), 并计算该区域内所有像元的平均光谱， 构成柑橘 和树枝的参照光谱； 最后利用光谱角分类算法对预处理后的数据进 行柑橘和树枝的特征提 取。 如图 2所示， 提取柑橘和树枝特征的具体方法分为两个阶段 ： "模型建立"（图 2左边 的虚线框） 与 "模型匹配"（图 2右边的虚线框）。 "模型建立"是对训练图像进行训练的 过程， 即确定用于光谱角分类的柑橘和树枝的参照光 谱和光谱角阈值的过程。 "模型匹配" 是对待测图像进行匹配识别的过程， 即提取柑橘和树枝的特征的过程。

"模型建立"的具体步骤如下- 采集滤波图像： 首先调整相机的曝光时间，光圈大小等参数， 使相机能够采 集到清晰的图像， 通过转动转盘 4， 采集同一场景下不同波段的五幅柑橘果 树的滤波图像。

(2) 构建三维数据块：釆集得到的数据输入到计算 机后，构建三维数据块。三维 数据块中， 含有不同波段的图像信息， 同时也包含各个像元的光谱信息。

(3) 数据预处理：运用最小噪声分离法对原始数据 进行预处理， 以去除噪声，并 扩大柑橘、 树枝、 树叶和背景物质间的光谱差异。

(4) 选取柑橘和树枝的 ROI: 感兴趣区域（ROI)所包含的柑橘或树枝的性质� � 否单一， 即所选取的 ROI是否只含有柑橘和树枝中的一种， 是否具有柑橘 或树枝的代表性，这直接影响到最后特征提取 的结果。因此，要在表面光洁、 色彩饱和的柑橘或树枝上选取 ROI。

(5) 计算柑橘树枝的参照光谱： 计算按步骤（4)要求选取的 ROI内的所有像元 的平均光谱， 构成柑橘和树枝的参照光谱。

(6) 提取各个像元的待测光谱：提取三维数据块中 各个像元的待测光谱。所谓待 测光谱即为像元在各个波段下所对应的亮度值 （灰度值）组成的光谱曲线。

(7) 进行光谱角分类:运用光谱角分类算法计算柑� �和树枝的参照光谱与各像元 光谱曲线之间的光谱广义夹角， 得到柑橘和树枝的角度图像。

(8) 确定柑橘和树枝的光谱角阈值： 对由步骤（7)得到的角度图像进行反复尝 试表明， 当光谱角弧度阈值在 [0.15-0.24]区间内时， 柑橘的识别效果理想， 当光谱角弧度阈值取 0.2时， 识别效果最佳， 因此确定其为柑橘的光谱角阈 值； 当光谱角弧度阈值在 [0.07-0.18]区间内时， 树枝的识别效果理想， 当光 谱角弧度阈值取 0.12时， 树枝识别效果最佳， 因此确定其为柑橘的光谱角 阈值。 因此， 通过上述 "模型建立"的 8个步骤得到了用于 "模型匹配"的柑橘和树枝 的参照光谱和光谱角阈值。 与 "模型建立"一样， "模型匹配"阶段首先也要采集滤波图像、 构建三维数据块、 进行数据预处理和提取各个像元的待测光谱， 其方法都与 "模型建立"的方法相同； 然后 利用光谱角分类算法结合 "模型建立"中确定的柑橘和树枝的参照光谱和� ��谱角阈值， 即 可提取不同场景下对象图像的柑橘和树枝的特 征。