Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
CONVOLUTIONAL NEURAL NETWORK-BASED DIABETIC RETINOPATHY DIAGNOSING TECHNIQUE
Document Type and Number:
WIPO Patent Application WO/2020/061972
Kind Code:
A1
Abstract:
A convolutional neural network-based diabetic retinopathy diagnosing technique, comprising processes such as data pre-processing, model design, model initialization, feature extraction, and feature fusion. The data pre-processing is to perform cropping and over-sampling on a high-resolution image of the retinal fundus of a patient with diabetic retinopathy. The model design is to design a deep learning network structure on the basis of a residual convolutional network. The model initialization is an improvement of a conventional parameter initialization method. The feature extraction is to extract and store, for data during a training process of a deep learning network, a feature of a final layer after training convergence. The feature fusion is to perform quadratic superposition and integration on the feature stored in the previous state and then to re-perform training and prediction. By performing lesion category diagnosis on a large number of retinal images of patients with diabetes, results can be quickly output, and high diagnostic accuracy can be implemented.

Inventors:
LU GUANGHUI (CN)
CAI HONGBIN (CN)
CHEN QI (CN)
Application Number:
PCT/CN2018/108155
Publication Date:
April 02, 2020
Filing Date:
September 27, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
UNIV ELECTRONIC SCI & TECH CHINA (CN)
International Classes:
G06N3/04
Foreign References:
CN107330449A2017-11-07
CN108564166A2018-09-21
CN107203778A2017-09-26
CN104835150A2015-08-12
CN106934798A2017-07-07
CN106803247A2017-06-06
Other References:
LUO, YUANSHENG: "Diagnosis of Diabetic Retinopathy Based on Retinal Images", MEDICINE & PUBLIC HEALTH, CHINA MASTER’S THESES FULL-TEXT DATABASE, vol. E065-44, no. 2, 15 February 2018 (2018-02-15), ISSN: 1674-0246
Download PDF:
Claims:
权 利 要 求 书

1.一种基于卷积神经网络的糖尿病视网膜病变诊断技术, 其特征在于, 该方法包括以下步 骤:

步骤 1, 数据输入, 将糖尿病视网膜眼底图原图存放到数据输入文件夹里;

步骤 2,数据预处理,首先对糖尿病视网膜眼底图进行预处理,其中包括缩放和裁剪处理, 以及去除无效部分;

步骤 3 , 模型设计, 基于 VGG网络设计一种多层次的卷积神经网络分别为 8层、 11层、 13 层;

步骤 4, 网络初始化, 卷积神经网络对卷积神经网络结构选取初始化方式;

步骤 5 , 网络训练, 对卷积神经网络进行逐层训练, 每层之间逐次初始化;

步骤 6, 特征提取与融合, 在最深层的卷积神经网络的最后一层卷积层进行特征提取, 并 且存储到磁盘作为备用;

步骤 7, 再次检测, 设计一个多层感知机模型, 用磁盘存储的已经进行过融合的特征进行 快速再次训练预测。

2.根据权利要求 1所述的基于卷积神经网络的糖尿病视网膜病变诊断技术,其特征在于, 所述的步骤 2中进行了视网膜眼底图的无效区域去除、 尺寸缩放、 过采样以及动态裁剪。 所 述的步骤 2进一步包括:

步骤 2.1, 无效区域去除: 计算眼底图周围 1/32区域边缘的最大像素值, 然后将周围所有 小于此像素值的全部置 0。 将非 0像素包括的矩形部分裁剪出来, 如果满足图片的像素长宽 比 0. 8则裁剪成功。 如果不满足则强制调整比例。

步骤 2.2, 缩放上述步骤生成的视网膜眼底图, 生成 128x128 , 256x256, 512x512三个尺 寸的视网膜眼底图。

步骤 2.3 , 过采样: 因为糖尿病视网膜眼底图的不同的标签类别所含的数量占比差异可能 比较大, 所以需要过采样, 过采样就是将占比小的类别图像进行多次拷贝, 以生成更多该类 别的图像。

步骤 2.4, 动态裁剪: 在每一个进行训练的过程中, 首先对采样过的图片进行 80%区域的 裁剪, 比如 128x128裁剪为 114x114, 裁剪的区域是随机的, 以防止过采样的图像发生重复现 象。

3.根据权利要求 1所述的基于卷积神经网络的糖尿病视网膜病变诊断技术,其特征在于, 所述的步骤 3中设计了一种层次网络结构。 所述的步骤 3进一步包括:

步骤 3.1,层次模型一共分为三个阶段,分别命名为 BLK_A, BLK_B,BLK_C。其中 BLK_A 替换页(细则第 26条) 为 8层卷积神经网络结构, 包含 5x5尺寸的卷积核和 2层池化层最后接上 2层 512个神经元 的全连接层。 BLK_B为 11层卷积神经网络结构,前置部分直接以 BLK_A层次去掉全连接层 剩余的层次作为基底, 然后再接上 3层卷积层和 2层全连接层。 BLK_C以 BLK_B去掉全连 接层为前置层次, 同样接上 3层卷积层和 2层全连接层, 只不过 BLK_C全连接层神经元个 数提高到 2048。

步骤 3.2, BLK_A对应 128x128尺寸图片作为输入, BLK_B对应 256x256尺寸作为输入, BLK_C对应 512x512作为输入。

4.根据权利要求 1所述的基于卷积神经网络的糖尿病视网膜病变诊断技术,其特征在于, 所述的步骤 5中描述卷积神经网络的训练过程, 所述步骤 5进一步包括:

步骤 5.1, 利用自适应动态重采样方法对不均衡分类的糖尿病视网膜眼底图进行训练中动 态采样:

wcur = wi - ec + wr (l - ec) (1) 如公式 (1 ), ^表示当前每个类别的过采样权重参数, 该方法根据当前的过采样权重参数 调整当前每个类别的训练样本, Wi表示初始的每个类别的过采样权重参数, W/对应每个类别 的最终权重 (即训练样本的原始分布), e为训练平衡因子, c为当前训练的轮回次数。

步骤 5.2,通过适应性裁剪的方法解决重复训练的问题。适应性裁剪是在对图像进行偏移、 旋转、 缩放等变换算法随机组合操作后, 然后将 128x128图像裁剪为 112x112, 256x256图像 裁剪为 224x224, 512x512图像裁剪为 448x448。

步骤 5.3 , 将裁剪后的图片进行像素标准化, 公式 (2)为像素标准化算法。

其中 p表示标准化前的像素值, //为平均像素, a表示标准差, Z表示标准化后的像素值。 步骤 5.4, 采用回归代替分类, 利用线性输出分区间统计分类。最后损失函数为 L2正则化 防止参数过大 (将参数进行求平方和添加权重参数的惩罚项), 如公式 (3)。

C = Q + ~ 2nLX w M2 (3) 其中 C。表示损失函数计算的返回值, w表示各层卷积核参数, /I表示可调参数, 《表示层 数。

5.根据权利要求 1所述的基于卷积神经网络的糖尿病视网膜病变诊断技术,其特征在于, 所述的步骤 6中特征提取过程包括本发明中的特征融合方法, 所述步骤 6进一步包括: 替换页 (细则第 26条) 步骤 6.1, 训练层次模型分为 BLK_A, BLK_B和 BLK_C层。

步骤 6.2,将层次模型里面最后一层称作 RMSL,再一次将对应层次分辨率的图片导入模型, 此次不采用迭代更新, 而只是进行一遍正向特征提取。 对 RMSL层的输出进行提取。

步骤 6.3 , 根据输入数据和变换算法, 计算出特征矩阵 (数据), 然后再进行特征融合。 公 式(4)为特征融合算法:

其中 Z、为特征矩阵的线性叠加, X ,为特征矩阵的均方叠加, /为归一化结果, /为参数 计算的样本个数, X为 RMSL层的输出矩阵。

步骤 6.4, 通过融合提取的特征按层次模型 BLK_A, BLK_B, BLK_C分别存储起来, 其中 每个模型类别分别包含融合度为 5 , 25 , 50的不同图像特征数据。

步骤 6.5 , 将图像特征数据存储为二进制文件。

6.根据权利要求 1所述的基于卷积神经网络的糖尿病视网膜病变诊断技术,其特征在于, 所述的步骤 7中设计了一个多层感知机模型, 所述步骤 7进一步包括:

步骤 7.1, 设计一个多层感知机, 第一层为输入层神经网络, 包含输入文件规模大小个数 的神经元, 第二、 三、 四层为隐含层, 神经元均为 1024个, 最后一层为输出层, 采用一个神 经元。 输入采用前一步骤的二进制特征文件, 经过多层感知机进行回归预测, 最终得出的数 值作为结果。

替换页(细则第 26条)

Description:
一种基于卷积神经网络的糖尿病视网膜病变诊 断技术

技术领域

本发明属于医疗计算机辅助诊断领域, 尤其涉及一种基于深度学习进行智能诊断病变 的 技术。

背景技术

在信息时代爆发的时代, 计算机技术不仅改变了人们的日常生活也改变 着人们的医疗水 平。 尤其是近年人工智能的发展, 己经逐步向医学诊疗领域迈进。 现今医疗行业会产生大量 的医学图像, 这些图像内含信息丰富, 分辨率极高, 传统的人工诊断己经难以处理日均量直 线增长的医学图像。 因此十分有必要结合计算机辅助技术帮助医生 进行诊断, 甚至能够代替 医生的大部分操作。

传统的对糖尿病视网膜病变进行检测的用的比 较多的是机器学习方法, 而机器学习方法 不适合大量的耗时计算。 本专利采用深度学习技术代替机器学习方法对 糖尿病视网膜病变进 行检测。 卷积神经网络是深度学习算法比较核心的一种 算法, 它包括卷积层、 池化层和全连 接层等主要的几个层次。虽然卷积神经网络己 经证明具有超过机器学习算法的优秀拟合性能 , 但是也有一些缺点:

研究表明,在如本发明涉及的医疗数据方面需 要较深的模型才能进行更好的训练,但是随 着模型层次的加深容易导致过拟合, 而且参数巨大训练速度得不到保证; 并且糖尿病视网膜 眼底图像素细腻, 内含特征丰富, 传统的方法无法有效的提取到大量有用的特征 , 对训练后 的模型的预测效果影响非常的大。

发明内容

为了保证最有效的提取糖尿病视网膜病变的眼 底图的特征, 本发明提供了一种基于卷积 神经网络的糖尿病视网膜病变诊断技术, 包括以下主要步骤:

步骤 1, 数据输入, 将糖尿病视网膜眼底图原图存放到数据输入文 件夹里;

步骤 2,数据预处理,首先对糖尿病视网膜眼底图进 预处理,其中包括缩放和裁剪处理, 以及去除无效部分;

本步骤主要包括:

步骤 2.1, 无效区域去除: 计算眼底图周围 1/32区域边缘的最大像素值, 然后将周围所有 小于此像素值的全部置 0。 将非 0像素包括的矩形部分裁剪出来, 如果满足图片的像素长宽 比 0. 8则裁剪成功。 如果不满足则强制调整比例。

步骤 2.2, 缩放上述步骤生成的视网膜眼底图, 生成 128x128, 256x256, 512x512三个尺 寸的视网膜眼底图。

步骤 2.3 , 过采样: 因为糖尿病视网膜眼底图的不同的标签类别所 含的数量占比差异可能 比较大, 所以需要过采样, 过采样就是将占比小的类别图像进行多次拷贝 , 以生成更多该类 别的图像。

步骤 2. 4, 动态裁剪: 在每一个进行训练的过程中, 首先对采样过的图片进行 80%区域的 裁剪, 比如 128x128裁剪为 114x114, 裁剪的区域是随机的, 以防止过采样的图像发生重复现 象。

步骤 3 , 模型设计, 基于 VGG网络 (牛津大学提出的一种深度卷积神经网络 )设计一种多层 次的卷积神经网络分别为 8层、 11层、 13层;

本步骤主要包括:

步骤 3.1,层次模型一共分为三个阶段,分别命名为 BLK_A, BLK_B, BLK_C。其中 BLK A 为 8层卷积神经网络结构, 包含 5x5尺寸的卷积核和 2层池化层最后接上 2层 512个神经元 的全连接层。 BLK_B为 11层卷积神经网络结构,前置部分直接以 BLK_A层次去掉全连接层 剩余的层次作为基底, 然后再接上 3层卷积层和 2层全连接层。 BLK_C以 BLK_B去掉全连 接层为前置层次, 同样接上 3层卷积层和 2层全连接层, 只不过 BLK_C全连接层神经元个 数提高到 2048。

步骤 3.2, BLK A对应 128x128尺寸图片作为输入, BLK B对应 256x256尺寸作为输入, BLK C对应 512x512作为输入。

步骤 4, 网络初始化, 卷积神经网络对卷积神经网络结构选取初始化 方式;

步骤 5, 网络训练, 对卷积神经网络进行逐层训练, 每层之间逐次初始化;

本步骤主要包括:

步骤 5.1, 利用自适应动态重采样方法对不均衡分类的糖 尿病视网膜眼底图进行训练中动 态采样:

w cur = w i - e c + w f - (l - e c ) (1) 其中 w ra? 表示当前每个类别的过采样权重参数,该 方法根据当前的过采样权重参数调整当 前每个类别的训练样本, W f 表示初始的每个类别的过采样权重参数, 对应每个类别的最终 权重 (即训练样本的原始分布), e为训练平衡因子, C为当前训练的轮回次数。

步骤 5.2,通过适应性裁剪的方法解决重复训练的问 。适应性裁剪是在对图像进行偏移、 旋转、 缩放等变换算法随机组合操作后, 然后将 128x128图像裁剪为 112x112, 256x256图像 裁剪为 224x224, 512x512图像裁剪为 448x448。 步骤 5.3 , 将裁剪后的图片进行像素标准化, 公式 (2)为像素标准化算法。

其中 P表示标准化前的像素值, //为平均像素, ^表示标准差, z表示标准化后的像素值。 步骤 5.4, 采用回归代替分类, 利用线性输出分区间统计分类。最后损失函数 为 L2正则化 防止参数过大 (将参数进行求平方和添加权重参数的惩罚项) 如公式 (3)。 其中 C’。表示损失函数计算的返回值, w表示各层卷积核参数, / I表示可调参数, 《表示层 数。

步骤 6, 特征提取与融合, 在最深层的卷积神经网络的最后一层卷积层进 行特征提取, 并 且存储到磁盘作为备用;

本步骤主要包括:

步骤 6.1, 训练层次模型分为 BLK_A, BLK_B和 BLK_C层。

步骤 6.2,将层次模型里面最后一层称作 RMSL,再一次将对应层次分辨率的图片导入模型 此次不采用迭代更新, 而只是进行一遍正向特征提取。 对 RMSL层的输出进行提取。

步骤 6.3 , 根据输入数据和变换算法, 计算出特征矩阵 (数据), 然后再进行特征融合。 公 式 (4)为特征融合算法:

为特征矩阵的均方叠加, 为归一化结果, i为参数 计算的样本个数, X为 RMSL层的输出矩阵。

步骤 6.4, 通过融合提取的特征按层次模型 BLK_A, BLK_B, BLK_C分别存储起来, 其中 每个模型类别分别包含融合度为 5 , 25 , 50的不同图像特征数据。

步骤 6.5 , 将图像特征数据存储为二进制文件。

步骤 7, 再次检测, 设计一个多层感知机模型, 用磁盘存储的己经进行过融合的特征进行 快速再次训练预测。

其中步骤 7.1, 设计一个多层感知机, 第一层为输入层神经网络, 包含输入文件规模大小 个数的神经元, 第二、 三、 四层为隐含层, 神经元均为 1024个, 最后一层为输出层, 采用一 个神经元。 输入采用前一步骤的二进制特征文件, 经过多层感知机进行回归预测, 最终得出 的数值作为结果。

本发明的有益效果是: 首先对数据进行裁剪、 去除干扰、 过采样等预处理, 大大减少了参 数和不必要的特征提取区域; 设计了一种层次模型, 能够比传统模型减少大量的参数, 还能 够阶段性的逐阶段初始化训练保证了训练速度 和训练效果; 设计了一种特征融合方法使得训 练好的模型能够提取更有效更丰富的特征进行 再次训练预测, 能够获得更高的预测准确率。

附图说明

图 1 示出了本发明一种基于卷积神经网络的糖尿病 视网膜病变诊断技术的流程图; 图 2 示出了本发明的层次模型网络结构图;

图 3 示出了本发明的特征融合算法框架图;

具体实施方式

下面结合附图和实施例对本发明优先实施方式 进一步说明:

图 1所示的流程图给出了本发明整个实施的具体 程:

步骤 1, 数据输入, 将糖尿病视网膜眼底图原图存放到数据输入文 件夹里;

步骤 2,数据预处理,首先对糖尿病视网膜眼底图进 预处理,其中包括缩放和裁剪处理, 以及去除无效部分;

本步骤包括:

步骤 2. 1, 无效区域去除: 计算眼底图周围 1/32区域边缘的最大像素值, 然后将周围所有 小于此像素值的全部置 0。 将非 0像素包括的矩形部分裁剪出来, 如果满足图片的像素长宽 比 0. 8则裁剪成功。 如果不满足则强制调整比例。

步骤 2. 2, 缩放上述步骤生成的视网膜眼底图图, 生成 128x128, 256x256, 512x512三个 尺寸的视网膜眼底图。

步骤 2. 3, 过采样: 因为糖尿病视网膜眼底图的不同的标签类别所 含的数量占比差异可能 比较大, 所以需要过采样, 过采样就是将占比小的类别图像进行多次拷贝 , 以生成更多该类 别的图像。

步骤 2. 4, 动态裁剪: 在每一个进行训练的过程中, 首先对采样过的图片进行 80%区域的 裁剪, 比如 128x128裁剪为 114x114,裁剪的区域是随机的, 以防止过采样的图像发生重复现 象。

步骤 3, 模型设计, 基于 VGG网络设计一种多层次的卷积神经网络分别为 8层、 11层、 13 层;

本步骤包括:

步骤 3. 1, 层次模型一共分为三个阶段, 分别命名为 BLK_A, BLK_B, BLK_C。 其中 BLK_A 为 8层卷积神经网络结构, 包含 5x5尺寸的卷积核和 2层池化层最后接上 2层 512个神经元 的全连接层。 BLK_B为 11层卷积神经网络结构, 前置部分直接以 BLK_A层次去掉全连接层剩 余的层次作为基底, 然后再接上 3层卷积层和 2层全连接层。 BLK_C以 BLK_B去掉全连接层 为前置层次, 同样接上 3层卷积层和 2层全连接层, 只不过 BLK_C全连接层神经元个数提高 到 2048。

步骤 3. 2, BLK_A对应 128x128尺寸图片作为输入, BLK_B对应 256x256尺寸作为输入, BLK_C对应 512x512作为输入, 如图 2所示。

步骤 4, 网络初始化, 卷积神经网络对卷积神经网络结构选取初始化 方式;

利用 MSRA (微软亚洲研究院)提出的一种针对非线性激活 数的初始化方法进行网络初始 化。首先假设卷积层 /的输出如公式 (5),其中 W为权重参数, 6为偏置, x为输入,少为输出。

yi = W l x l + b l (5) 然后求得其方差为:

Var[y t ] = ri j VarlW j ]i?[x; 2 ] (6b) 其中输入%表示样本数量, / 表示第 /层。

本发明使用 ReLU(Rectified Linear Units)作为激活函数, ReLU是一种非线性激活函数, 函 数在负方向 0激活, 在正方向线性激活, 具体函数如下:

/(x) = max(0,x) (7) 于是有公式 (8):

= f()U) (8a)

其中 x是输入, 是输出, Far是方差, A 是期望, %是第 /层参数个数。

最后能够得到高斯分布初始化:

其中〃是输入参数个数。

步骤 5 , 网络训练, 对卷积神经网络进行逐层训练, 每层之间逐次初始化;

本步骤包括:

步骤 5.1, 利用自适应动态重采样方法对不均衡分类的糖 尿病视网膜眼底图进行训练中动 态采样:

w cur = w i - e c + w f - (l - e c ) (10) 如公式 (10), w ra? 表示当前每个类别的过采样权重参数, 该方法根据当前的过采样权重参 数调整当前每个类别的训练样本, 表示初始的每个类别的过采样权重参数, W/ 对应每个类 别的最终权重 (即训练样本的原始分布), e为训练平衡因子, c为当前训练的轮回次数。

步骤 5.2,通过适应性裁剪的方法解决重复训练的问 。适应性裁剪是在对图像进行偏移、 旋转、 缩放等变换算法随机组合操作后, 然后将 128x128图像裁剪为 112x112, 256x256图像 裁剪为 224x224, 512x512图像裁剪为 448x448。

步骤 5.3 , 将裁剪后的图片进行像素标准化, 公式 (11)为像素标准化算法。

z = ^ (11) 其中 ^表示标准化前的像素值, //为平均像素, ^表示标准差, z表示标准化后的像素值。 步骤 5.4, 采用回归代替分类, 利用线性输出分区间统计分类。最后损失函数 为 L2正则化 防止参数过大 (将参数进行求平方和添加权重参数的惩罚项) 如公式 (12)。 其中 C。表示损失函数计算的返回值, W表示各层卷积核参数, / I表示可调参数, 《表示层 数。

步骤 6, 特征提取与融合, 在最深层的卷积神经网络的最后一层卷积层进 行特征提取, 并 且存储到磁盘作为备用;

本步骤包括:

步骤 6.1, 训练层次模型分为 BLK_A, BLK_B和 BLK_C层 (如图 2 ), 整个特征融合流程如图 3。

步骤 6.2,将层次模型里面最后一层称作 RMSL,再一次将对应层次分辨率的图片导入模型 此次不采用迭代更新, 而只是进行一遍正向特征提取 (特征提取就是输入数据在卷积神经网 络模型的每一个卷积层的卷积核作用过后得到 输出的特征数据)。对 RMSL层的输出进行提取。

步骤 6.3 ,根据输入数据和所有变换算法,计算出特征 阵(数据),然后再进行特征融合。 公式(13)为特征融合算法:

其中 ^为特征矩阵的线性叠加, 为特征矩阵的均方叠加, 为归一化结果, z为 参数计算的样本个数, 为 RMSL层的输出矩阵。

步骤 6.4, 通过融合提取的特征按层次模型 BLK_A, BLK_B, BLK_C分别存储起来, 其中 每个模型类别分别包含融合度(同一张图像通 过随机裁剪、 变形、 偏移、 反转等操作完成的一 系列图像组通过均方像素合成, 其中图像组的大小称为融合度)为 5 , 25, 50的不同图像特征 数据。

步骤 6.5 , 将图像特征数据存储为二进制文件。

步骤 7, 再次检测, 设计一个多层感知机模型, 用磁盘存储的己经进行过融合的特征进行 快速再次训练预测。

本步骤包括:

步骤 7.1, 设计一个多层感知机, 第一层为输入层神经网络, 包含输入文件规模大小个数 的神经元, 第二、 三、 四层为隐含层, 神经元均为 1024个, 最后一层为输出层, 采用一个神 经元。 输入采用前一步骤的二进制特征文件, 经过多层感知机进行回归预测, 最终得出的数 值作为结果。

步骤 7.2, 将融合特征按单幅图片数据对应相应的标签进 行回归预测, 将多种层次模型生 成的特征分别用不同的多层感知机进行预测, 然后结果进行投票, 得到最终预测。