Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
IMAGE PROCESSING METHOD AND SYSTEM
Document Type and Number:
WIPO Patent Application WO/2018/222136
Kind Code:
A1
Abstract:
The present invention relates to an image processing method and system. The method comprises: receiving an initial user file from a user terminal, the initial user file comprising user data and a user image; loading the initial user file to a server, the server having stored therein reference images and a calculation model, the reference images comprising a plurality of reference images having classification code 1 and a plurality of reference images having classification code 2; comparing, by means of the calculation model, the user image and the reference images to determine whether the classification code of the user image is 1 or 2; storing the classification code of the user image in the initial user file to generate an updated user file; and, sending the updated user file to the user terminal.

Inventors:
KULANTAYAN BHAVANI (SG)
NIE WENWEI (SG)
YASIN GUMILANG HENDRA STIAWAN MOHAMED (SG)
ONG KA WAI BARBARA (SG)
ONG SOON KIAT (SG)
FAN RICHARD (SG)
NG CASSANDRA SHI MIN (SG)
ONG MELVIN JUN WEN (SG)
Application Number:
PCT/SG2018/050262
Publication Date:
December 06, 2018
Filing Date:
May 28, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
SKAINOM PTE LTD (SG)
International Classes:
G06F15/18; A61F9/00; G06K9/00; G06N3/08
Foreign References:
US20150110370A12015-04-23
US20140201126A12014-07-17
US20040188609A12004-09-30
US20030152276A12003-08-14
Other References:
TIAN, JUNZHAN: "Design and practice for a PACS based structured report module (non-official translation)", DOCTORAL DISSERTATION OF FIRST MILITARY MEDICAL UNIVERSITY (2003 GRADE), 31 March 2006 (2006-03-31), pages 1 - 127
Attorney, Agent or Firm:
CHINA SINDA INTELLECTUAL PROPERTY PTE LTD (SG)
Download PDF:
Claims:
权利要求

1. 一种图像处理方法, 其特征在于, 所述方法包括:

从用户端接收初始用户文件, 所述初始用户文件包括用户数据及 用户图像;

加载所述初始用户文件到服务器中, 所述服务器存储有参考图像 及计算模型, 所述参考图像包括多个分类代码为 1 的参考图像 及多个分类代码为 2的参考图像;

使用所述计算模型, 将所述用户图像与所述参考图像进行比对, 以将所述用户图像的分类代码确定为 1及 2之一; 将用户图像的分类代码存入初始用户文件以生成更新用户文件; 发送更新用户文件至用户端。

2. 根据权利要求 1所述的方法, 其特征在于, 所述更新用户文件包

括颜色标记, 所述颜色标记包括与分类代码 1对应的绿色标记 及与分类代码 2对应的红色标记。

3. 根据权利要求 1所述的方法, 其特征在于, 如果用户图像的分类

代码被确定为 1, 所述方法还包括, 将第一跟进代码存入初始 用户文件以生成所述更新用户文件。

4. 根据权利要求 1所述的方法, 其特征在于, 如果用户图像的分类

代码被确定为 2, 所述方法还包括, 将第二跟进代码存入初始 用户文件以生成所述更新用户文件。

5. 根据权利要求 1所述的方法, 其特征在于, 还包括, 将已确定分

类代码的用户图像作为参考图像存储到服务器中。

6. 根据权利要求 1所述的方法, 其特征在于, 还包括, 在从用户端 接收初始用户文件之前, 加载所述参考图像于所述服务器中, 基于所述参考图像训练人工智能引擎, 及使用所述人工智能引 擎构建所述计算模型。

7. 根据权利要求 6所述的方法, 其特征在于, 所述人工智能引擎包 括机器学习算法和深度学习算法中的至少一个算法或算法的组 合。

8. 根据权利要求 7所述的方法, 其特征在于, 所述人工智能引擎包 括支持向量机 (SVM) 、 梯度提升机 (GBM) 、 随机森林和卷积 神经网络中的至少一个。

9. 根据权利要求 6所述的方法, 其特征在于, 还包括, 基于所述用 户图像及确定的分类代码训练所述人工智能引擎。

10.根据权利要求 1所述的方法, 其特征在于, 其中所述用户图像为 用户的视网膜眼底图像, 包括至少 3000*2000个像素, 具有至 少 45度的眼底区域, 以及至少 150dpi的像素分辨率。

11.根据权利要求 1所述的方法, 其特征在于, 其中所述用户图像为 用户的视网膜眼底图像, 其中将所述用户图像与所述参考图像 进行比对进一步包括使用以下眼睛状态判断要素的至少一个进 行比对:

( a) 图像中呈现的多个视网膜血管;

(b ) 杯盘比小于 0. 3; 以及 (c) 缺少以下要素中的至少一个:

(i) 可见介质混浊度;

( ϋ ) 糖尿病性视网膜病变指示器, 其包括印迹样出血、 微动脉瘤和硬渗出物中的至少一个;

(iii) 糖尿病性黄斑病变;

(iv) 黄斑水肿;

(v) 在黄斑附近的渗出物;

(vi) 在黄斑上的渗出物;

(vii) 激光疤痕;

(viii) 白内障;

(ix) 青光眼;

(χ) 糖尿病性视网膜病变; 和

(xi) 与年龄相关的黄斑退化, 其包括多个大玻璃疣、 具有色素减退的显著区域的地图状萎缩和脉络膜新生血管膜 中的至少一个, 其中与年龄相关的黄斑退化是指示萎缩性的、 新生血管的和渗出性的至少一个;

其中眼睛状态判断要素的至少一个可以不作为分类的判 断要素。 12.根据权利要求 1所述的方法, 其中所述用户文件由无线数据传输 器上传到所述服务器。

13.根据权利要求 1所述的方法, 其中所述服务器托管至少一个国家 数据传输门户和至少一个世界数据传输门户。

14.根据权利要求 1所述的方法, 其中用户文件是经由至少一个便携 式应用上传到所述服务器。

15.根据权利要求 1所述的方法, 其特征在于, 所述分类代码为 2的 参考图像包括多个子分类代码为 2-1 的参考图像及多个子分类代 码为 2-2的参考图像, 所述方法包括将所述分类代码确定为 2的 用户图像与所述多个子分类代码为 2-1 的参考图像及多个子分类 代码为 2-2的参考图像进行比对, 以将分类代码确定为 2的用户 图像的子分类代码进一步确定为 2-1及 2-2之一,以及将用户图像 的子分类代码存入初始用户文件以生成更新用户文件。 16.根据权利要求 15所述的方法, 其特征在于, 所述更新用户文件包 括文字标记, 所述文字标记包括与子分类代码 2-1 对应的 "非紧 急" 标记及与子分类代码 2-2对应的 "紧急" 标记。

17.根据权利要求 15所述的方法, 其特征在于, 如果用户图像的子分 类代码被确定为 2-1, 所述方法还包括, 将第四跟进代码存入初始 用户文件以生成所述更新用户文件。

18.根据权利要求 15所述的方法, 其特征在于, 如果用户图像的子分 类代码被确定为 2-2, 所述方法还包括, 将第五跟进代码存入初始 用户文件以生成所述更新用户文件。

19.根据权利要求 15所述的方法, 其特征在于, 其中所述用户图像为 用户的视网膜眼底图像, 其中所述分类代码确定为 2 的用户图像 与所述子分类代码为 2-1 的参考图像进行比对进一步包括使用以 下眼睛状态判断要素的至少一个进行比对:

( a-i ) 微动脉瘤 /印迹样出血;

( a-i i ) 不在黄斑中的硬渗出物; (b-i) 轻微致密白内障 (黄斑和血管可见) ;

(c-i) 在远离黄斑 (离黄斑中心 3个视盘直径以外) 的周围 区域的玻璃疣 (硬的或软的) 的存在; 以及

(c-ii) 色素。

0.根据权利要求 15所述的方法, 其特征在于, 其中所述用户图像为 用户的视网膜眼底图像, 其中所述分类代码确定为 2 的用户图像 与所述子分类代码为 2-2 的参考图像进行比对进一步包括使用以 下眼睛状态判断要素的至少一个进行比对:

(a-i) 多于三个印迹样出血;

(a-ii) 火焰出血;

(a-iii) 具有出血和微动脉瘤的棉絮斑;

(a-iv) 黄斑中具有微动脉瘤和印迹样出血的硬渗出物;

(a-v) 静脉串珠样改变;

(a-vi) 2个或更多象限的出血;

(a-vii) 视网膜内微血管异常;

(a-viii) 静脉环路;

(a-ix) 盘上的新血管或者任何其它地方的新血管的存在; (a-x) 视网膜脱落;

(a-xi) 视网膜前出血;

(a-xii) 玻璃体出血;

(a-xiii) 纤维增生;

(b-i) 使得黄斑和血管模糊的白内障部分或完全致密;

(b-ii) 黄斑和血管不可见;

(c-i)在黄斑之内 (离黄斑中心 2个视盘直径以内) 的玻璃疣 (硬的或软的) 的存在;

(c-ii) 地图状萎缩;

(c-iii) 视网膜下的纤维疤痕; (c-iv) 色素上皮脱离;

(c-v) 视网膜下的纤维血管的病变 (视网膜下的出血) ;

(c-vi) 脉络膜的新生血管膜;

(c-vii) 渗出性的与年龄相关的黄斑变性;

(d-i) 任一眼睛的杯盘比大于或等于 0.3;

(d-ii) 盘的不对称性大于或等于 0.2;

(d-iii) 盘出血;

(d-iv) 任何开槽或边缘变薄的出现;

(e-i) 介质混浊度;

(e-ii) 模糊的黄斑 (其可能造成收缩的瞳孔) ;

(e-iii)曝光不足或过度曝光导致的血管和黄斑的不可见; 以 及

(e-iv) 视神经盘和黄斑的焦点不足和 /或错误的定位。 21.—种图像处理系统, 其特征在于, 所述系统包括:

服务器, 其中存储有参考图像及计算模型, 所述参考图像包括多 个分类代码为 1的参考图像及多个分类代码为 2的参考图像; 用户端, 用于生成初始用户文件, 所述初始用户文件包括用户数 据及用户图像; 所述用户端与所述服务器通讯连接, 当接收用户文件后, 服务器启动所述计算模型, 将所述用户图像 与所述参考图像进行比对, 以将所述用户图像的分类代码确定 为 1及 2之一, 将用户图像的分类代码存入初始用户文件以生 成更新用户文件, 及将更新用户文件发送至用户端。 22.根据权利要求 21所述的系统, 其特征在于, 所述更新用户文件包

括颜色标记, 所述颜色标记包括与分类代码 1对应的绿色标记 及与分类代码 2对应的红色标记。

23.根据权利要求 21所述的系统, 其特征在于, 所述系统还包括基于 所述参考图像训练的人工智能引擎, 所述人工智能引擎用于构 建所述计算模型。

24.根据权利要求 22所述的系统, 其特征在于, 所述人工智能引擎包 括机器学习算法和深度学习算法中的至少一个算法或算法的组

25.根据权利要求 23所述的系统, 其特征在于, 所述人工智能引擎包 括支持向量机 (SVM) 、 梯度提升机 (GBM) 、 随机森林和卷积 神经网络中的至少一个。

26.根据权利要求 21所述的系统, 其特征在于, 其中用户图像为用户 的视网膜眼底图像,所述服务器存储有眼睛状态判断要素信息, 所述眼睛状态判断要素信息包括:

(a) 图像中呈现的多个视网膜血管;

(b) 杯盘比小于 0.3; 以及

(c) 以下要素中的至少一个:

(i) 可见介质混浊度;

( ϋ) 糖尿病性视网膜病变指示器包括印迹样出血、 微 动脉瘤和硬渗出物中的至少一个;

(iii) 糖尿病性黄斑病变;

(iv) 黄斑水肿;

(v) 在黄斑附近的渗出物;

(vi) 在黄斑上的渗出物;

(vii) 激光疤痕; ( iii) 白内障;

(ix) 青光眼;

(χ) 糖尿病性视网膜病变; 和

(xi) 与年龄相关的黄斑变性, 包括多个大玻璃疣中的 至少一个,具有色素减退和脉络膜新生血管膜的显著区域的地 图状萎缩, 其中与年龄相关的黄斑变性是指示萎缩性的、新生 血管的和渗出性的至少一个。

27. 根据权利要求 21所述的系统, 其特征在于, 所述分类代码为 2 的 参考图像包括多个子分类代码为 2-1 的参考图像及多个子分类代码 为 2-2 的参考图像, 所述服务器启动所述计算模型, 将所述分类代 码确定为 2 的用户图像与所述多个子分类代码为 2-1 的参考图像及 多个子分类代码为 2-2的参考图像进行比对, 以将分类代码确定为 2 的用户图像的子分类代码进一步确定为 2-1及 2-2之一,以及将用户 图像的子分类代码存入初始用户文件以生成更新用户文件。

28. 根据权利要求 27 所述的系统, 其特征在于, 所述更新用户文件包 括文字标记, 所述文字标记包括与子分类代码 2-1对应的 "非紧急" 标记及与子分类代码 2-2对应的 "紧急" 标记。

29. 根据权利要求 27所述的系统, 其特征在于, 其中所述用户图

像为用户的视网膜眼底图像, 其中所述分类代码确定为 2的用 户图像与所述子分类代码为 2-1的参考图像进行比对进一步包 括使用以下眼睛状态判断要素的至少一个进行比对:

(a-i) 微动脉瘤 /印迹样出血;

(a-ii) 不在黄斑中的硬渗出物;

(b-i) 轻微致密白内障 (黄斑和血管可见) ; (c-i) 在远离黄斑 (离黄斑中心 3个视盘直径以外) 的周围区域 的玻璃疣 (硬的或软的) 的存在; 以及

(c-ii) 色素。 30. 根据权利要求 27所述的系统, 其特征在于, 其中所述用户图

像为用户的视网膜眼底图像, 其中所述分类代码确定为 2的用 户图像与所述子分类代码为 2-2的参考图像进行比对进一步包 括使用以下眼睛状态判断要素的至少一个进行比对:

(a-i) 多于三个印迹样出血;

(a-ii) 火焰出血;

(a-iii) 具有出血和微动脉瘤的棉絮斑;

(a-iv) 黄斑中具有微动脉瘤和印迹样出血的硬渗出物; (a-v) 静脉串珠样改变;

(a-vi) 2个或更多象限的出血;

(a-vii) 视网膜内微血管异常;

(a-viii) 静脉环路;

(a-ix) 盘上的新血管或者任何其它地方的新血管的存在; (a-x) 视网膜脱落;

(a-xi) 视网膜前出血;

(a-xii) 玻璃体出血;

(a-xiii) 纤维增生;

(b-i) 使得黄斑和血管模糊的白内障部分或完全致密;

(b-ii) 黄斑和血管不可见;

(c-i) 在黄斑之内 (离黄斑中心 2个视盘直径以内) 的玻 璃疣 (硬的或软的) 的存在;

(c-ii) 地图状萎缩;

(c-iii) 视网膜下的纤维疤痕 ; (c-iv) 色素上皮脱离;

(c-v) 视网膜下的纤维血管的病变 (视网膜下的出血) ;

(c-vi) 脉络膜的新生血管膜;

(c-vii) 渗出性的与年龄相关的黄斑变性;

(d-i) 任一眼睛的杯盘比大于或等于 0.3;

(d-ii) 盘的不对称性大于或等于 0.2;

(d-iii) 盘出血;

(d-iv) 任何开槽或边缘变薄的出现;

(e-i) 介质混浊度;

(e-ii) 模糊的黄斑 (其可能造成收缩的瞳孔) ;

(e-iii)曝光不足或过度曝光导致的血管和黄斑的不可见; 以及

(e-iv) 视神经盘和黄斑的焦点不足和 /或错误的定位。

Description:
图像处理方法及系统 技术领域

[0001] 本发明涉及一种图像处理方法及系统。 特别地, 本发明涉及 一种视网膜眼底图像分类方法和系统。 背景技术

[0002] 眼睛疾病、失明和视力损害的主要原因包括诸 如白内障(47.9 %) 、 青光眼 (12.3%) 、 与年龄相关的黄斑退化 (A腸) (8.7%) 、 角 膜混浊度 (5.1%) 、 糖尿病性视网膜病变 (4.8%) 。 这些疾病的流行正 在上升, 部分由于久坐的生活方式, 以及人口老龄化, 其带来了许多和上 述眼病有关的代谢性疾病 (例如糖尿病、 高血压、 高胆固醇 (高血脂症) 以及与年龄有关的疾病。 如果及时检测并治疗, 则由以上眼睛疾病发展为 失明是大部分可预防的。

[0003] 白内障是一种眼睛疾病, 其由于患者眼内晶状体的混浊化引 起模糊视力或雾像视力。 白内障主要发生在老年人的眼睛内, 因为有人认 为白内障的形成是由于晶状体中的蛋白质纤维 的恶化。 这导致块的形成, 其产生晶状体中的云区。 如果没有得到早期治疗, 白内障可导致永久性视 力丧失。

[0004] 根据 2010年的调査, 全世界 4, 590万人由于白内障影响了他 们的视力。 在 4, 590万人中, 1,080万人是由于白内障失明。 单单在亚洲, 3, 150万人患有白内障以及 727万人由于白内障失去视力。 在 2010年, 在 中国有 250万人患有白内障, 并预计每年增加 40万人。 这主要是由于 65 岁及以上的大量的老年人人口。 [0005] 青光眼指的是一组眼病, 其指的是位于眼睛后部视神经的缓 慢恶化。这常常是由于眼内液体压力的积聚。 这导致被称为房水的液体(通 常会从眼睛自然流出) 的循环的阻塞。 这种堵塞可能是由于遗传因素或对 眼睛的化学伤害而发生。

[0006] 青光眼有几种类型: 开角型青光眼、 闭角型青光眼和先天性 青光眼。 [0007] 开角型青光眼 (0AG) 是青光眼的常见类型, 发生在当眼睛的 角度 (虹膜与角膜会合的位置) 是正常时, 然而, 对眼睛引流能力的损害 导致液体积聚, 其引起内部压力的增加, 同时导致视神经损害。

[0008] 在另一方面, 闭角型青光眼 (ACG ) 是不常见的。 这发生在 当由于虹膜和角膜之间的角度过于狭窄而眼睛 内部压力的突然增加时, 因 此中断液体的引流。

[0009]先天性青光眼是青光眼的罕见形式, 其由于患者胎儿期眼睛引 流管的不良或不完全发育而导致。

[0010]从其名称可以明显看出, 糖尿病性视网膜病变 (DR) 是唯一只 发生在糖尿病患者中的情况。 这种疾病随着时间的推移引起对视网膜中的 血管的渐进损伤。 这主要由于高量的糖(其存在于糖尿病患者的 血液中) , 其引起视网膜中的微小血管泄漏液体或流血, 以及导致对眼睛血管的渐进 损伤。 这导致视觉损害诸如浑浊的或模糊的视力。 在疾病的晚期阶段, 新 生血管形成发生, 其进一步损伤视网膜细胞。 如果不及时治疗可能导致失 明。 [0011 ] 糖尿病性视网膜病变的疾病进展被分类为 4 个不同的阶段: 轻度、 中等、 重度和增殖。 在第一阶段 (轻度) , 有视网膜中的微小血管 的肿胀。 在第二阶段 (中等) , 视网膜中的血管继续肿胀, 破坏它的结构, 导致血管失去它们运输血液的能力。 在该阶段期间, 它引起视网膜的形状 的变化, 其可能导致糖尿病性黄斑水肿 (丽 E ) 。 在第三阶段 (重度) , 大 部分血管被阻塞, 导致供应到视网膜的血液减少。 当视网膜被剥夺血液供 应, 生长因子释放到新生血管形成。 在最后阶段 (增殖) , 生长因子的持 续释放, 使得新的脆弱的血管生长, 造成容易出血和泄漏, 这将最终导致 视网膜脱落。

[0012]根据 2010年的一项临床研究,在全世界估计有超过 3亿 7, 100 万成年人受糖尿病的影响 [9, 14]。 仅在亚洲, 估计有 2亿 2, 260万成年人 受糖尿病的影响 [8, 9, 14]。 诸如印度和中国等国家的患者数量最多, 分别 有 6, 510万和 1亿 1390万人受糖尿病的影响。 此外, 3亿 7, 100万成年人 中有 1亿 2, 660万患有 DR [9, 14]。 仅在中国, 5, 615万人患有 DR [9, 14]。 这是全球性的流行病, 并且患者数量逐年增加。

[0013]在 2010年,全世界估计共有 6, 040万人患有青光眼,其中 4, 470 万患有 0AG以及 1, 570万患有 ACG [5]。 在亚洲国家, 包括中国、 印度、 日 本和东南亚,有 3, 440万人患有青光眼,其中的 2, 090万人患有 0AG, 1, 350 万人患有 ACG。

[0014] 在现有技术下, 很多眼睛疾病的及时或早期发现已被证明是 难实现的, 尤其是在具有大量的农村人口、 分散在诸如中国、 俄罗斯和印 度等地域广大的发展中国家。 [0015] 在 2010 年, 国际眼科理事会 ( Internat ional Counci l of Ophthalmology ) 指出, 全世界共有仅 3, 200 万名眼科医生。 这相当于每 6, 400名眼科医生对 1百万人的比例。 然而, 基于对 2020年的预测研究, 东南亚到时将共有 16. 3亿人口, 但只有 1万 3, 300名眼科医生, 或 1名眼 科医生对 12万 2000人的比例。 这些数据表明, 需要更多的眼科医生, 特 别是在发展中国家。

[0016] 以下是根据国际眼科理事会的一份 2012年的具体数据:

(资料来源:

http: //www. icoph. org/ ophthalmologists-worldwide, html )

[0017] 从以上数据可以看出, 印度尼西亚和泰国的眼科医生人数大 约在 1000至 1300之间, 相对于超过 6千万的人口, 其眼科医生是非常缺 乏的, 因此, 需要治疗眼睛疾病的人群面临较高的无条件就 医的风险。

[0018] 在眼科医生的缺乏的同时, 在农村和偏远地区的人口也面临 难以获得眼科医护服务的困难, 因为眼科医生多集中在大城市。 这使得去 大城市医院以及排队求诊于大城市医院的眼科 医生成为必需。

[0019] 根据来自新加坡全国眼科中心 (SNEC ) 的统计, 即使是在糖 尿病患者中, 去做眼睛检査的人中只有三分之一实际需要眼 科医生的及时 医治。 这意味着眼科医生花费大量时间和资源检査实 际上不需要紧急医疗 处理的患者,而时间和资源本可以更好地被用 在检査真正需要治疗的患者。

[0020] 因此, 需要经济和更方便的解决方案, 特别是对于在农村或 偏远地区的用户, 使得具有健康眼睛的用户可以省去不必要的向 眼科医生 求诊的出行。 同时, 有潜眼睛疾病的用户可以及时得知其眼睛健康 状况, 从而对眼睛作进一步筛査或治疗。 发明内容

[0021 ] 本发明的一个实施例提供一种图像处理方法, 所述方法包括: 从用户端接收初始用户文件,所述初始用户文 件包括用户数据及用户图像; 加载所述初始用户文件到服务器中, 所述服务器存储有参考图像及计算模 型, 所述参考图像包括多个分类代码为 1 的参考图像及多个分类代码为 2 的参考图像; 使用所述计算模型, 将所述用户图像与所述参考图像进行比 对, 以将所述用户图像的分类代码确定为 1及 2之一; 将用户图像的分类 代码存入初始用户文件以生成更新用户文件; 以及发送更新用户文件至用 户端。

[0022] 优选地, 所述更新用户文件包括颜色标记, 所述颜色标记包 括与分类代码 1对应的绿色标记及与分类代码 2对应的红色标记。

[0023]优选地, 如果用户图像的分类代码被确定为 1, 所述方法还包 括, 将第一跟进代码存入初始用户文件以生成所述 更新用户文件。 [0024]优选地, 如果用户图像的分类代码被确定为 2, 所述方法还包 括, 将第二跟进代码存入初始用户文件以生成所述 更新用户文件。 [0025] 优选地, 所述方法还包括, 将已确定分类代码的用户图像作 为参考图像存储到服务器中。

[0026] 优选地, 所述方法还包括, 在从用户端接收初始用户文件之 前, 加载所述参考图像于所述服务器中, 基于所述参考图像训练人工智能 引擎, 及使用所述人工智能引擎构建所述计算模型。

[0027] 优选地, 所述人工智能引擎包括机器学习算法和深度学 习算 法中的至少一个算法或算法的组合。

[0028]优选地, 所述人工智能引擎包括支持向量机 (SVM) 、 梯度提 升机 (GBM) 、 随机森林和卷积神经网络中的至少一个。

[0029] 优选地, 所述方法还包括, 基于所述用户图像及确定的分类 代码训练所述人工智能引擎。

[0030] 优选地, 所述用户图像为用户的视网膜眼底图像, 包括至少 3000*2000个像素, 具有至少 45度的眼底区域, 以及至少 150dp i 的像素 分辨率。

[0031]优选地, 所述用户图像为用户的视网膜眼底图像, 其中将所述 用户图像与所述参考图像进行比对进一步包括 使用以下眼睛状态判断要素 的至少一个进行比对:

( a) 图像中呈现的多个视网膜血管;

( b ) 杯盘比小于 0. 3 ; 以及

( c ) 缺少以下要素中的至少一个:

( i ) 可见介质混浊度; ( ii )糖尿病性视网膜病变指示器, 其包括印迹样出血、 微动 脉瘤和硬渗出物中的至少一个;

(iii) 糖尿病性黄斑病变;

(iv) 黄斑水肿;

(v) 在黄斑附近的渗出物;

(vi) 在黄斑上的渗出物;

(vii) 激光疤痕;

( iii) 白内障;

(ix) 青光眼;

(χ) 糖尿病性视网膜病变; 和

(xi)与年龄相关的黄斑退化, 其包括多个大玻璃疣、 具有色 素减退的显著区域的地图状萎缩和脉络膜新生 血管膜中的至 少一个, 其中与年龄相关的黄斑退化是指示萎缩性的、 新生血 管的和渗出性的至少一个;

其中眼睛状态判断要素的至少一个可以不作为 分类的判断要 素。

[0032] 本发明的另一实施例为一种图像处理系统, 所述系统包括: 服务器及与所述服务器通讯连接的用户端, 服务器存储有参考图像及计算 模型, 所述参考图像包括多个分类代码为 1的参考图像及多个分类代码为 2 的参考图像; 用户端用于生成初始用户文件, 所述初始用户文件包括用 户数据及用户图像。 当接收用户文件后, 服务器启动所述计算模型, 将所 述用户图像与所述参考图像进行比对, 以将所述用户图像的分类代码确定 为 1及 2之一, 将用户图像的分类代码存入初始用户文件以生 成更新用户 文件, 及将更新用户文件发送至用户端。

[0033] 优选地, 所述更新用户文件包括颜色标记, 所述颜色标记包 括与分类代码 1对应的绿色标记及与分类代码 2对应的红色标记。

[0034] 优选地, 所述系统还包括基于所述参考图像训练的人工 智能 引擎, 所述人工智能引擎用于构建所述计算模型。

[0035] 优选地, 所述人工智能引擎包括机器学习算法和深度学 习算 法中的至少一个算法或算法的组合。

[0036] 优选地, 所述人工智能引擎包括支持向量机 (SVM) 、 梯度提 升机 (GBM) 、 随机森林和卷积神经网络中的至少一个。

[0037] 通过提供经济和方便的解决方案对用户视网膜 眼底图像进行 分类, 本发明具有潜力来显著减少全世界在发展中和 发达国家的可预防的 失明和视觉损害。 根据本发明实施例, 具有健康眼睛的用户可以省去不必 要的向眼科医生求诊的时间及资源, 具有潜在眼睛疾病的用户可以及时得 知其眼睛状况, 以便安排及时咨询眼科医生。 眼科医生也可以将其有限的 时间和资源安排在检査真正需要就医的用户。 附图说明

[0038] 以下通过示例的方式对本发明的实施例做详细 描述, 并参考 附图, 其中:

[0039] 图 1 是根据本发明实施例图像处理方法及系统的计 算模型构 建示意图。

[0040] 图 2 是根据本发明实施例图像处理方法及系统的视 网膜眼底 图像加载示意图。

[0041 ] 图 3 是根据本发明实施例图像处理方法及系统的视 网膜眼底 图像分类示意图。

[0042] 图 4 是根据本发明实施例图像处理方法及系统的计 算模型构 建步骤流程图。

[0043] 图 5 是根据本发明实施例图像处理方法及系统的视 网膜眼底 图像加载的步骤流程图。

[0044] 图 6 是根据本发明实施例图像处理方法及系统的视 网膜眼底 图像分类的步骤流程图。 [0045] 图 7 是根据本发明实施例图像处理方法及系统的通 过通信路 径门户的的示意图。

[0046] 图 8A是健康眼睛的视网膜眼底图像。 [0047] 图 8B至 8E是患有几种眼睛疾病的视网膜眼底图像。

[0048] 图 9及图 10是根据本发明实施例图像处理方法及系统的 意 图

[0049] 图 11是根据本发明另一实施例图像处理方法及系 的视网膜 眼底图像分类系统示意图。

[0050] 图 12是图 11所示实施例的计算模型构建方法流程图。 [0051 ] 图 13A是图 11所示实施例的视网膜眼底图像加载方法流程 [0052] 图 13B是图 11所示实施例的视网膜眼底图像分类方法流程 。

[0053] 图 14A是健康眼睛的视网膜眼底图像示例。

[0054] 图 14B至 14E是患有几种眼睛疾病的视网膜眼底图像示例 。

[0055] 图 15A是用来代表分类代码为 1 的符号标记示例, 图 15B是 用来代表分类代码为 2且子分类代码为 2-1的符号标记示例, 图 15C是用 来代表分类代码为 2且子分类代码为 2-2的符号标记示例。

具体实施方式

[0056] 在本公开中, 给定元件及技术特征的描述, 或在特定附图中 特定元件编号的考虑或使用, 或在对应的描述材料中对其上的参考, 可以 涵盖与在另一附图或与其相关联的描述材料中 识别的相同的、 等同的或类 似的元件及技术特征或参考数字标记。 尽管本公开的方面将结合本文中所 提供的实施例进行描述, 但是应当理解, 实施例的具体描述不旨在限制本 公开于这些实施例。 相反地, 本公开旨在覆盖在本文中描述的实施例及其 替代解决方案、 修改和等同方法及系统, 其在由所附权利要求定义的本公 开的范围内。 此外, 在下面的详细描述中, 具体细节被阐述以便提供对本 公开的透彻理解。 然而, 将被本领域的具有普通技术的人员, 即本领域技 术人员识别, 本公开可以在赘述本领域技术人员可以理解的 特定细节, 和 / 或具有来自从特定的实施例的方面的组合的多 个细节的情况下实行。 在一 些情况下, 公知的系统、 方法、 步骤和组件没有被详细描述。 除非另有说 明, 本文中所使用的术语 "包括 ( compris ing ) ,,、 "包括 ( compri se ),,、 "包括 (including ) " 、 "包括 (include ) " , 以及它们的语法变体, 旨在代表 "开放式" 或 "包括性" 的语言, 使得其定义的方法及系统包括 权利要求中限定的元件, 而且还允许包括额外的、 未限定的元件。 在本文 中所使用的术语 "传输" 、 "接收" 或 "加载" 以及它们的语法变体, 旨 在代表两个物体、 元件或装置的连接 (或者直接连接在一起, 或将它们间 接地连接在一起, 电连接或无线地, 通过其它组件 (例如路由器, 互联网, 网络和服务器) 的连接。

[0057] 如图 1 所示, 根据本发明实施例的图像处理方法及系统的计 算模型构建 100, 包括将专家级的视网膜眼底图像 101加载到保存专家级 视网膜眼底图像的数据库 102中, 使用专家级的视网膜眼底图像 101对人 工智能 (AI ) 引擎 103的训练, 使用 AI引擎 103构建模型 104。

[0058] 图 2 是根据本发明实施例的图像处理方法及系统的 视网膜眼 底图像加载 200的示意图。 视网膜眼底图像加载 200的示意图示出: 便携 式眼底相机拍摄用户视网膜眼底图像 201, 并将用户视网膜眼底图像与用 户数据组合,以创建具有用户视网膜眼底图像 和用户数据 202 的初始用户 文件, 用手机传输初始用户文件 203到连接到网络 204的手机发射塔, 在 网络服务器 205接收初始用户文件, 以及加载初始用户文件到用于存储用 户文件的服务器数据库 206。

[0059] 图 3 是根据本发明实施例的图像处理方法及系统的 视网膜眼 底图像分类 300的示意图。 视网膜眼底图像分类 300的示意图示出: 保存 初始用户文件的数据库 206, 初始用户文件是使用计算模型 104与存储于 数据库 206的、 具有分类代码为 1或 2的多个参考图像进行比对分析, 以 将所述用户图像的分类代码确定为 1及 2之一, 其中 301表示包括分类代 码确定为 1 的用户图像的用户文件, 302表示包括分类代码确定为 2的用 户图像的用户文件。 用户图像的分类代码确定后, 用户图像的分类代码被 存入初始用户文件, 以生成更新用户文件。 更新用户文件则被发送至用户 端, 将用户图像的分类代码及相关信息传送给用户 。

[0060] 图 4 是根据本发明实施例的图像处理方法及系统的 计算模型 构建 400的步骤流程图。计算模型构建 400的步骤的流程图示出如下步骤:

• 401加载多个专家分类的视网膜眼底图像到数据 库中。

· 402训练 AI引擎以对专家分类的视网膜眼底图像进行操 。

• 403使用 AI引擎,基于专家分类的视网膜眼底图像构建 算 模型。

• 404基于具有眼科医生分类的分类代码为 1及 2的视网膜眼 底图像对 AI引擎做进一步训练。

[0061 ] 图 5 是根据本发明实施例的图像处理方法及系统的 视网膜眼 底图像加载 500的步骤流程图。 视网膜眼底图像加载 500的步骤流程示出 步骤:

• 501表示用在区域中的便携式眼底照相机拍摄用 户视网膜的 视网膜眼底图像。

• 502表示创建具有用户数据和用户视视网膜眼底 图像的初始 用户文件。

• 503表示经由国家级门户或世界级门户、 通过无线数据传输 器传输初始用户文件到服务器。

· 504表示由服务器接收初始用户文件。

• 505表示加载初始用户文件到数据库中。 [0062] 图 6 是根据本发明实施例的图像处理方法及系统的 视网膜眼 底图像分类 600的步骤流程图。 分类 600的步骤流程图示出步骤:

• 601 表示使用由 AI 引擎创建的计算模型将用户视网膜眼底 图像与参考图像进行比对, 以将用户图像的分类代码确定为 1及 2之

• 602表示将用户图像的分类代码存入初始用户文 件以生成更 新用户文件。

• 603表示对于分类代码确定为 1的用户文件, 本方法及系统 生成第一跟进代码, 并加入更新用户文件, 用于提醒用户定期将其视 网膜眼底图像发送至系统, 进行后续分类。 对于分类代码确定为 2的 用户文件, 本方法及系统生成第二跟进代码, 并加入更新用户文件, 用于建议该用户咨询眼科医生, 以作进一步筛査及必要的治疗。

[0063] 图 7 是根据本发明实施例的图像处理方法及系统的 通过门户 702的通信路径 700的示意图。 如图 7所示, 通过门户的通信路径 700包 括通过笔记本电脑 704、 智能电话 706、 平板电脑 708、 计算机 710和光学 中心 712 的到门户的通信和从门户的通信。 光学中心接收来自在国家 714 和村庄 716中的用户的通信。 [0064] 本发明的一个实施例提供一种视网膜眼底图像 的分类方法, 用于将用户视网膜眼底图像进行分类处理, 以确定该用户是否有眼睛疾病 风险。 所述包括以下步骤: (a)加载多个专家确定分类的参考视网膜眼底 图像到服务器数据库中; (b ) 训练 AI引擎以对专家确定分类的参考视网 膜眼底图像进行操作; (c ) 使用 AI引擎, 基于专家确定分类的参考视网 膜眼底图像构建计算模型,以赋予每个参考视 网膜眼底图像一个分类代码, 其中分类代码 1表示对应的视网膜眼底图像被分类为 "正常" 或 "低眼疾 风险" ; 例如如图 8A所示的 "正常" 类视网膜眼底图像。分类代码 2表示 对应的视网膜眼底图像被分类为 "异常" 或 "高眼疾风险" , 包括例如如 图 8B所示的具有 "糖尿病性视网膜病变"图像特征的视网膜眼底 像, 如 图 8C所示的具有 "青光眼" 图像特征的视网膜眼底图像(其中 802表示杯 盘比 (CDR) 大于或等于 0. 75 ) , 如图 8D所示的具有 "白内障" 图像特征 的视网膜眼底图像, 以及如图 8E 所示的具有 "与年龄相关的黄斑退化 (AMD ) " 图像特征的视网膜眼底图像; (d) 从网络服务器接收初始用户 文件, 所述初始用户文件包括用户数据及用户图像; (e )加载初始用户文 件到服务器数据库中; (f )使用所述计算模型, 将初始用户文件中的视网 膜眼底图像与服务器中的参考视网膜眼底图像 进行比对分析, 以将所述用 户图像的分类代码确定为 1及 2之一; 及(g)用户图像的分类代码存入初 始用户文件以生成更新用户文件, 以记录用户视网膜眼底图像的分类, 及 发送更新用户文件至用户端。

[0065] AI 引擎的算法包括从机器学习算法和深度学习算 法中选择的 至少一个算法或算法的组合。 AI 引擎的算法包括支持向量机 (SVM) 、 梯 度提升机(GBM) 、 随机森林和卷积神经网络中的至少一个。 用户文件包括 用户数据和未分级的用户视网膜眼底图像。

[0066]在比对分析及分类代码确定步骤中, 存储于初始用户文件的视 网膜眼底图像的数目可以是 2个至 4个。

[0067]根据第一实施例的替代方案, 将所述用户图像与所述参考图像 进行比对分析,包括基于以下眼睛状态判断要 素的至少一个进行比对分析: ( a) 图像中呈现的多个视网膜血管; (b ) 杯盘比小于 0. 3; 以及 (c ) 缺 少以下中的至少一个: (i ) 可见介质混浊度; (ϋ ) 糖尿病性视网膜病变 指示器包括印迹样出血、 微动脉瘤和硬渗出物中的至少一个; (iii ) 糖尿 病性黄斑病变; (iv ) 黄斑水肿; (V ) 在黄斑附近的渗出物; (vi ) 在黄 斑上的渗出物; (vii) 激光疤痕; (viii) 白内障; (ix) 青光眼; (X) 糖尿病性视网膜病变; 和 (xi) 与年龄相关的黄斑退化, 包括多个大玻璃 疣, 具有色素减退的显著区域的地图状萎缩和脉络 膜新生血管膜中的至少 一个, 其中与年龄相关的黄斑退化是指示萎缩性的、 新生血管的和渗出性 的至少一个。 眼睛状态判断要素的至少一个可以被排除在外 。

[0068] 排除一个或多个眼睛状态判断要素可以使视网 膜眼底图像的 分类过程适合给定国家的需求及其可用资源。 [0069] 根据第一实施例的另一替代方案, (i) 专家确定分类的视网 膜眼底图像可以是眼科医生确定分类视网膜眼 底图像; (ii) 方法可以进 一步包括, 在更新文件中加入第一或第二跟进代码。 第一跟进代码对应于 分类为 1 的用户视网膜眼底图像, 可以表示建议用户在指定的时间内, 例 如 6至 12个月内, 将其用户视网膜眼底图像传至系统进行比对分 类。第二 跟进代码对应于分类为 2的用户视网膜眼底图像, 可以表示安排该用户提 交更新的用户视网膜眼底图像, 以进行核实, 以及建议用户咨询眼科医生; (iii)方法可以进一步包括, 将加入第一或第二跟进代码的更新用户文件 发至用户端; (iv) 方法可以进一步包括, 基于分类代码为 1 的至少一个 用户文件的视网膜眼底图像的眼科医生的分类 , 训练 AI引擎; (V) 方法 可以进一步包括, 基于分类代码为 2的至少一个用户文件的视网膜眼底图 像的眼科医生的分类, 训练 AI引擎; (vi)每个视网膜眼底图像可以包括 至少 3000*2000个像素,具有至少 45度的眼底区域, 以及具有至少 150dpi 的像素分辨率; (vii)至少一个用户文件的视网膜眼底图像可 用便携式 眼底照相机拍摄, 从服务器接收的步骤可以包括经由可连接到便 携式眼底 照相机的无线数据传输器的至少一个用户文件 的传输; (viii) 至少一个 用户文件的视网膜眼底图像可以用便携式眼底 照相机拍摄, 并且从网络服 务器接收的步骤包括经由便携式眼底照相机的 至少一个用户文件的传输, 其中眼底照相机可以包括无线数据传输器; (ix) 网络服务器可以托管至 少一个国家门户和至少一个全世界门户; 或(X )至少一个用户文件可以是 通过至少一个便携式应用被上传到网络服务器 。 通信也可以是通过诸如电 话、 电缆、 DSL和光纤的有线连接实现的。

[0070] 对于包括分类代码为 1 的视网膜眼底图像的用户文件, 所述 第一跟进代码可以表示提醒该用户在预定的时 间内,例如 6到 12个月之内, 再次拍摄用户视网膜眼底图像并传输至服务器 进行比对分析, 以确定该再 次拍摄的用户视网膜眼底图像的分类代码。

[0071] 对于包含分类代码为 2 的用户视网膜眼底图像的用户文件, 所述第二跟进代码可以表示建议该用户约见眼 科医生, 可以进一步包括通 过网络服务器接口预约医疗设施, 以安排和确认预约日期。 [0072] 本发明实施例图像处理方法还包括, 基于分类代码为 2 的至 少一个用户文件的视网膜眼底图像, 训练 AI引擎。通过系统被分级为非正 常的视网膜眼底图像可以被送去专家用于分类 。 一旦被分类, 专家分类的 视网膜眼底图像可以被用来进一步训练 AI引擎; (vi )每个视网膜眼底图 像可以包括至少 3000*2000的像素, 具有至少 45度的眼底区域, 以及具有 至少 150dpi的像素分辨率; (vi i ) 至少一个用户文件的视网膜眼底图像 可以用便携式眼底照相机拍摄, 以及从网络服务器接收的步骤可以包括经 由可连接到便携式眼底照相机的无线数据传输 器的至少一个用户文件的传 输; (vi i i ) 至少一个用户文件的视网膜眼底图像可以用便 携式眼底照相 机拍摄, 以及从网络服务器接收的步骤可以包括经由便 携式眼底照相机的 至少一个用户文件的传输, 其中眼底照相机可以包括无线数据传输器; ( ix ) 网络服务器可以托管至少一个国家门户和至少 一个全世界门户; 或 者(X )至少一个用户文件可以经由至少一个便携式 用被上传到网络服务 器。

[0073] 通过连接便携式眼底照相机的无线数据传输器 (诸如手机) , 用户视网膜眼底图像和用户数据可以被传送到 数据中心或托管 AI引擎 103 和模型 104的实验室, 并且快速进行分类。 诸如安排例行重新分类或诊所 眼科医生预约的随后的治疗可以从用户的视网 膜眼底图像的分类而被推 荐。 这样, 在农村或偏远地区可以使用便携式眼底照相机 拍摄用户视网膜 眼底图像。 用户数据可以由便携式应用输入, 然后在本地手机数据网络上 被传输。具有无线数据传输器及 /或用户数据的便携式眼底照相机也可以用 于用户数据输入和无线数据传输。 通过便携式应用, 用户可以获得视网膜 眼底图像的分类代码及第一或第二跟进代码, 以采取相应行动, 例如获得 转介公立医院和访问卫生信息服务,其内容可 以是根据他 /她的用户文件中 包含的他的病例记录进行定制。 [0074] 服务器 205 可以托管多个门户用于上传用户文件。 门户可以 通过国家、 地区、 语言来组织或者是全世界的。 至少一个或多个门户经由 便携式应用可以是可访问的。

[0075] 本发明的第二实施例涉及在高速计算系统 (其可以在公共或 私有云端中或在专用的企业计算资源上实现) 上运行的图像处理方法及系 统, 用于将用户的视网膜眼底图像进行分类。

[0076]如图 9及 10所示, 居住在用户端, 例如乡村 910或小城市 920 的用户, 由设置在附近的照相机 912, 922 拍摄用户视网膜眼底图像 (图 10, 步骤 1012 ), 生成初始用户文件, 并将初始用户文件通过通讯网络 930 传送至设有本发明图像处理系统的服务器, 例如设置于大城市 940的系统 服务器 942, 进行比对分析, 以获得用户视网膜眼底图像的分类代码 1016、 1018 (图 10, 步骤 1014) 。 分类代码 1016为代码 " 1 " 的分类, 表示该用 户视网膜眼底图像属于 "正常" 或 "低眼疾风险" ;分类代码 1018为代码 " 2 " 的分类, 表示该用户视网膜眼底图像属于 "异常" 或 "高眼疾风 险" 。本方法及系统可以进一步包括生成第一跟进 代码 1026及第二跟进代 码 1028, 分别对应于分类代码 1及分类代码 2。 分类代码 1016、 1018、 第 一及第二跟进代码 1026、 1028分别存储于更新的用户文件 1036、 1038, 并发送至用户端 910、 920。

[0077] 本实施例提供的图像处理方法及系统基于加有 经专家或眼科 医生鉴定的分类代码的参考图像, 开发和训练人工智能 (Art ificial Intelligence, "ΑΓ' ) 引擎, 使用该 ΑΙ引擎构建计算模型, 及使用该计 算模型将用户的视网膜眼底图像与加有分类代 码的参考图像进行比对及预 测, 从而得出用户视网膜眼底图像的分类, 并将分类结果反馈给用户。 视 网膜眼底图像的分类为第一类, 即对应于分类代码 1的用户, 被确定为属 于低风险眼睛疾病人群, 目前可以不必就医, 可以在一定时期之后, 例如 6个月至 12个月之后, 再作例行检査。 视网膜眼底图像的分类为第二类, 即对应于分类代码 2的用户,被确定为属于高风险眼睛疾病及 /或相关疾病 的人群。 本发明实施例的图像处理方法及系统将进一步 包括生成第一或第 二跟进代码, 并将第一或第二跟进代码存入更新用户文件及 发送更新用户 文件至用户端。

[0078] 根据本实施例, 加有分类代码的参考图像, ΑΙ 引擎及计算模 型能够对与眼睛相关的主要疾病对应的视网膜 眼底图像进行有效识别及分 类。这类疾病包括糖尿病性视网膜病变(DR)、 年龄相关性黄斑变性(AMD)、 青光眼和白内障等。

[0079] 根据使用本发明实施例的计算模型, 将用户视网膜眼底图像 与参考图像的比对分析, 如果户视网膜眼底图像与参考图像中被分类为 第 一类的参考图像的类似度高于计算模型中的判 定阈值, 此用户视网膜眼底 图像则被分为同一类, 即第一类。 如果户视网膜眼底图像与参考图像中被 分类为第二类的参考图像的类似度高于计算模 型中的判定阈值, 此用户视 网膜眼底图像则被分为同一类, 即第二类。

[0080] 根据本发明的实施例, 参考图像由合格的眼科医生进行人工 甄别, 根据甄别结果, 每个参考图像被分类为第一类及第二类之一, 并逐 一赋予对应的分类代码。

[0081 ] 基于具有分类代码的多个参考图像, 训练 AI引擎, 从而构建 计算模型, 以对用户视网膜眼底图像进行比对分析, 得出用户视网膜眼底 图像的分类代码。 [0082] 存储有所述具有分类代码的多个参考图像及计 算模型的服务 器,可以以深度学习(Deep Learning, " DL " )或深度神经网络(Deep Neural Network, " DNN" ) 的形式实现用于监督学习的机器学习 (Machine Learning, " ML " ) 或人工智能 (AI ) 框架的过程。 得到的 DNN算法及计 算模型, 可以用于将用户视网膜眼底图像与服务器中的 参考图像进行比对 分析, 以获得用户视网膜眼底图像的分类代码。

[0083] 计算模型可以实现于, 但不限于, 桌面级工作站 (有或没有 GPU) 。 使用的操作系统(OS ) , 包括但不限于, Windows®, iOS®, Android 和基于 Linux的系统等。 计算模型也可以被托管于第三方供应商的平台 所 提供的基于云端的服务。 图像处理系统及 /或平台可以包括但不限于, Nvidia CUDA®或像 OpenGL, OpenCV和 OpenCL等开放源代码的平台。 计算 模型可以选择一种高级编程语言和平台 (包括但不限于 Matlab®、 Python, C ++和 R等, 以及这些平台的包装) 实施。

[0084] 根据本发明实施例的一种图像处理方法, 包括访问包含数字 化的视网膜眼底图像的数据库, 并存储信息用于处理。 原始图像被映射到 由 3个独立矩阵组成的 3元组, 其中每个矩阵代表 RGB (红绿蓝) 中的一 个颜色。 如果需要, 基于 RGB的图像可以被转换或缩小为灰度图像。

[0085] 根据本发明实施例的图像处理方法还包括重塑 数据集中具有 相同空间维度的所有图像, 尽管这不是绝对需要的。 图像的宽度和高度中 的像素的数量可以被优化为训练分类模型所需 的时间量。根据图像的质量, 可以应用图像增强, 图像降噪, 图像恢复和去模糊, 缩放, 平移, 旋转和 边缘检测等图像处理方法。 映射的图像将形成数据集, 其将作为输入来训 练分类及计算模型。 [0086] 这些图像还可以经由包括但不限于主成分分析 (也称为

KarhuenLoeve变换) 和动态模式解压缩等的其他变换方法进一步处 理, 其 中矩阵的奇异值分解被执行。 通过使用变换技术, 可以开发替代的和补充 的 DNN以在这些变换的图像上进行训练, 以与主要的 D丽模型相关联, 以 对视网膜眼底图像进行比、 分析及准确分类。

[0087]分类模型的架构被采用, 但不限于使用卷积神经网络 (CNN) 。 将标称数据集输入到 CNN架构中, 使用推断的函数训练分类模型, 以预测 新的未见过图像。 CNN 架构的准确性取决于一系列参数, 诸如每一层上的 节点数量、 激活函数的选择、 损失函数、 丢失百分比、 时期 (epoch ) 的数 目等。

[0088] 可以用 k 折交叉验证技术进一步增强分类及计算模型。 其他 可能的统计技术可以被实施以提高分类模型的 准确性, 而不仅限于上述技 术。 k折交叉验证技术是评估训练过的分类模型的 计性能的模型验证。 标称数据集被划分为具有不同的百分比权重的 训练数据集和测试数据集。 [0089] 下面描述分类模型的可能的例子来说明这个过 程:

( 1 ) 数字化后的图像与其标签被映射到数据集。 图像的缩放可 以通过首先计算每个红色, 绿色和蓝色通道的各自像素密度的平均值 和标准偏差来执行。 结果被存储在 3元组, 分别对应于红, 绿和蓝通 道的平均值。 数据集中的图像通过减去与红色, 绿色和蓝色通道的每 一个相应的平均值和除以红色, 绿色和蓝色通道的每一个相应的标准 偏差来缩放。

( 2 ) C丽架构可以使用如 R等高级语言编写, 并且有诸如 Keras 的封装的帮助。 CNN可以被设计为具有由相互连接的节点组成的 特定 数量的层。 不同函数中每个节点之间的链接由一个由权重 和偏差组成 的函数来定义。 诸如 RELU 的激活函数通常被用于更新函数的权重和 偏差。 添加池化函数来提取 CNN层上的子集, 这可能不是必需的。 在 每个 CiW层之后还添加例如 20 %的丢失百分比。在最后一层, 使用激 活函数 S0FTMAX。

( 3 ) 分类模型经历多个时期 (epoch ) 以更新其准确性。 在模型 中的优化器不仅限于 ADAM, 还有其他的优化器, 诸如 RMSPR0P等。 在 每个时期 (epoch ) , 标称数据集可以分割为训练数据集和测试数据 集, 不限于 4 : 1 的分割。 可以进一步将该比率细分为其他被认为最 适合训练分类模型的比率。 [0090] 以下描述训练过的分类模型的可能的验证步骤 以说明该过程。

( 1 ) 在完成对分类模型的训练之后, 将训练或测试中未使用的 一组新的未见过的视网膜眼底图像呈现给训练 过的模型。 新的未见过 的视网膜眼底图像由合格的眼科医生人工鉴定 , 确定分类代码并作标 记。

( 2 )用户的眼睛健康状况的概率是基于视网膜眼 图像得出的。 下一步是由合格的眼科医生通过筛査未见过的 图像及其各自标记的 类别 (第一类或第二类) 来验证生成的概率。

( 3 )可以应用进一步的验证步骤, 以识别包括但不限于诸如 DR、 A腸、 青光眼和白内障等的主要潜在眼睛疾病。 合格的眼科医生可能 难以获得视力损害的所有细微差异, 并对用户的眼睛健康状况得出结 论。 训练过的计算模型可以将合格的眼科医生得出 的结论与训练过的 分类计算模型产生的概率相关联。

[0091 ] 人工智能门户的自动化过程可以生成简明易读 的视网膜眼底 图像分类及分析报告, 其将被发送给来自周边社区的用户, 以告知用户其 视网膜眼底图像的分类代码及跟进代码, 以及根据分类代码及跟进代码所 记载的信息, 该用户是否需要咨询眼科医生做进一步检査。 分类报告经计 算模型比对分析得出的视网膜眼底图像分类代 码以及对应的、 方便识别的 颜色标记。 例如, 可以使用绿色标记及 /或 (-) 代表分类代码 1, 表示该 用户的视网膜眼底图像分类为第一类; 使用红色标记及 /或 (+ ) 代表分类 代码 2, 表示该用户的视网膜眼底图像分类为第二类。

[0092] 根据以上描述的一个实例报告如下: 分类 颜色标记 符号 报告含义 第一类 (绿色) ( -) 用户将不会被建议咨询眼科医 生作进一步检査

第二类 (红色) ( +) 用户将会被建议咨询眼科医生

作进一步检査

[0093] 根据本发明的另一实施例的图像处理方法及系 统的计算模型 构建可以包括: 将专家级的视网膜眼底图像加载到保存专家级 视网膜眼底 图像的数据库中, 使用专家级的视网膜眼底图像对 AI 引擎的训练, 使用 AI引擎构建模型。

[0094] 根据本发明的另一实施例的图像处理方法及系 统的视网膜眼 底图像加载系统可以包括: (i ) 便携式眼底相机, 用于拍摄用户视网膜眼 底图像,并将用户视网膜眼底图像与用户数据 组合,以创建具有用户视网膜 眼底图像和用户数据的初始用户文件; (i i ) 手机, 用于传输初始用户文 件到连接到网络的手机发射塔; (i i i ) 网络服务器, 用于接收初始用户文 件, 以及加载初始用户文件到用于存储用户文件的 服务器数据库。

[0095] 图 11是根据本发明另一实施例的图像处理方法及 统的视网 膜眼底图像分类系统 1100的示意图。

[0096]视网膜眼底图像分类系统 1100可以包括:服务器数据库 1106, 其中存储有计算模型 1104和参考图像,所述参考图像包括多个分类 码为 1 的参考图像及多个分类代码为 2 的参考图像, 当接收初始用户文件 (包 括用户数据及用户图像) 后, 服务器启动所述计算模型 1104, 将所述用户 图像与存储于数据库 1106的、具有分类代码为 1或 2的多个参考图像进行 比对分析, 以将所述用户图像的分类代码确定为 1及 2之一。 分类代码为 2 的参考图像包括多个子分类代码为 2-1 的参考图像及多个子分类代码为 2-2的参考图像。 进一步地, 服务器启动所述计算模型 1104, 将所述分类 代码确定为 2的用户图像与多个子分类代码为 2-1的参考图像及多个子分 类代码为 2-2的参考图像进行比对, 以将分类代码确定为 2的用户图像的 子分类代码进一步确定为 2-1及 2-2之一。其中 1111表示包括分类代码确 定为 1的用户图像的用户文件, 1112表示包括分类代码确定为 2的用户图 像的用户文件, 1121表示包括子分类代码确定为 2-1的用户图像的用户文 件, 1122表示包括子分类代码确定为 2-2的用户图像的用户文件。 用户图 像的分类代码及子分类代码确定后, 用户图像的分类代码及子分类代码被 存入初始用户文件, 以生成更新用户文件。 更新用户文件则被发送至用户 端, 将用户图像的分类代码、 子分类代码及相关信息传送给用户端。 [0097] 优选地, 图 12是根据图 11所示实施例的图像处理方法及系 统的计算模型构建方法 1200的步骤流程图。计算模型构建方法 1200包括:

• 加载多个专家分类的视网膜眼底图像到数据库 中, 如图框 1202所示;

• 训练 AI 引擎以对专家分类的视网膜眼底图像进行操作 , 如 图框 1204所示;

• 使用 AI 引擎, 基于专家分类的视网膜眼底图像构建计算模 型, 如图框 1206所示;

• 基于具有眼科医生分类的分类代码为 1及 2的视网膜眼底图 像对 AI引擎做进一步训练, 如图框 1208所示;

· 基于具有眼科医生分类的子分类代码为 2-1及 2-2的视网膜 眼底图像对 AI引擎做进一步训练, 如图框 1210所示。 [0098] 优选地, 图 13A是根据图 11所示实施例的图像处理方法及系 统的视网膜眼底图像加载方法 1300的步骤流程图。视网膜眼底图像加载方 法 1300可以包括:

• 用在区域中的便携式眼底照相机拍摄用户视网 膜的视网膜 眼底图像, 如图框 1302所示;

• 创建具有用户数据和用户视网膜眼底图像的初 始用户文件, 如图框 1304所示;

• 经由国家级门户或世界级门户、 通过无线数据传输器传输初 始用户文件到服务器, 如图框 1306所示;

· 由服务器接收初始用户文件, 如图框 1308所示;

• 加载初始用户文件到数据库中, 如图框 1310所示。

[0099] 图 13B是根据图 11所示实施例的图像处理方法及系统的视网 膜眼底图像分类方法 1350的步骤流程图。 分类方法 1350包括:

· 使用由 AI 引擎创建的计算模型将用户视网膜眼底图像与 多 个分类代码为 1 的参考图像及多个分类代码为 2 的参考图像进行比 对, 以将用户图像的分类代码确定为 1及 2之一, 如图框 1352所示;

• 使用由 AI 引擎创建的计算模型将分类代码确定为 2的用户 视网膜眼底图像与多个子分类代码为 2-1的参考图像及多个子分类代 码为 2-2的参考图像进行比对, 以将分类代码确定为 2的用户视网膜 眼底图像的子分类代码确定为 2-1及 2-2之一, 如图框 1354所示;

• 将用户图像的分类代码和子分类代码存入初始 用户文件以 生成更新用户文件, 如图框 1356所示; [0100] 分类方法 1350可以进一步包括:

• 对于分类代码确定为 1的用户文件, 本方法及系统生成第三 跟进代码, 并加入更新用户文件, 用于提醒用户定期将其视网膜眼底 图像发送至系统, 进行后续分类 (例如建议用户在 6至 12个月内, 再次拍摄用户视网膜眼底图像并传输至服务器 进行比对分析, 以确定 该再次拍摄的用户视网膜眼底图像的分类代码 ) , 如图框 1358所示; • 对于子分类代码确定为 2-1的用户文件, 本方法及系统生成 第四跟进代码,并加入更新用户文件,用于建 议该用户咨询眼科医生, 但不是紧急, 或是用于建议医疗机构 /眼科医生不需要立即给予该用 户紧急医疗处理 (即: 非紧急的情况) 。 对于子分类代码确定为 2-2 的用户文件,本方法及系统生成第五跟进代码 ,并加入更新用户文件, 用于建议该用户立即咨询眼科医生或是用于建 议医疗机构 /眼科医生 立即给予该用户紧急医疗处理以作进一步筛査 及必要的治疗 (即: 紧 急的情况) , 如图框 1360所示。

[0101 ]具体而言, 图像处理方法及系统的通过门户的通信路径可 以包 括通过笔记本电脑、 智能电话、 平板电脑、 计算机和光学中心的到门户的 通信和从门户的通信。 光学中心接收来自在国家和村庄中的用户的通 信。

[0102] 具体而言, 分类代码 1 可以表示对应的视网膜眼底图像被分 类为 "正常" 或 "低眼疾风险" , 例如如图 14A所示的 "正常" 类视网膜 眼底图像示例。 分类代码 2可以表示对应的视网膜眼底图像被分类为 "异 常" 或 "高眼疾风险" 。 子分类代码 2-1可以表示对应的视网膜眼底图像 被分类为 "异常但非紧急的情况" 。 子分类代码 2-2可以表示对应的视网 膜眼底图像被分类为 "异常且紧急的情况" , 包括例如如图 14B所示的具 有 "白内障" 图像特征的视网膜眼底图像, 如图 14C所示的具有 "糖尿病 性视网膜病变" 图像特征的视网膜眼底图像, 如图 14D所示的具有 "青光 眼" 图像特征的视网膜眼底图像, 以及如图 14E-14F所示的具有 "与年龄 相关的黄斑退化(AMD ) " 图像特征的视网膜眼底图像。其中图 14C中 1402 表示视网膜前出血, 1404和 1406表示硬渗出物, 1408表示棉絮斑, 1410 和 1412表示出血, 图 14D中 1414表示增大的杯盘比 (杯盘比大于或等于 0.75) ,图 14E中 1416表示地图状萎缩 (晚期 A腸) , 图 14F中 1418表示 玻璃疣。 [0103] 根据图 11 - 13B 所示实施例, 将用户图像与参考图像进行 比对分析以将用户图像的分类代码确定为 1及 2之一, 包括基于以下眼睛 状态判断要素的至少一个进行比对分析: (a) 图像中呈现的多个视网膜 血管; (b) 杯盘比小于 0.3; 以及 (c) 缺少以下中的至少一个: (i) 可 见介质混浊度; ( ϋ ) 糖尿病性视网膜病变指示器包括印迹样出血、 微动 脉瘤和硬渗出物中的至少一个; (iii) 糖尿病性黄斑病变; (iv) 黄斑水 月中; (v) 在黄斑附近的渗出物; (vi) 在黄斑上的渗出物; (vii) 激光 疤痕; (viii) 白内障; (ix)青光眼; (X)糖尿病性视网膜病变; 和(xi) 与年龄相关的黄斑退化, 包括多个大玻璃疣, 具有色素减退的显著区域的 地图状萎缩和脉络膜新生血管膜中的至少一个 , 其中与年龄相关的黄斑退 化是指示萎缩性的、 新生血管的和渗出性的至少一个。 眼睛状态判断要素 的至少一个可以被排除在外。排除一个或多个 眼睛状态判断要素可以使视 网膜眼底图像的分类过程适合给定国家的需求 及其可用资源。

[0104] 根据图 11 - 13B 所示实施例, 其中分类代码确定为 2 的用 户图像与子分类代码为 2-1 的参考图像进行比对进一步包括使用以下眼睛 状态判断要素的至少一个进行比对:

(a-i) 微动脉瘤 /印迹样出血;

(a-ii) 不在黄斑中的硬渗出物;

(b-i) 轻微致密白内障 (黄斑和血管可见) ;

(c-i) 在远离黄斑 (离黄斑中心 3个视盘直径以外) 的周围区域的玻 璃疣 (硬的或软的) 的存在; 以及

(c-ii) 色素。 [0105]分类代码确定为 2的用户图像与所述子分类代码为 2-2的参考 图像进行比对进一步包括使用以下眼睛状态判 断要素的至少一个进行比 对:

(a-i) 多于三个印迹样出血;

(a-ii) 火焰出血;

(a-iii) 具有出血和微动脉瘤的棉絮斑;

(a-iv) 黄斑中具有微动脉瘤和印迹样出血的硬渗出物 ;

(a-v) 静脉串珠样改变;

(a-vi) 2个或更多象限的出血;

(a-vii) 视网膜内微血管异常;

(a-viii) 静脉环路;

(a-ix) 盘上的新血管或者任何其它地方的新血管的存 在;

(a-x) 视网膜脱落;

(a-xi) 视网膜前出血;

(a-xii) 玻璃体出血;

(a-xiii) 纤维增生;

(b-i) 使得黄斑和血管模糊的白内障部分或完全致密 ;

(b-ii) 黄斑和血管不可见;

(c-i) 在黄斑之内 (离黄斑中心 2个视盘直径以内) 的玻璃疣 (硬的或软的) 的存在;

(c-ii) 地图状萎缩;

(c-iii) 视网膜下的纤维疤痕 ;

(c-iv) 色素上皮脱离;

(c-v) 视网膜下的纤维血管的病变 (视网膜下的出血) ;

(c-vi) 脉络膜的新生血管膜;

(c-vii) 渗出性的与年龄相关的黄斑变性; (d-i) 任一眼睛的杯盘比大于或等于 0.3;

(d-ii) 盘的不对称性大于或等于 0.2;

(d-iii) 盘出血;

(d-iv) 任何开槽或边缘变薄的出现;

(e-i) 介质混浊度;

(e-ii) 模糊的黄斑 (其可能造成收缩的瞳孔) ;

(e-iii) 曝光不足或过度曝光导致的血管和黄斑的不可 见; 以及

(e-iv) 视神经盘和黄斑的焦点不足和 /或错误的定位。 [0106] 可替代地, (i) 专家确定分类的视网膜眼底图像可以是眼科 医生确定分类视网膜眼底图像; (ii)方法可以进一步包括, 将加入第三、 第四或第五跟进代码的更新用户文件发至用户 端; (iii)方法可以进一步 包括, 基于分类代码为 1的至少一个用户文件的视网膜眼底图像的眼 医 生的分类, 训练 AI引擎; (iv) 方法可以进一步包括, 基于分类代码为 2 的至少一个用户文件的视网膜眼底图像的眼科 医生的分类, 训练 AI引擎; (v)方法可以进一步包括, 基于子分类代码为 2-1的至少一个用户文件的 视网膜眼底图像的眼科医生的分类, 训练 AI引擎; (vi)方法可以进一步 包括, 基于子分类代码为 2-2的至少一个用户文件的视网膜眼底图像的眼 科医生的分类, 训练 AI引擎; (vii) 每个视网膜眼底图像可以包括至少 3000*2000个像素, 具有至少 45度的眼底区域, 以及具有至少 150dpi的 像素分辨率; (viii) 至少一个用户文件的视网膜眼底图像可以用便 携式 眼底照相机拍摄, 从服务器接收的步骤可以包括经由可连接到便 携式眼底 照相机的无线数据传输器的至少一个用户文件 的传输; (ix) 至少一个用 户文件的视网膜眼底图像可以用便携式眼底照 相机拍摄, 并且从网络服务 器接收的步骤包括经由便携式眼底照相机的至 少一个用户文件的传输, 其 中眼底照相机可以包括无线数据传输器; (X)网络服务器可以托管至少一 个国家门户和至少一个全世界门户; 或 (xi) 至少一个用户文件可以是通 过至少一个便携式应用被上传到网络服务器。 通信也可以是通过诸如电话、 电缆、 DSL和光纤的有线连接实现的。

[0107] 通过连接便携式眼底照相机的无线数据传输器 (诸如手机) , 用户视网膜眼底图像和用户数据可以被传送到 数据中心或托管 AI引擎和 计算模型 1104的实验室, 并且快速进行分类。诸如安排例行重新分类或 诊 所眼科医生预约的随后的治疗 (紧急或非紧急的情况) 可以从用户的视网 膜眼底图像的分类而被推荐。 这样, 在农村或偏远地区可以使用便携式眼 底照相机拍摄用户视网膜眼底图像。 用户数据可以由便携式应用输入, 然 后在本地手机数据网络上被传输。具有无线数 据传输器及 /或用户数据的便 携式眼底照相机也可以用于用户数据输入和无 线数据传输。 通过便携式应 用, 用户可以获得视网膜眼底图像的分类代码及第 三、 第四或第五跟进代 码, 以采取相应行动, 例如获得转介公立医院和访问卫生信息服务, 其内 容可以是根据他 /她的用户文件中包含的他的病例记录进行定 。

[0108]服务器可以托管多个门户用于上传用户 文件。 门户可以通过国 家、 地区、 语言来组织或者是全世界的。 至少一个或多个门户经由便携式 应用可以是可访问的。

[0109] 可替代地, 将用户视网膜眼底图像与参考图像的比对分析 , 如果户视网膜眼底图像与参考图像中被分类为 第一类的参考图像的类似度 高于计算模型中的判定阈值, 此用户视网膜眼底图像则被分为同一类, 即 第一类。 如果户视网膜眼底图像与参考图像中被分类为 第二类的参考图像 的类似度高于计算模型中的判定阈值, 此用户视网膜眼底图像则被分为同 一类, 即第二类。

[0110]可替代地, 将用户视网膜眼底图像与参考图像的比对分析 , 如 果用户视网膜眼底图像与参考图像中子分类代 码为 2-1的参考图像的类似 度高于计算模型中的判定阈值, 则此用户视网膜眼底图像的子分类代码被 确定为 2-1 (即分类为第二类, 子分类为第一类) 。 如果户视网膜眼底图 像与参考图像中子分类代码为 2-2的参考图像的类似度高于计算模型中的 判定阈值, 则此用户视网膜眼底图像的子分类代码被确定 为 2-2 (即分类 为第二类, 子分类为第二类) 。

[0111 ] 人工智能门户的自动化过程可以生成简明易读 的视网膜眼底 图像分类及分析报告, 其将被发送给来自周边社区的用户或医疗机构 /目艮 科医生, 以告知他们关于用户视网膜眼底图像的分类代 码及子分类代码

(如果有) , 以及根据分类代码及子分类代码 (如果有) 所记载的信息, 该用户是否需要咨询眼科医生做进一步检査以 及该用户是否需要立即咨 询眼科医生或是医疗机构 /眼科医生是否需要立即给予该用户紧急医疗 理 (即: 情况是否紧急) 。 分类报告经计算模型比对分析得出的视网膜眼 底图像分类代码 /子分类代码, 以及对应的、 方便识别的颜色标记 /符号标 记。 例如, 可以使用 " (- ) " 或如图 15-A所示的符号标记来代表分类 代码 1, 表示该用户的视网膜眼底图像分类为第一类。 该符号标记可以进 一步选择绿色的颜色标记。 可以使用 " (非紧急) " 、 " (+ 30%非紧 急) " 或如图 15-B所示的符号标记来代表分类代码为 2且子分类代码为 2-1, 表示该用户的视网膜眼底图像分类为第二类且 子分类为第一类。 该 符号标记可以进一步选择红色的颜色标记。可 以使用 "(紧急) " 、 "(+ 90%紧急) " 或如图 15-C所示的符号标记来代表分类代码 2并且子分类 代码为 2-2, 表示该用户的视网膜眼底图像分类为第二类并 且子分类为第 二类。 该符号标记可以进一步选择红色的颜色标记。 其中符号标记中的 30%, 90%可以替代地选择其它代表用户眼睛具有疾病 风险的可能性的百 分比数值。 在图 15B中, 1502表示 "非紧急" ; 在图 15C中, 1504表 示 "紧急" 。 [0112] 根据以上描述的一个实例报告如下:

[0113] 在前面的详细描述中, 本发明的实施例参照提供的附图被描 述。 在本文中的各种实施例的描述并不旨在唤起或 仅限于本公开的具体或 特定的表示, 而仅仅是为了说明本公开的非限制性示例。

[0114] 本公开用于解决至少一些上述问题和与现有技 术相关联的问 题。 尽管仅有本公开的一些实施例是在此公开的, 但是鉴于本公开, 可以 对公开的实施例进行各种变化和 /或修改, 而不脱离本公开的范围, 对本领 域的普通 技术人员将是显而易见的。本公开的范围以及 所附权利要求书的 范围不限于本文中所描述的实施例。




 
Previous Patent: CANCER THERAPY

Next Patent: A METHOD OF PROCESSING SHELL WASTE