KAMON SHUMPEI (JP)
WO2017057574A1 | 2017-04-06 | |||
WO2018235246A1 | 2018-12-27 | |||
WO2017073338A1 | 2017-05-04 | |||
WO2019088121A1 | 2019-05-09 |
US20160171708A1 | 2016-06-16 | |||
JP6176978B2 | 2017-08-09 | |||
JP4451460B2 | 2010-04-14 | |||
JP5658873B2 | 2015-01-28 |
PIERRE SERMANETDAVID EIGENXIANG ZHANGMICHAEL MATHIEUROB FERGUSYANN LECUN: "OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks", ICLR, 2014
See also references of EP 3932290A4
〇 2020/174747 42 卩(:171? 2019 /041947 請求の範囲 [請求項 1 ] 取得した医用画像から注目領域を検出し、 検出した前記注目領域を 分類する認識部と、 前記注目領域を強調する強調表示及び前記注目領域の分類を、 前記 医用画像に含まれる観察対象を表示させる画面と同一の画面に表示さ せる表示制御部と、 前記強調表示が表示されている場合に前記強調表示の表示態様を変 更するか否か、 及び前記分類が表示されている場合に前記分類の表示 態様を変更するか否かの少なくともいずれかを判定する変更判定部と \ を備え、 前記表示制御部は、 前記変更判定部において前記強調表示の表示態 様を変更すると判定された場合に、 前記強調表示の強調の程度を弱め る変更を実施し、 前記変更判定部において前記分類の表示態様を変更 すると判定された場合に、 前記分類の視認性を弱める変更を実施する 医用画像処理装置。 [請求項 2] 操作部が操作された際に送信される指令信号を取得する指令信号取 得部を備え、 前記変更判定部は、 前記指令信号取得部が前記強調表示の表示態様 を変更することを表す前記指令信号を取得した場合に前記強調表示の 表示態様を変更すると判定し、 前記指令信号取得部が前記分類の表示 態様を変更することを表す前記指令信号を取得した場合に前記分類の 表示態様を変更すると判定する請求項 1 に記載の医用画像処理装置。 [請求項 3] 前記注目領域の分類を実施しているか否かを表す分類実施信号を取 得する分類実施信号取得部を備え、 前記変更判定部は、 前記分類実施信号取得部が前記注目領域の分類 を実施していることを表す前記分類実施信号を取得した場合に前記強 調表示の表示態様を変更すると判定する請求項 1又は 2に記載の医用 〇 2020/174747 43 卩(:171? 2019 /041947 画像処理装置。 [請求項 4] 処置具が動作しているか否かを判定する処置具動作判定部を備え、 前記変更判定部は、 前記処置具動作判定部が、 前記処置具が動作し ていると判定した場合に前記強調表示の表示態様を変更すると判定す るか、 前記分類の表示態様を変更すると判定するか、 前記強調表示及 び前記分類の表示態様を変更すると判定する請求項 1から 3のいずれ か一項に記載の医用画像処理装置。 [請求項 5] 前記認識部は、 入力画像のサイズを段階的に小さくする処理を実施 する複数のダウンサイジング処理部と、 前記複数のダウンサイジング処理部のそれぞれの出力画像から特徴 マップを生成する特徴マップ生成部と、 を備えた請求項 1から 4のいずれか一項に記載の医用画像処理装置 [請求項 6] 前記ダウンサイジング処理部は、 入力画像に対してプーリング処理 を施すプーリング処理部、 及び入力画像に対して畳み込み処理を施す 畳み込み処理部の少なくともいずれかを備える請求項 5に記載の医用 画像処理装置。 [請求項 7] 前記認識部は、 前記特徴マップ生成部を用いて生成された複数の前 記特徴マップから前記注目領域の特定及び前記注目領域の分類の少な くともいずれかを実施する注目領域認識部を備えた請求項 5又は 6に 記載の医用画像処理装置。 [請求項 8] 前記注目領域認識部は、 前記複数の特徴マップの重なり具合に基づ き前記注目領域の検出及び前記注目領域の分類を実施する請求項 7に 記載の医用画像処理装置。 [請求項 9] 前記認識部は、 少なくとも一つの画像に対して注目領域の検出及び 注目領域の分類を一括して学習したパラメータを記憶するパラメータ 記憶部を備える請求項 1から 8のいずれか一項に記載の医用画像処理 装置。 〇 2020/174747 44 卩(:171? 2019 /041947 [請求項 10] 前記表示制御部は、 前記強調表示に前記注目領域を囲む閉曲線を適 用し、 前記強調表示の表示態様を変更する際に、 前記閉曲線の色彩、 濃度 、 及び線の種類の少なくともいずれかを変更する請求項 1から 9のい ずれか一項に記載の医用画像処理装置。 [請求項 1 1 ] 前記表示制御部は、 前記強調表示の表示態様を変更する際に、 前記 強調表示の視認性を弱める位置に前記強調表示を移動させる請求項 1 から 1 0のいずれか一項に記載の医用画像処理装置。 [請求項 12] 前記表示制御部は、 前記注目領域の分類を表す分類情報として分類 の内容を表す文字情報を適用し、 前記注目領域の分類の表示態様を変更する際に、 前記文字情報の視 認性を弱める位置に前記文字情報を移動させる請求項 1から 1 1のい ずれか一項に記載の医用画像処理装置。 [請求項 13] 前記表示制御部は、 前記注目領域の分類の表示態様を変更する際に 、 前記文字情報の位置を、 前記観察対象を表す画像の表示領域の外に 移動させる請求項 1 2に記載の医用画像処理装置。 [請求項 14] 前記表示制御部は、 複数の前記注目領域が検出された場合に、 前記 複数の注目領域の位置関係を維持して、 前記複数の注目領域のそれぞ れの分類を表す複数の文字情報を、 前記観察対象を表す画像の表示領 域の外に移動させる請求項 1 3に記載の医用画像処理装置。 [請求項 15] 前記表示制御部は、 前記注目領域の分類の表示態様を変更する際に 、 前記文字情報を前記分類の意味を表す文字列の頭文字のみを表示さ せる請求項 1 2から 1 4のいずれか一項に記載の医用画像処理装置。 [請求項 16] 内視鏡を制御する内視鏡制御部と、 前記内視鏡を用いて取得した医用画像から注目領域を検出し、 検出 した前記注目領域を分類する認識部と、 前記注目領域を強調する強調表示及び前記注目領域の分類を、 前記 医用画像に含まれる観察対象を表示させる画面と同一の画面に表示さ 〇 2020/174747 45 卩(:171? 2019 /041947 せる表示制御部と、 前記強調表示が表示されている場合に前記強調表示の表示態様を変 更するか否か、 及び前記分類が表示されている場合に前記分類の表示 態様を変更するか否かの少なくともいずれかを判定する変更判定部と \ を備え、 前記表示制御部は、 前記変更判定部において前記強調表示の表示態 様を変更すると判定された場合に、 前記強調表示の強調の程度を弱め る変更を実施し、 前記変更判定部において前記分類の表示態様を変更 すると判定された場合に、 前記分類の視認性を弱める変更を実施する プロセッサ装置。 [請求項 17] 内視鏡と、 前記内視鏡を制御するプロセッサ装置と、 前記内視鏡を用いて取得した内視鏡画像に処理を施す医用画像処理 装置と、 を備えた内視鏡システムであって、 前記医用画像処理装置は、 取得した医用画像から注目領域を検出し、 検出した前記注目領域を 分類する認識部と、 前記注目領域を強調する強調表示及び前記注目領域の分類を、 前記 医用画像に含まれる観察対象を表示させる画面と同一の画面に表示さ せる表示制御部と、 前記強調表示が表示されている場合に前記強調表示の表示態様を変 更するか否か、 及び前記分類が表示されている場合に前記分類の表示 態様を変更するか否かの少なくともいずれかを判定する変更判定部と を備え、 前記表示制御部は、 前記変更判定部において前記強調表示の表示態 〇 2020/174747 46 卩(:171? 2019 /041947 様を変更すると判定された場合に、 前記強調表示の強調の程度を弱め る変更を実施し、 前記変更判定部において前記分類の表示態様を変更 すると判定された場合に、 前記分類の視認性を弱める変更を実施する 内視鏡システム。 [請求項 18] 取得した医用画像から注目領域を検出し、 検出した前記注目領域を 分類する認識工程と、 前記注目領域を強調する強調表示及び前記注目領域の分類を、 前記 医用画像に含まれる観察対象を表示させる画面と同一の画面に表示さ せる表示工程と、 前記強調表示が表示されている場合に前記強調表示の表示態様を変 更するか否か、 及び前記分類が表示されている場合に前記分類の表示 態様を変更するか否かの少なくともいずれかを判定する変更判定工程 と、 を含み、 前記表示工程は、 前記変更判定工程において前記強調表示の表示態 様を変更すると判定された場合に、 前記強調表示の強調の程度を弱め る変更を実施し、 前記変更判定工程において前記分類の表示態様を変 更すると判定された場合に、 前記分類の視認性を弱める変更を実施す る医用画像処理方法。 [請求項 19] コンピュータに、 取得した医用画像から注目領域を検出し、 検出した前記注目領域を 分類する認識機能、 前記注目領域を強調する強調表示及び前記注目領域の分類を、 前記 医用画像に含まれる観察対象を表示させる画面と同一の画面に表示さ せる表示機能、 及び 前記強調表示が表示されている場合に前記強調表示の表示態様を変 更するか否か、 及び前記分類が表示されている場合に前記分類の表示 態様を変更するか否かの少なくともいずれかを判定する変更判定機能 〇 2020/174747 47 卩(:171? 2019 /041947 を実現させるプログラムであって、 前記表示機能は、 前記変更判定機能を用いて前記強調表示の表示態 様を変更すると判定された場合に、 前記強調表示の強調の程度を弱め る変更を実施し、 前記変更判定機能を用いて前記分類の表示態様を変 更すると判定された場合に、 前記分類の視認性を弱める変更を実施す るプログラム。 |
発明の名称 :
医用画像処理装置、 プロセッサ装置、 内視鏡システム、 医用画像処理方法 、 及びプログラム
技術分野
[0001 ] 本発明は医用画像処理装置、 プロセッサ装置、 内視鏡システム、 医用画像 処理方法、 及びプログラムに係り、 特に画面表示に関する。
背景技術
[0002] —般的な内視鏡システムは、 内視鏡の揷入部の先端から照明光を照射し、 撮像素子を用いて観察対象を撮像し、 観察対象の画像情報を取得する。 撮像 された画像はモニタに表示される。 医師等のユーザはモニタに映し出された 画像を観察し、 検査を行う。
[0003] 近年、 深層学習を適用した高度な自動認識が可能と なっている。 非特許文 献 1は深層学習を適用した画像認識に関する技 が記載されている。 内視鏡 システムにおいても、 深層学習を適用して作製された認識器を用い て、 病変 等の検出及び病変等の分類を自動で行うこと が考えられている。 その中でも 、 非特許文献 2に記載されている S S D (S i ng le Shot mu lt i box Detector ) と呼ばれる手法があり、 検出と分類等とを一括して行えることが知ら れて いる。 なお、 病変等の分類は鑑別と呼ばれる場合があり得 る。
[0004] 特許文献 1は、 内視鏡システムを用いて取得した内視鏡画像 から強調すベ き被写体である生体粘膜を特定し、 特定した生体粘膜に対して強調処理を行 う画像処理装置が記載されている。
[0005] 特許文献 2は、 内視鏡システムを用いて取得した内視鏡画像 を基に、 病変 の種類を自動的に判別及び分類する内視鏡診 断支援装置が記載されている。 同文献に記載の装置は、 内視鏡画像に R〇 丨 (Reg i on Of Interest) を設定 し、 R O 丨 ごとに特徴量を算出し、 特徴量を用いた判別分類処理を実施する 。 同文献には、 判別分類処理の例としてニューラルネッ トワークが記載され \¥02020/174747 2 卩(:17 2019/041947
ている。
[0006] 特許文献 3は、 通常光観察と特殊光観察とを切替可能に構成 された内視鏡 システムが記載されている。 同文献に記載の装置は、 特殊光画像から病変部 の位置を特定し、 特定された位置情報を基に通常光画像を加工 して病変部の 視認性を高めている。 同文献には通常光画像の加工例として、 ターゲッ ト色 の重畳処理、 夕ーゲッ ト色を用いて病変部の周縁を囲う処理、 及び病変部の 通常光画像と特殊光画像とを合成する処理が 記載されている。
先行技術文献
特許文献
[0007] 特許文献 1 :特許第 6 1 7 697 9号公報
特許文献 2 :特許第 445 1 460号公報
特許文献 3 :特許第 5658873号公報 非特許文献
[0008] 非特許文献 1 : A. Kr i zhevsky, I. Sutskever, and G.Hinton著、 「ImageNet cLa ss i f i cat i on with deep convolutional neural networks.」 、 NIPS(Neura L I nformat i on Processing Systems conference), 2012
非特許文献 2 : Pierre Sermanet, David Eigen, Xiang Zhang, Michael Mathi eu, Rob Fergus, Yann LeCun著 r〇verFeat : Integrated Recognition, Local ization and Detectionusing Convo Lut i ona L Networks」 、 ICLR(Internat i on
^ I 0〇门干6「6门〇6 〇门 1_68「门1叩 1^「636门士31; I〇 ), 2014 発明の概要
発明が解決しようとする課題
[0009] しかしながら、 内視鏡画像等の医用画像において、 注目領域を検出し、 注 目領域を画面に表示し、 注目領域を分類し、 分類を画面に表示する場合、 注 目領域及び分類の報知が、 医師等が実施する観察対象の観察の妨げにな って しまう懸念がある。
[0010] 特許文献 1 に記載の装置は、 ユーザが強調処理のオンオフ指示を行うスイ 〇 2020/174747 3 卩(:171? 2019 /041947
ッチを備えている。 同装置は、 ユーザがスイッチを操作することで、 撮像画 像から特定した生体粘膜の領域に対する強調 処理のオフを実施している。
[001 1 ] 強調処理が生体粘膜領域の観察の妨げになる 場合、 ユーザは強調処理を才 フすることが可能であるが、 強調処理をオフしてしまうと、 強調処理を適用 した診断支援の利用が困難になる。
[0012] 特許文献 2に記載の装置では、 レポート表示ウィンドウを開いて判定分類 結果を含めた診断支援情報を表示しているの で、 レポート表示ウィンドウが 開かれている場合は、 内視鏡画像における 〇 丨 を観察することができない
[0013] 特許文献 3に記載の装置では、 病変部の視認性を高めた結果、 病変部の見 落としを抑制することができるが、 表示態様が適切でない場合に、 病変部の 視認性を高める表示が病変部の観察の妨げに なることが懸念される。
[0014] 本発明はこのような事情に鑑みてなされたも ので、 医用画像において注目 領域の強調表示及び分類等を報知する際に、 ユーザ等における観察対象の観 察の妨げを抑制し、 診断支援を利用し得る、 医用画像処理装置、 プロセッサ 装置、 医用画像処理方法、 及びプログラムを提供することを目的とする 。 課題を解決するための手段
[0015] 上記目的を達成するために、 次の発明態様を提供する。
[0016] 第 1態様に係る医用画像処理装置は、 取得した医用画像から注目領域を検 出する認識部であり、 注目領域を分類する認識部と、 注目領域を強調する強 調表示及び注目領域の分類を、 医用画像に含まれる観察対象を表示させる画 面と同一の画面に表示させる表示制御部と、 強調表示が表示されている場合 に強調表示の表示態様を変更するか否か、 及び分類が表示されている場合に 分類の表示態様を変更するか否かの少なくと もいずれかを判定する変更判定 部と、 を備え、 表示制御部は、 変更判定部において強調表示の表示態様を変 更すると判定された場合に、 強調表示の強調の程度を弱める変更を実施し 、 変更判定部において分類の表示態様を変更す ると判定された場合に、 分類の 視認性を弱める変更を実施する医用画像処理 装置である。 〇 2020/174747 4 卩(:171? 2019 /041947
[0017] 第 1態様によれば、 ユーザが観察対象を観察する際に、 強調表示及び分類 の少なくともいずれかが観察の妨げになるこ とを抑制し得る。 また、 ユーザ は、 観察対象を観察する際に、 強調表示及び分類の少なくともいずれかを利 用し得る。
[0018] 注目領域の強調は、 注目領域を視覚的に強調する態様を適用し得 る。
[0019] 第 2態様は、 第 1態様の医用画像処理装置において、 操作部が操作された 際に送信される指令信号を取得する指令信号 取得部を備え、 変更判定部は、 指令信号取得部が強調表示の表示態様を変更 することを表す指令信号を取得 した場合に強調表示の表示態様を変更すると 判定し、 指令信号取得部が分類 の表示態様を変更することを表す指令信号を 取得した場合に分類の表示態様 を変更すると判定する構成としてもよい。
[0020] 第 2態様によれば、 操作部が操作された際に、 注目領域の表示態様の変更 及び注目領域の分類の表示態様の変更を実施 し得る。
[0021 ] 第 3態様は、 第 1態様又は第 2態様の医用画像処理装置において、 注目領 域の分類を実施しているか否かを表す分類実 施信号を取得する分類実施信号 取得部を備え、 変更判定部は、 分類実施信号取得部が注目領域の分類を実施 していることを表す分類実施信号を取得した 場合に強調表示の表示態様を変 更すると判定する構成としてもよい。
[0022] 第 3態様によれば、 注目領域の分類が実施されている際に、 注目領域の表 示態様の変更及び分類の表示態様の変更を実 施し得る。
[0023] 第 4態様は、 第 1態様から第 3態様のいずれか一態様において、 処置具が 動作しているか否かを判定する処置具動作判 定部を備え、 変更判定部は、 処 置具動作判定部が、 処置具が動作していると判定した場合に強調 表示の表示 態様を変更すると判定するか、 分類の表示態様を変更すると判定するか、 強 調表示及び分類の表示態様を変更すると判定 する構成としてもよい。
[0024] 第 4態様によれば、 処置具が動作している際に、 注目領域の表示態様の変 更及び分類の表示態様の変更を実施し得る。
[0025] 第 5態様は、 第 1態様から第 4態様のいずれか一態様の医用画像処理装置 〇 2020/174747 5 卩(:171? 2019 /041947
において、 認識部は、 入力画像のサイズを段階的に小さくする処理 を実施す る複数のダウンサイジング処理部と、 複数のダウンサイジング処理部のそれ それの出力画像から特徴マップを生成する特 徴マップ生成部と、 を備えた構 成としてもよい。
[0026] 第 6態様は、 第 5態様の医用画像処理装置において、 ダウンサイジング処 理部は、 入力画像に対してプーリング処理を施すプー リング処理部、 及び入 力画像に対して畳み込み処理を施す畳み込み 処理部の少なくともいずれかを 備える構成としてもよい。
[0027] 第 6態様によれば、 注目領域の検出及び注目領域の分類において 、 畳み込 みニユーラルネッ トワークを適用し得る。
[0028] 第 7態様は、 第 5態様又は第 6態様の医用画像処理装置において、 認識部 は、 特徴マップ生成部を用いて生成された複数の 特徴マップから注目領域の 特定及び注目領域の分類の少なくともいずれ かを実施する注目領域認識部を 備えた構成としてもよい。
[0029] 第 7態様によれは、 注目領域の検出及び注目領域の分類の少なく ともいず れかに、 入力画像の特徴を表す特徴マップを適用し得 る。
[0030] 第 8態様は、 第 7態様の医用画像処理装置において、 注目領域認識部は、 複数の特徴マップの重なり具合に基づき注目 領域の検出及び注目領域の分類 を実施する構成としてもよい。
[0031 ] 第 8態様によれば、 注目領域の検出精度及び注目領域の分類精度 が向上し 得る。
[0032] 第 9態様は、 第 1態様から第 8態様のいずれか一態様の医用画像処理装置 において、 認識部は、 少なくとも一つの画像に対して注目領域の検 出及び注 目領域の分類を一括して学習したパラメータ を記憶するパラメータ記憶部を 備える構成としてもよい。
[0033] 第 9態様によれば、 注目領域の検出処理の一部と注目領域の分類 処理の一 部とを共通化し得る。
[0034] 第 1 0態様は、 第 1態様から第 9態様のいずれか一態様の医用画像処理装 〇 2020/174747 6 卩(:171? 2019 /041947
置において、 表示制御部は、 強調表示に注目領域を囲む閉曲線を適用し、 強 調表示の表示態様を変更する際に、 閉曲線の色彩、 濃度、 及び線の種類の少 なくともいずれかを変更する構成としてもよ い。
[0035] 第 1 0態様によれば、 強調表示に閉曲線が適用される場合において 、 効果 的に強調表示を弱めることが可能となる。
[0036] 第 1 1態様は、 第 1態様から第 1 0態様のいずれか一態様の医用画像処理 装置において、 表示制御部は、 強調表示の表示態様を変更する際に、 強調表 示の視認性を弱める位置に強調表示を移動さ せる構成としてもよい。
[0037] 第 1 1態様によれば、 強調表示が観察の妨げになることを抑制し得 る。
[0038] 第 1 2態様は、 第 1態様から第 1 1態様のいずれか一態様の医用画像処理 装置において、 表示制御部は、 注目領域の分類を表す分類情報として分類の 内容を表す文字情報を適用し、 注目領域の分類の表示態様を変更する際に、 文字情報の視認性を弱める位置に文字情報を 移動させる構成としてもよい。
[0039] 第 1 2態様によれば、 注目領域の分類の内容を表す文字情報が観察 の妨げ になることを抑制し得る。
[0040] 第 1 3態様は、 第 1 2態様の医用画像処理装置において、 表示制御部は、 注目領域の分類の表示態様を変更する際に、 文字情報の位置を、 観察対象を 表す画像の表示領域の外に移動させる構成と してもよい。
[0041 ] 第 1 3態様によれば、 文字情報と観察対象を表す画像とが重畳しな い。 こ れにより、 文字情報が観察の妨げになることを抑制し得 る。
[0042] 第 1 4態様は、 第 1 3態様の医用画像処理装置において、 表示制御部は、 複数の注目領域が検出された場合に、 複数の注目領域の位置関係を維持して 、 複数の注目領域のそれぞれの分類を表す複数 の文字情報を、 観察対象を表 す画像の表示領域の外に移動させる構成とし てもよい。
[0043] 第 1 4態様によれば、 複数の分類の位置関係を用いて、 観察対象を表す画 像における複数の注目領域の位置関係を把握 し得る。
[0044] 第 1 5態様は、 第 1 2態様から第 1 4態様のいずれか一態様の医用画像処 理装置において、 表示制御部は、 注目領域の分類の表示態様を変更する際に \¥0 2020/174747 7 卩(:17 2019/041947
、 文字情報を分類の意味を表す文字列の頭文字 のみを表示させる構成として もよい。
[0045] 第 1 5態様によれば、 分類の視認性を弱め、 かつ分類の内容を把握し得る
[0046] 第 1 6態様に係るプロセッサ装置は、 内視鏡を制御する内視鏡制御部と、 内視鏡を用いて取得した医用画像から注目領 域を検出する認識部であり、 注 目領域を分類する認識部と、 注目領域を強調する強調表示及び注目領域の 分 類を、 医用画像に含まれる観察対象を表示させる画 面と同一の画面に表示さ せる表示制御部と、 強調表示が表示されている場合に強調表示の 表示態様を 変更するか否か、 及び分類が表示されている場合に分類の表示 態様を変更す るか否かの少なくともいずれかを判定する変 更判定部と、 を備え、 表示制御 部は、 変更判定部において強調表示の表示態様を変 更すると判定された場合 に、 強調表示の強調の程度を弱める変更を実施し 、 変更判定部において分類 の表示態様を変更すると判定された場合に、 分類の視認性を弱める変更を実 施するプロセッサ装置である。
[0047] 第 1 6態様によれば、 第 1態様と同様の効果を得ることができる。
[0048] 第 1 6態様において、 第 2態様から第 1 5態様で特定した事項と同様の事 項を適宜組み合わせることができる。 その場合、 医用画像処理装置において 特定される処理や機能を担う構成要素は、 これに対応する処理や機能を担う プロセッサ装置の構成要素として把握するこ とができる。
[0049] 第 1 7態様に係る内視鏡システムは、 内視鏡と、 内視鏡を制御するプロセ ッサ装置と、 内視鏡を用いて取得した内視鏡画像に処理を 施す画像処理装置 と、 を備えた内視鏡システムであって、 画像処理装置は、 取得した医用画像 から注目領域を検出する認識部であり、 注目領域を分類する認識部と、 注目 領域を強調する強調表示及び注目領域の分類 を、 医用画像に含まれる観察対 象を表示させる画面と同一の画面に表示させ る表示制御部と、 強調表示が表 示されている場合に強調表示の表示態様を変 更するか否か、 及び分類が表示 されている場合に分類の表示態様を変更する か否かの少なくともいずれかを 〇 2020/174747 8 卩(:171? 2019 /041947
判定する変更判定部と、 を備え、 表示制御部は、 変更判定部において強調表 示の表示態様を変更すると判定された場合に 、 強調表示の強調の程度を弱め る変更を実施し、 変更判定部において分類の表示態様を変更す ると判定され た場合に、 分類の視認性を弱める変更を実施する内視鏡 システムである。
[0050] 第 1 7態様によれば、 第 1態様と同様の効果を得ることができる。
[0051 ] 第 1 7態様において、 第 2態様から第 1 5態様で特定した事項と同様の事 項を適宜組み合わせることができる。 その場合、 画像処理装置において特定 される処理や機能を担う構成要素は、 これに対応する処理や機能を担う内視 鏡システムの構成要素として把握することが できる。
[0052] 第 1 8態様に係る医用画像処理方法は、 取得した医用画像から注目領域を 検出する認識工程であり、 注目領域を分類する認識工程と、 注目領域を強調 する強調表示及び注目領域の分類を、 医用画像に含まれる観察対象を表示さ せる画面と同一の画面に表示させる表示工程 と、 強調表示が表示されている 場合に強調表示の表示態様を変更するか否か 、 及び分類が表示されている場 合に分類の表示態様を変更するか否かの少な くともいずれかを判定する変更 判定工程と、 を含み、 表示工程は、 変更判定工程において強調表示の表示態 様を変更すると判定された場合に、 強調表示の強調の程度を弱める変更を実 施し、 変更判定工程において分類の表示態様を変更 すると判定された場合に 、 分類の視認性を弱める変更を実施する医用画 像処理方法である。
[0053] 第 1 8態様によれば、 第 1態様と同様の効果を得ることができる。
[0054] 第 1 8態様において、 第 2態様から第 1 5態様で特定した事項と同様の事 項を適宜組み合わせることができる。 その場合、 医用画像処理装置において 特定される処理や機能を担う構成要素は、 これに対応する処理や機能を担う 医用画像処理方法の構成要素として把握する ことができる。
[0055] 第 1 9態様に係るプログラムは、 コンビュータに、 取得した医用画像から 注目領域を検出する認識機能であり、 注目領域を分類する認識機能、 注目領 域を強調する強調表示及び注目領域の分類を 、 医用画像に含まれる観察対象 を表示させる画面と同一の画面に表示させる 表示機能、 及び強調表示が表示 〇 2020/174747 9 卩(:171? 2019 /041947
されている場合に強調表示の表示態様を変 更するか否か、 及び分類が表示さ れている場合に分類の表示態様を変更するか 否かの少なくともいずれかを判 定する変更判定機能を実現させるプログラム であって、 表示機能は、 変更判 定機能を用いて強調表示の表示態様を変更す ると判定された場合に、 強調表 示の強調の程度を弱める変更を実施し、 変更判定機能を用いて分類の表示態 様を変更すると判定された場合に、 分類の視認性を弱める変更を実施するプ ログラムである。
[0056] 第 1 9態様によれば、 第 1態様と同様の効果を得ることができる。
[0057] 第 1 9態様において、 第 2態様から第 1 5態様で特定した事項と同様の事 項を適宜組み合わせることができる。 その場合、 医用画像処理装置において 特定される処理や機能を担う構成要素は、 これに対応する処理や機能を担う プログラムの構成要素として把握することが できる。
発明の効果
[0058] 本発明によれば、 ユーザが観察対象を観察する際に、 強調表示及び分類の 少なくともいずれかが観察の妨げになること を抑制し得る。 また、 ユーザは 、 観察対象を観察する際に、 強調表示及び分類の少なくともいずれかを利 用 し得る。
図面の簡単な説明
[0059] [図 1]図 1は実施形態に係る医用画像処理装置を含む 視鏡システムの全体構 成図である。
[図 2]図 2は医用画像処理装置のハードウェア構成を すブロック図である。 [図 3]図 3は実施形態に係る医用画像処理装置の機能 ロック図である。
[図 4]図 4は実施形態に係る医用画像処理方法の手順 示すフローチヤートで ある。
[図 5]図 5は内視鏡画像の説明図である。
[図 6]図 6は注目領域の強調表示及び注目領域の分類 示の説明図である。
[図 7]図 7は強調表示の表示態様の変更の説明図であ 。
[図 8]図 8は強調表示の表示態様の変更の他の態様の 明図である。 〇 2020/174747 10 卩(:171? 2019 /041947
[図 9]図 9は強調表示の位置を移動させる表示態様の 明図である。
[図 10]図 1 0は分類の表示態様の変更の説明図である。
[図 1 1]図 1 1は分類の表示態様の変更の他の態様の説明 である。
[図 12]図 1 2は畳み込みニューラルネツ トワークの説明図である。
発明を実施するための形態
[0060] 以下、 添付図面に従って本発明の好ましい実施の形 態について詳説する。
本明細書では、 同一の構成要素には同一の参照符号を付して 、 重複する説明 は適宜省略する。
[0061] [内視鏡システムの全体構成]
図 1は実施形態に係る医用画像処理装置を含む 視鏡システムの全体構成 図である。 図 1 に示す内視鏡システム 9は、 内視鏡 1 0、 光源装置 1 1、 プ ロセツサ装置 1 2、 表示装置 1 3、 医用画像処理装置 1 4、 入力装置 1 5、 及びモニタ装置 1 6を備える。
[0062] 図 1 に示す内視鏡 1 0は電子内視鏡であり、 かつ軟性内視鏡である。 内視 鏡 1 〇は揷入部 2 0、 操作部 2 1、 及びユニバーサルコード 2 2を備える。 揷入部 2 0は被検体内に挿入される。 揷入部 2 0は、 全体が細径で長尺状に 形成されている。
[0063] 揷入部 2 0は、 軟性部 2 5、 湾曲部 2 6、 及び先端部 2 7を備える。 挿入 部 2 0は、 軟性部 2 5、 湾曲部 2 6、 及び先端部 2 7が連設されて構成され る。 軟性部 2 5は、 揷入部 2 0の基端側から先端側に向けて順に可撓性を する。 湾曲部 2 6は、 操作部 2 1が操作された場合に湾曲可能な構造を有す る。 先端部 2 7は、 図示しない撮像光学系及び撮像素子 2 8等が内蔵される
[0064] 撮像素子 2 8は、 C M O S型撮像素子又は C C D型撮像素子が適用される 。 なお、 C M〇 Sは、 Comp lementary Meta I Ox i de Sem i conductorの省略語で ある。 C C D 、 Charge Coup led Dev i ceの省略語である。
[0065] 先端部 2 7の先端面 2 7 aは、 図示しない観察窓が配置される。 観察窓は 、 先端部 2 7の先端面 2 7 aに形成された開口である。 観察窓は図示しない 〇 2020/174747 1 1 卩(:171? 2019 /041947
カバーが取り付けられる。
観察窓の後方には、 図示しない撮像光学系が配置される。 撮像素子 2 8の撮 像面は、 観察窓、 及び撮像光学系等を介して、 被観察部位の像光が入射する 。 撮像素子 2 8は、 撮像素子 2 8の撮像面に入射した被観察部位の像光を撮 像して、 撮像信号を出力する。 ここでいう撮像は、 被観察部位からの反射光 を電気信号へ変換するという意味が含まれる 。
[0066] 操作部 2 1は揷入部 2 0の基端側に連設される。 操作部 2 1は、 術者が操 作する各種操作部材を備える。 具体的には、 操作部 2 1は、 二種類の湾曲操 作ノブ 2 9を備える。 湾曲操作ノブ 2 9は、 湾曲部 2 6の湾曲操作の際に用 いられる。 なお、 術者は、 医師、 操作者、 観察者、 及びユーザ等を含み得る
[0067] 操作部 2 1は、 送気送水ボタン 3 0、 及び吸引ボタン 3 1 を備える。 送気 送水ボタン 3 0は、 術者が送気送水操作を行う際に用いられる。 吸引ボタン 3 1は、 術者が吸引操作を行う際に用いられる。
[0068] 操作部 2 1は、 静止画像撮像指示部 3 2、 及び処置具導入口 3 3を備える 。 静止画像撮像指示部 3 2は、 被観察部位の静止画像を撮像する際に術者が 操作するボタンを備える。
処置具導入口 3 3は、 揷入部 2 0の内部を揷通している処置具揷通路の内部 に処置具を揷入する開口である。 なお、 処置具揷通路、 及び処置具の図示は 省略する。
[0069] ユニバーサルコード 2 2は、 内視鏡 1 0を光源装置 1 1 に接続する接続コ —ドである。 ユニバーサルコード 2 2は、 挿入部 2 0の内部を挿通している ライ トガイ ド 3 5、 信号ケーブル 3 6、 及び図示しない流体チューブを内包 している。
[0070] また、 ユニバーサルコード 2 2の先端部は、 光源装置 1 1 に接続されるコ ネクタ 3 7 3、 及びコネクタ 3 7 3から分岐され、 かつプロセッサ装置 1 2 に接続されるコネクタ 3 7 13を備える。
[0071 ] コネクタ 3 7 3 が光源装置 1 1 に接続された際に、 ライ トガイ ド 3 5及び 〇 2020/174747 12 卩(:171? 2019 /041947
図示しない流体チューブが光源装置 1 1 に揷入される。 これにより、 ライ ト ガイ ド 3 5及び図示しない流体チューブを介して、 光源装置 1 1から内視鏡 1 〇に対して必要な照明光、 水等の液体、 及び空気等の気体が供給される。
[0072] その結果、 先端部 2 7の先端面 2 7 3の図示しない照明窓から被観察部位 に向けて照明光が照射される。 また、 送気送水ボタン 3 0の押下操作に応じ て、 先端部 2 7の先端面 2 7 3 の図示しない送気送水ノズルから先端面 2 7 3の図示しない観察窓に向けて気体又は水が 射される。 なお、 被観察部位 は観察対象、 検査対象等と呼ばれる場合があり得る。
[0073] コネクタ 3 7匕がプロセッサ装置 1 2に接続された際に、 信号ケーブル 3
6とプロセッサ装置 1 2とが電気的に接続される。 これにより、 信号ケープ ル 3 6を介して、 内視鏡 1 0の撮像素子 2 8からプロセッサ装置 1 2へ被観 察部位の撮像信号が出力され、 かつプロセッサ装置 1 2から内視鏡 1 0へ制 御信号が出力される。
[0074] 本実施形態では、 内視鏡 1 0として軟性内視鏡を例に挙げて説明を行っ が、 内視鏡 1 〇として、 硬性内視鏡等の被観察部位の動画撮像を可能 な各種 の電子内視鏡を用いてもよい。
[0075] 光源装置 1 1は、 コネクタ 3 7 3 を介して、 内視鏡 1 0のライ トガイ ド 3
5へ照明光を供給する。 照明光は、 白色光又は特定の波長帯域の光を適用可 能である。 照明光は、 白色光及び特定の波長帯域の光を組み合わせ てもよい 。 光源装置 1 1は、 観察目的に応じた波長帯域の光を、 照明光として適宜選 択可能に構成される。
[0076] 白色光は、 白色の波長帯域の光又は複数の波長帯域の光 のいずれでもよい 。 特定の波長帯域は、 白色の波長帯域よりも狭い帯域である。 特定の波長帯 域の光は、 一種類の波長帯域の光を適用してもよいし、 複数の波長帯域の光 を適用してもよい。 特定の波長帯域は、 特殊光と呼ばれる場合がある。
[0077] プロセッサ装置 1 2は、 コネクタ 3 7匕及び信号ケーブル 3 6を介して、 内視鏡 1 〇へ指令信号を送信し、 内視鏡 1 〇の動作を制御する。 また、 プロ セッサ装置 1 2は、 コネクタ 3 7匕及び信号ケーブル 3 6を介して、 内視鏡 〇 2020/174747 13 卩(:171? 2019 /041947
1 〇の撮像素子 2 8から撮像信号を取得する。 すなわち、 プロセッサ装置 1 2は規定のフレームレートを適用して内視鏡 1 0から出力された撮像信号を 取得する。
[0078] プロセッサ装置 1 2は、 内視鏡 1 0から取得した撮像信号に基づき、 被観 察部位の観察画像である内視鏡画像 3 8を生成する。 ここでいう内視鏡画像 3 8には動画像が含まれる。 内視鏡画像 3 8は静止画像 3 9が含まれてもよ い。 なお、 動画像は符号 3 8 aを付して図 3に図示する。 実施形態に示す内 視鏡画像 3 8は医用画像の一例である。
[0079] プロセッサ装置 1 2は、 操作部 2 1の静止画像撮像指示部 3 2が操作され た場合、 動画像の生成と並行して、 撮像素子 2 8から取得した撮像信号に基 づき被観察部位の静止画像 3 9を生成する。 静止画像 3 9は、 動画像の解像 度に対して高解像度に生成されていてもよい 。
[0080] 内視鏡画像 3 8の生成の際に、 プロセッサ装置 1 2はホワイ トバランス調 整、 及びシエーディング補正等のデジタル信号処 理を適用した画質の補正を 行う。 プロセッサ装置 1 2は D I C O M規格で規定された付帯情報を内視鏡 画像 3 8へ付加してもよい。 なお、 D 丨 C O Mは、 D i g i ta l Imag i ng and Com mun i cat i ons i n Med i c i neの省略語である。 実施形態に示すプロセッサ装置は 、 内視鏡を制御する内視鏡制御部を備えるプロ セッサ装置の一例である。
[0081 ] プロセッサ装置 1 2は、 内視鏡画像 3 8を表示装置 1 3及び医用画像処理 装置 1 4のそれぞれに出力する。 プロセッサ装置 1 2は、 D 丨 C O M規格に 準拠した通信プロトコルに従って、 図示しない通信ネッ トワークを介して、 図示しない記憶装置へ内視鏡画像 3 8を出力してもよい。 なお、 通信ネッ ト ワークは図 2に示す通信ネッ トワーク 1 4 0を適用し得る。
[0082] 表示装置 1 3は、 プロセッサ装置 1 2に接続される。 表示装置 1 3は、 プ ロセッサ装置 1 2から送信された内視鏡画像 3 8を表示する。 術者は、 表示 装置 1 3に表示される内視鏡画像 3 8を確認しながら、 揷入部 2 0の進退操 作等をし得る。 術者は、 被観察部位に病変等を検出した場合に、 静止画像撮 像指示部 3 2を操作して被観察部位の静止画を撮像し得 。 〇 2020/174747 14 卩(:171? 2019 /041947
[0083] 医用画像処理装置 1 4は、 コンピュータを適用し得る。 入力装置 1 5はコ ンピュータに接続可能なキーボード及びマウ ス等が用いられる。 入力装置 1 5とコンピュータとの接続は有線接続又は無 接続のいずれでもよい。 モニ 夕装置 1 6は、 コンピュータに接続可能な各種モニタが用い られる。
[0084] 医用画像処理装置 1 4として、 ワークステーション及びサーバ装置等の診 断支援装置を適用してもよい。 この場合、 入力装置 1 5及びモニタ装置 1 6 は、 それぞれワークステーション等に接続した複 数の端末ごとに設けられる 。 更に、 医用画像処理装置 1 4として、 医療レポート等の作成支援を行う診 療業務支援装置を用いてもよい。
[0085] 医用画像処理装置 1 4は、 内視鏡画像 3 8の取得、 及び内視鏡画像 3 8の 記憶を行う。 医用画像処理装置 1 4は、 モニタ装置 1 6の再生制御を行う。 なお、 本明細書における画像という用語は、 画像を表す電気信号、 及び画像 を表す情報等の画像データという意味が含ま れている。 本明細書における画 像という用語は、 画像自身、 及び画像データの少なくともいずれかを意味 し ている。
[0086] また、 画像の記憶という用語は、 画像の保存、 及び画像の格納等と読み替 えることが可能である。 ここでいう画像の記憶は、 画像の非一時的記憶を意 味する。 医用画像処理装置 1 4は画像を一時記憶する一時記憶用のメモリ 備えてもよい。
[0087] 入力装置 1 5は、 医用画像処理装置 1 4に対する操作指示の入力に用いら れる。 モニタ装置 1 6は、 医用画像処理装置 1 4の制御の下、 内視鏡画像 3 8の表示を行う。 モニタ装置 1 6は、 医用画像処理装置 1 4における各種情 報の表示部として機能してもよい。
[0088] 医用画像処理装置 1 4は、 図 1 に図示しない通信ネッ トワークを介して、 図示しない記憶装置と接続され得る。 画像の格納形式、 及び通信ネッ トワー クを経由した各装置間の通信は、 口 丨 ( 3 0 IV!規格、 及び 0 I ( 3 0 IV!規格に準 拠したプロトコル等を適用可能である。
[0089] 図示しない記憶装置は、 データを非一時的に記憶するストレージ等を 適用 〇 2020/174747 1 5 卩(:171? 2019 /041947
可能である。 記憶装置は、 図示しないサーバ装置を用いて管理されても よい 。 サーバ装置は、 各種データを記憶して管理するコンピュータ を適用可能で ある。
[0090] [医用画像処理装置のハードウヱア構成]
図 2は医用画像処理装置のハードウェア構成を すブロック図である。 図 2に示す医用画像処理装置 1 4は、 プロセッサ 1 2 0、 メモリ 1 2 2、 スト レージ装置 1 2 4、 ネッ トワークコントローラ 1 2 6、 電源装置 1 2 8、 デ ィスプレイコントローラ 1 3 0、 入出カインターフェース 1 3 2、 及び入力 コントローラ 1 3 4を備える。 なお、 図 2に示す丨 /〇は入出カインターフ ェースを表す。
[0091 ] プロセッサ 1 2 0、 メモリ 1 2 2、 ストレージ装置 1 2 4、 ネッ トワーク コントローラ 1 2 6、 ディスプレイコントローラ 1 3 0、 及び入出カインタ —フェース 1 3 2は、 バス 1 3 6を介してデータ通信が可能に接続される。
[0092] 〔プロセッサ〕
プロセッサ 1 2 0は、 医用画像処理装置 1 4の全体制御部、 各種演算部、 及び記憶制御部として機能する。 プロセッサ 1 2 0は、 メモリ 1 2 2に具備 される R O M ( read on ly memory) に記憶されているプログラムを実行する
[0093] プロセッサ 1 2 0は、 ネッ トワークコントローラ 1 2 6を介して、 図示し ない外部の記憶装置からプログラムをダウン ロードし、 ダウンロードしたプ ログラムを実行してもよい。 外部の記憶装置は、 通信ネッ トワーク 1 4 0を 介して医用画像処理装置 1 4と通信可能に接続されていてもよい。
[0094] プロセッサ 1 2 0は、 メモリ 1 2 2に具備される R A M ( random access m emory) を演算領域とし、 各種プログラムと協働して、 各種処理を実行する。 これにより、 医用画像処理装置 1 4の各種機能が実現される。
[0095] プロセッサ 1 2 0は、 ストレージ装置 1 2 4からのデータの読み出し、 及 びストレージ装置 1 2 4へのデータの書き込みを制御する。 プロセッサ 1 2 0は、 ネッ トワークコントローラ 1 2 6を介して、 外部の記憶装置から各種 〇 2020/174747 16 卩(:171? 2019 /041947
データを取得してもよい。 プロセッサ 1 20は、 取得した各種データを用い て、 演算等の各種処理を実行可能である。
[0096] プロセッサ 1 20は、 一つ又は二つ以上のデバイスが含まれてもよ い。 デ バイスの一例として、 F PGA (Field Programmable Gate Array) 及び P L D (Programmable Logic Device) 等が挙げられる。 F PGA及び P L Dは、 製造後に回路構成を変更し得るデバイスであ る。
[0097] デバイスの他の例として、 AS I C (Application Specific Integrated C ircuit) が挙げられる。 AS I Cは、 特定の処理を実行させるために専用に 設計された回路構成を備える。
[0098] プロセッサ 1 20は、 同じ種類の二つ以上のデバイスを適用可能で ある。
例えば、 プロセッサ 1 20は二つ以上の F PGAを用いてもよいし、 二つの P L Dを用いてもよい。 プロセッサ 1 20は、 異なる種類の二つ以上のデバ イスを適用してもよい。 例えば、 プロセッサ 1 20は一つ以上の F P G Aと —つ以上の AS 丨 Cとを適用してもよい。
[0099] 複数のプロセッサ 1 20を備える場合、 複数のプロセッサ 1 20は一つの デバイスを用いて構成してもよい。 一つのデバイスを用いて複数のプロセッ サ 1 20を構成する一例として、 一つ以上の C P U (Central Processing Un it) とソフトウェアとの組合せを用いて一つのデ バイスを構成し、 このデバ イスが複数のプロセッサ 1 20として機能する形態がある。 なお、 本明細書 におけるソフトウェアはプログラムと同義で ある。
[0100] 複数のプロセッサ 1 20を一つのデバイスで構成する他の例として 複数 のプロセッサ 1 20を含むシステム全体の機能を一つの丨 Cチップで実現す るデバイスを使用する形態が挙げられる。 複数のプロセッサ 1 20を含むシ ステム全体の機能を一つの丨 Cチップで実現するデバイスの代表例として
S〇 C (System On Chip) が挙げられる。 なお、 丨 Cは、 Integrated Circui tの省略語である。 このように、 プロセッサ 1 20は、 ハードウェア的な構造 として、 各種のデバイスを一つ以上用いて構成される 。
[0101] 〔メモリ〕 〇 2020/174747 17 卩(:171? 2019 /041947
メモリ 1 22は、 図示しない ROM、 及び図示しない RAMを備える。 R 〇 Mは、 医用画像処理装置 1 4において実行される各種プログラムを記憶 る。 ROMは、 各種プログラムの実行に用いられるパラメー タ、 及びフアイ ル等を記憶する。 RAMは、 データの一時記憶領域、 及びプロセッサ 1 20 のワーク領域等として機能する。
[0102] 〔ストレージ装置〕
ストレージ装置 1 24は、 各種データを非一時的に記憶する。 ストレージ 装置 1 24は、 医用画像処理装置 1 4の外部に外付けされてもよい。 ストレ —ジ装置 1 24に代わり、 又はこれと併用して、 大容量の半導体メモリ装置 を適用してもよい。
[0103] 〔ネッ トワークコントローラ〕
ネッ トワークコントローラ 1 26は、 外部装置との間のデータ通信を制御 する。 データ通信の制御は、 データ通信のトラフィックの管理が含まれて も よい。 ネッ トワークコントローラ 1 26を介して接続される通信ネッ トワー ク 1 40は、 LANなどの公知の通信ネッ トワークを適用し得る。
[0104] 〔電源装置〕
電源装置 1 28は、 U PS (Uninterruptible Power Supp ly)などの大容量 型の電源装置が適用される。 電源装置 1 28は停電等に起因して商用電源が 遮断された際に、 医用画像処理装置 1 4の各部へ電源を供給する。
[0105] 〔ディスプレイコントローラ〕
ディスプレイコントローラ 1 30は、 プロセッサ 1 20から送信される指 令信号に基づいてモニタ装置 1 6を制御するディスプレイ ドライバーとして 機能する。
[0106] 〔入出カインターフェース〕
入出カインターフェース 1 32は、 医用画像処理装置 1 4と外部機器との 通信可能に接続する。 入出カインターフェース 1 32は、 US B (Universal Serial Bus) などの通信規格を適用し得る。
[0107] 〔入カコントローラ〕 〇 2020/174747 18 卩(:171? 2019 /041947
入カコントローラ 1 3 4は、 入力装置 1 5を用いて入力された信号の形式 を医用画像処理装置 1 4の処理に適した形式に変換する。 入カコントローラ 1 3 4を介して入力装置 1 5から入力された情報は、 プロセッサ 1 2 0を介 して各部へ送信される。
[0108] なお、 図 2に示す医用画像処理装置 1 4のハードウエア構成は一例であり 、 適宜、 追加、 削除、 及び変更が可能である。 また、 図 2に示すハードウエ ア構成は、 図 1 に示すプロセッサ装置 1 2にも適用し得る。
[0109] [医用画像処理装置の機能ブロック]
図 3は実施形態に係る医用画像処理装置の機能 ロック図である。 医用画 像処理装置 1 4は、 画像取得部 4 0、 認識部 4 2、 表示制御部 4 4、 記憶部 4 6、 及び変更判定部 4 8を備える。 尚、 本実施形態では、 図 2に示す医用 画像処理装置 1 4のプロセッサ 1 2 0が、 画像取得部 4 0、 認識部 4 2、 表 示制御部 4 4、 変更判定部 4 8の機能を実行する。 また、 図 2に示すストレ —ジ装置 1 2 4が記憶部 4 6の機能を実行する。 尚、 画像取得部 4 0、 認識 部 4 2、 表示制御部 4 4、 変更判定部 4 8の機能は、 1つまたは複数の汎用 目的プロセッサ (例えば、 マイクロプロセッサ) 、 及び、 1つまたは複数の 特殊目的プロセッサ (例えば、 八3 丨 〇、 〇八) などの組み合わせによ り実現してもよい。
[01 10] 〔画像取得部〕
画像取得部 4 0は、 プロセッサ装置 1 2から内視鏡 1 0を用いて撮像した 内視鏡画像 3 8を取得する。 画像取得部 4 0は、 内視鏡画像 3 8を内視鏡画 像記憶部 4 6 8へ記憶する。
[01 1 1 ] 画像取得部 4 0は、 メモリカード等の情報記憶媒体を介して、 プロセッサ 装置 1 2から内視鏡画像 3 8を取得してもよい。 画像取得部 4 0は、 図 2に 示す通信ネッ トワーク 1 4 0を介して内視鏡画像 3 8を取得してもよい。
[01 12] 画像取得部 4 0は、 時系列のフレーム画像 3 8匕から構成される動画像 3
8 3を取得し得る。 画像取得部 4 0は動画像 3 8 3 の撮像途中に静止画撮像 が実施された場合に、 静止画像 3 9を取得し得る。 〇 2020/174747 19 卩(:171? 2019 /041947
[01 13] 〔認識部〕
認識部 4 2は、 注目領域検出部 4 2 a、 強調表示設定部 4 2 b、 及び分類 部 4 2 c、 分類表示設定部 4 2 dを備える。 認識部 4 2は、 C N N (Convo lu t i ona l Neura l Network) 等の学習器を適用して内視鏡画像 3 8から注目領域 を検出する。 認識部 4 2は、 注目領域を強調する強調表示を設定する。 認識 部 4 2は学習を適用して注目領域を分類する。
[01 14] 注目領域検出部 4 2 aは、 画像取得部 4 0を用いて取得した内視鏡画像 3
8から注目領域を検出する。 注目領域検出部 4 2 aは、 内視鏡画像 3 8と内 視鏡画像 3 8における注目領域とのペアを正解データと て、 学習を実施し た学習済みの学習器が適用される。 注目領域検出部 4 2 aは、 内視鏡画像 3 8から検出した注目領域を注目領域記憶部 4 6 bへ記憶する。
[01 15] 強調表示設定部 4 2匕は、 内視鏡画像 3 8から検出された注目領域を強調 する強調表示を設定する。 強調表示設定部 4 2 bは、 注目領域の位置及び注 目領域のサイズを特定し、 注目領域の位置及び注目領域のサイズに応じ て、 強調表示の位置及び強調表示のサイズを特定 する。 強調表示設定部 4 2匕は 、 強調表示の位置及び強調表示のサイズを含む 強調表示の情報を注目領域と 関連付けして記憶する。
[01 16] 強調表示設定部 4 2匕は、 注目領域を囲む閉曲線を強調表示に適用し得 る 。 注目領域を囲む閉曲線は、 注目領域を囲む四角形等の多角形、 円、 及び任 意形状の閉曲線を適用し得る。 注目領域を囲む閉曲線は、 注目領域が内接す る多角形及び円、 注目領域と重なる多角形及び円、 並びに注目領域を内部に 含む多角形及び円であり、 注目領域と非接触の多角形及び円等を適用し 得る
[01 17] 分類部 4 2 cは、 注目領域を分類する。 例えば、 分類部 4 2 cは注目領域 が病変であるか非病変であるかを分類する。 分類部 4 2 cは病変である注目 領域の疾病名を特定してもよい。 分類部 4 2 cは、 U I C C (Un i on for Int ernat i ona l Cancer Cont ro l) 及び T N M分類等の規格化された分類を適用し 得る。 分類部 4 2 cは注目領域ごとの分類を注目領域の情報を 応付けして 〇 2020/174747 20 卩(:171? 2019 /041947
分類記憶部 4 6〇へ記憶する。 分類表示設定部 4 2 は、 分類部 4 2〇で分 類された注目領域の表示態様を設定する。 例えば、 分類部 4 2〇で特定され た注目領域の疾病名を文字列で表示するか、 絵及びアイコンで表示するかを 設定する。 文字列で表示する場合は、 文字の濃度や文字の色彩、 文字のサイ ズを特定する。 また、 注目領域に対する分類の表示位置を特定する 。
[01 18] なお、 丁 IV!の丁は、 「の頭文字である。 丁 1\/1の1\1は、 〇163の頭文 字である。 丁 1\/1の1\/1は、 の頭文字である。
[01 19] 〔表示制御部〕
表示制御部 4 4は、 内視鏡画像 3 8をモニタ装置 1 6へ表示させる画像等 を表す表示信号をモニタ装置 1 6へ送信する。 表示制御部 4 4は、 注目領域 及び注目領域の分類を表す表示信号をモニタ 装置 1 6へ送信する。 表示制御 部 4 4は、 モニタ装置 1 6の制御信号をモニタ装置 1 6へ送信する。
[0120] モニタ装置 1 6は、 内視鏡画像 3 8、 注目領域、 及び注目領域の分類を表 示する。 モニタ装置 1 6は、 注目領域及び注目領域の分類を内視鏡画像 3 8 に重畳表示し得る。 モニタ装置 1 6は、 内視鏡画像 3 8が表示される領域と 区画された領域に注目領域及び注目領域の分 類を表示し得る。 表示制御部 4 4は、 規定の更新間隔を適用して内視鏡画像 3 8の表示、 注目領域の表示、 及び注目領域の分類の表示を更新する。
[0121 ] 〔記憶部〕
記憶部 4 6は、 内視鏡画像記憶部 4 6 3、 注目領域記憶部 4 6 13、 及び分 類記憶部 4 8〇を備える。 内視鏡画像記憶部 4 6 3 は、 画像取得部 4 0を用 いて取得した内視鏡画像 3 8を記憶する。
[0122] 注目領域記憶部 4 6匕は、 注目領域の情報を記憶する。 注目領域記憶部 4
6匕は、 注目領域を検出した内視鏡画像 3 8と関連付けされた注目領域の情 報を記憶し得る。 注目領域の情報は、 内視鏡画像 3 8における注目領域の座 標値及び注目領域の形状を適用し得る。
[0123] 注目領域の座標値は、 強調表示を設定する際に適用される強調表示 の座標 値に適用し得る。 注目領域の形状は、 注目領域の形態及び注目領域面積を含 〇 2020/174747 21 卩(:171? 2019 /041947
み得る。
[0124] 分類記憶部 4 6〇は、 注目領域ごとの分類が注目領域の情報と関連 付けし て記憶される。 注目領域の情報は、 注目領域を特定し得る番号及び記号等が 適用される。
[0125] 記憶部 4 6は、 一つ以上の記憶素子を適用し得る。 すなわち、 記憶部 4 6 は、 内視鏡画像記憶部 4 6 注目領域記憶部 4 6 、 及び分類記憶部 4 6
〇のそれぞれに対応する三つの記憶素子を 備え得る。 また、 内視鏡画像記憶 部 4 6 3、 注目領域記憶部 4 6匕、 及び分類記憶部 4 6〇は、 それぞれ複数 の記憶素子を適用し得る。 更に、 内視鏡画像記憶部 4 6 3、 注目領域記憶部 4 6匕、 及び分類記憶部 4 6〇のうち二つ又は全てを、 一つの記憶素子を用 いて構成し得る。
[0126] 〔変更判定部〕
変更判定部 4 8は、 強調表示の表示形態及び注目領域の分類の表 示形態の 少なくともいずれかを変更するか否かを判定 する。 変更判定部 4 8は、 強調 領域の表示形態を変更することを表す指令信 号を取得した場合に、 強調表示 の表示形態を変更すると判定し得る。
[0127] 変更判定部 4 8は、 強調表示の表示形態を変更することを表す指 令信号を 表示制御部 4 4へ送信する。 表示制御部 4 4は、 受信した指令信号に応じて 強調表示の表示形態を変更する。
[0128] なお、 実施形態に記載の変更判定部 4 8は、 操作部が操作された際に送信 される指令信号を取得する指令信号取得部を 構成要素として含み得る。
[0129] 例えば、 術者が持つ把持部の操作ボタン 4 9を術者が操作して、 内視鏡 1
0から医用画像処理装置 1 4へ強調表示の表示形態を変更することを表 信 号を送信し、 内視鏡 1 〇から送信された信号を医用画像処理装置 1 4が受信 した場合に、 医用画像処理装置 1 4は強調表示の表示形態を変更し得る。 術 者が持つ把持部の例として図 1 に示す操作部 2 1が挙げられる。
[0130] 強調表示の表示形態の変更の例として、 強調表示の濃度を下げて薄くする
、 強調表示の色彩を薄い色彩に変更する、 実線の閉曲線が適用される場合に 〇 2020/174747 22 卩(:171? 2019 /041947
実線を破線等に変更する、 及び強調表示を移動させるなど、 強調表示をオフ せずに強度を弱める例が挙げられる。 強調表示をオフせずに強度を弱める際 に、 強調表示を視認可能に弱めることが好ましい 。
[0131 ] また、 術者が注目領域の分類を実施していると認識 された場合に、 医用画 像処理装置 1 4は強調表示の表示形態を変更し得る。 術者が注目領域の分類 を実施している場合の例として、 通常光から特殊光への変更が実施された場 合が挙げられる。
[0132] なお、 実施形態に記載の変更判定部 4 8は、 注目領域の分類を実施してい るか否かを表す分類実施信号を取得する分類 実施信号取得部を構成要素とし て含み得る。
[0133] 更に、 処置動作が実施されていると認識された場合 に、 医用画像処理装置
1 4は強調表示の表示形態を変更し得る。 処置動作が実施されていると認識 された場合の例として、 内視鏡画像 3 8に処置具が写っている場合が挙げら れる。
[0134] なお、 実施形態に記載の変更判定部 4 8は、 処置具が動作しているか否か を判定する処置具動作判定部を構成要素とし て含み得る。
[0135] 変更判定部 4 8は、 注目領域の分類の表示形態を変更することを 表す指令 信号を取得した場合に、 注目領域の分類の表示形態を変更すると判定 し得る 。 変更判定部 4 8は、 注目領域の分類の表示形態を変更することを 表す指令 信号を表示制御部 4 4へ送信する。 表示制御部 4 4は、 受信した指令信号に 応じて注目領域の分類の表示形態を変更する 。
[0136] 例えば、 術者が持つ把持部の操作ボタン 4 9を術者が操作して、 内視鏡 1
0から医用画像処理装置 1 4へ注目領域の分類の表示形態を変更するこ を 表す信号を送信し、 内視鏡 1 〇から送信された信号を医用画像処理装置 1 4 が受信した場合に、 医用画像処理装置 1 4は注目領域の分類の表示形態を変 更し得る。
[0137] 注目領域の分類の表示形態の変更の例として 、 分類を表す文字の濃度を下 げる、 分類を表す文字の色彩を薄い色彩に変更する 、 分類を表す文字のサイ 〇 2020/174747 23 卩(:171? 2019 /041947
ズを小さくする、 及び分類を表す文字を移動させる例が挙げら れる。 注目領 域の分類の表示形態の変更の他の例として、 分類を表す文字列の一部を省略 する、 文字列を絵及びアイコン等に変更する例が挙 げられる。 文字列の一部 を省略する例として、 文字列を表す省略語を適用する及び文字列の 頭文字を 適用する例が挙げられる。
[0138] [医用画像処理方法の手順]
図 4は実施形態に係る医用画像処理方法の手順 示すフローチヤートであ る。 以下に説明する医用画像処理方法は、 内視鏡 1 〇を用いた検査の際に取 得した内視鏡画像 3 8に適用してもよいし、 医用画像サーバ等から取得した 内視鏡画像 3 8に適用してもよい。
[0139] 内視鏡画像取得工程 3 1 0では、 図 3に示す画像取得部 4 0は、 図 1 に示 すプロセツサ装置 1 2から内視鏡画像 3 8を取得する。 内視鏡画像取得工程 3 1 0では、 画像取得部 4 0は内視鏡画像記憶部 4 6 3へ内視鏡画像 3 8を 記憶する。 内視鏡画像取得工程 3 1 0の後に注目領域検出工程 3 1 2へ進む
[0140] 注目領域検出工程 3 1 2では、 注目領域検出部 4 2 3 は内視鏡画像 3 8を 構成する動画像 3 8 3の任意のフレーム画像 3 8匕から注目領域を検出する 。 注目領域検出部 4 2 3は一枚のフレーム画像 3 8匕から複数の注目領域を 検出してもよい。
[0141 ] 注目領域検出工程 3 1 2では、 注目領域検出部 4 2 3は動画像 3 8 3の全 てのフレーム画像 3 8匕から注目領域を検出してもよいし、 規定の期間おき のフレーム画像 3 8 13から注目領域を検出してもよい。
[0142] 注目領域検出工程 3 1 2では、 注目領域検出部 4 2 3 は注目領域をフレー ム画像 3 8匕の情報と関連付けして、 注目領域記憶部 4 6匕へ記憶する。 注 目領域検出工程 3 1 2の後に分類工程 3 1 4へ進む。 なお、 注目領域検出エ 程 3 1 2は、 注目領域を検出する認識工程の一例に相当す る。
[0143] 分類工程 3 1 4では、 分類部 4 2〇は注目領域ごとに分類を実施する。 分 類工程 3 1 4では、 分類部 4 2〇は注目領域ごとの分類を注目領域と関連 〇 2020/174747 24 卩(:171? 2019 /041947
けして、 分類記憶部 4 6〇へ記憶する。 分類工程 3 1 4の後に表示工程 3 1 6へ進む。 なお、 分類工程 3 1 4は、 注目領域を分類する認識工程の一例に 相当する。
[0144] 表示工程 3 1 6では、 強調表示設定部 4 2匕は注目領域ごとに強調表示を 設定し、 強調表示の情報を表示制御部 4 4へ送信する。 表示制御部 4 4は内 視鏡画像 3 8を表示する画面に強調表示を表示させる。
[0145] 表示工程 3 1 6では、 分類部 4 2〇は注目領域ごとの分類の情報を分類表 示設定部 4 2 に送付し、 分類表示設定部 4 2 は、 注目領域ごとに分類の 表示態様を設定し、 分類の表示態様の情報を表示制御部 4 4へ送信する。 表 示制御部 4 4は内視鏡画像 3 8を表示する画面に注目領域ごとの分類を表 させる。 表示工程 3 1 6の後に強調表示変更判定工程 3 1 8へ進む。
[0146] 強調表示変更判定工程 3 1 8では、 変更判定部 4 8は強調表示の表示態様 を変更するか否かを判定する。 強調表示変更判定工程 3 1 8において、 変更 判定部 4 8が強調表示の表示態様を変更しないと判定 た場合は 〇判定と なり、 分類表示変更判定工程 3 2 0へ進む。 _方、 強調表示変更判定工程 3 1 8において、 変更判定部 4 8が強調表示の表示態様を変更すると判定し 場合は丫6 3判定となり、 強調表示変更工程 3 2 2へ進む。
[0147] 分類表示変更判定工程 3 2 0では、 変更判定部 4 8は分類の表示態様を変 更するか否かを判定する。 分類表示変更判定工程 3 2 0において、 変更判定 部 4 8が分類の表示態様を変更しないと判定した 合は 〇判定となり、 最 終フレーム画像判定工程 3 2 6へ進む。
一方、 分類表示変更判定工程 3 2 0において、 変更判定部 4 8が分類の表示 態様を変更すると判定した場合は丫㊀ 3判定となり、 分類表示変更工程 3 2 4へ進む。 なお、 強調表示変更判定工程 3 1 8と分類表示変更判定工程 3 2 〇とは順番を入れ替えてもよい。
[0148] 強調表示変更工程 3 2 2では、 強調表示設定部 4 2 は表示態様を変更し た強調表示の情報を表す指令信号を表示制御 部 4 4へ送信する。 表示制御部 4 4は受信した指令信号に基づいて、 強調表示の表示態様を変更する。 強調 〇 2020/174747 25 卩(:171? 2019 /041947
表示変更工程 3 2 2の後に最終フレーム画像判定工程 3 2 6へ進む。
[0149] 分類表示変更工程 3 2 4では、 分類部表示設定部 4 2 は表示態様を変更 した注目領域の分類の表示態様の情報を表す 指令信号を表示制御部 4 4へ送 信する。 表示制御部 4 4は受信した指令信号に基づいて、 注目領域の分類の 表示態様を変更する。 分類表示変更工程 3 2 4の後に最終フレーム画像判定 工程 3 2 6へ進む。
[0150] 最終フレーム画像判定工程 3 2 6では、 医用画像処理装置 1 4は表示され ている内視鏡画像 3 8が最終フレーム画像であるか否かを判定す 。 最終フ レーム画像判定工程 3 2 6において、 医用画像処理装置 1 4が表示されてい る内視鏡画像 3 8が最終フレーム画像でないと判定した場合 〇判定とな り、 内視鏡画像取得工程 3 1 0へ進む。 以降、 最終フレーム画像判定工程 3 2 6において丫㊀ 3判定となるまで、 内視鏡画像取得工程 3 1 0から最終フ レーム画像判定工程 3 2 6までの各工程を実施する。
[0151 ] —方、 最終フレーム画像判定工程 3 2 6において、 医用画像処理装置 1 4 が表示されている内視鏡画像 3 8が最終フレーム画像であると判定した場合 は丫㊀ 3判定となり、 医用画像処理装置 1 4は医用画像処理方法を終了させ る。
[0152] [強調表示の表示態様の変更及び分類の表示 様の変更の具体例]
次に、 強調表示の表示態様の変更及び分類の表示態 様の変更の具体例につ いて説明する。 以下の説明では、 図 1 に示す内視鏡 1 〇を用いて大腸を観察 して得られた動画像 3 8 3における任意のフレーム画像 3 8 13を例示する。 なお、 観察対象は大腸に限定されず、 食道、 胃、 及び小腸等を観察対象とし てもよい。
[0153] 図 5は内視鏡画像の説明図である。 図 5に示す内視鏡画像 3 8は、 第一病 変 2 0 0、 第二病変 2 0 2、 及び第三病変 2 0 4が視認されている。 図 5で は図示を省略するが、 内視鏡画像 3 8が表示される画面は、 患者情報を表示 する領域、 操作ボタンを表示する領域等を含み得る。
[0154] 図 3に示す注目領域検出部 4 2 3 は、 第一病変 2 0 0を第一注目領域 2 0 〇 2020/174747 26 卩(:171? 2019 /041947
1 として検出する。 同様に、 注目領域検出部 4 2 aは、 第二病変 2 0 2を第 二注目領域 2 0 3として検出し、 第三病変 2 0 4を第三注目領域 2 0 5とし て検出する。
[0155] 図 6は注目領域の強調表示及び注目領域の分類 示の説明図である。 同図 に示す内視鏡画像 3 8は、 内視鏡画像 3 8を表示する画面と同一の画面に注 目領域の強調表示及び注目領域の分類が表示 される。 これにより、 術者は視 線を移動させずに、 内視鏡画像 3 8、 注目領域の強調表示、 及び注目領域の 分類を視認し得る。
[0156] 内視鏡画像 3 8には、 注目領域の強調表示としてバウンディングボ ックス が適用される。 パウンディングボックスは、 注目領域を囲む四角形が適用さ れる。 すなわち、 第 _ 病変 2 0 0に対応する第一注目領域 2 0 1は第ーバウ ンディングボックス 2 1 0が重畳表示される。
[0157] 同様に、 第二病変 2 0 2に対応する第二注目領域 2 0 3は、 第ニパウンデ ィングボックス 2 1 2が重畳表示され、 第三病変 2 0 4に対応する第三注目 領域 2 0 5には、 第三パウンディングボックス 2 1 4が重畳表示される。
[0158] また、 内視鏡画像 3 8は、 注目領域の分類として病変の種類を表す英単 語 が重畳表示される。 すなわち、 第一病変 2 0 0に対応する第一注目領域 2 0 1は、 第ーパウンディングボックス 2 1 0の上側の位置に、 非腫瘍性ポリー プを表す英単語である H y p e r P l a s t i cが第一分類 2 2 0として表 される。
[0159] 同様に、 第二病変 2 0 2に対応する第二注目領域 2 0 3は、 第ニパウンデ ィングボックス 2 1 2の上側の位置に、 腫瘍を表す英単語である A d e n〇 m aが第二分類 2 2 2として表示される。 また、 第三病変 2 0 4に対応する 第三注目領域 2 0 5は、 第三バウンディングボックス 2 1 4の上側の位置に 、 非腫瘍性ポリープを表す英単語である H y p e r P I a s t i cが第三分 類 2 2 4として表示される。
[0160] 〔強調表示の表示態様の変更の具体例〕
図 7は強調表示の表示態様の変更の説明図であ 。 同図に示す内視鏡画像 〇 2020/174747 27 卩(:171? 2019 /041947
3 8は注目領域の強調表示の強調の程度を弱め いる。 すなわち、 第四バウ ンディングボックス 2 1 0 3は、 図 6に示す第ーバウンディングボックス 2 1 〇と比較して濃度が下げられ薄くされている 。
[0161 ] 同様に、 第五パウンディングボックス 2 1 2 3は、 第ニパウンディングボ ックス 2 1 2と比較して濃度が下げられ薄くされており 第六バウンディン グボックス 2 1 4 3は、 第三パウンディングボックス 2 1 4と比較して濃度 が下げられ薄くされている。
[0162] 強調表示の強調の程度を弱める表示態様の変 更は、 強調表示の色彩を変更 してもよい。 強調表示の色彩変更の例として、 赤から黄への変更、 及び黒か ら灰色への変更等が挙げられる。
[0163] 図 8は強調表示の表示態様の変更の他の態様の 明図である。 同図に示す 内視鏡画像 3 8は、 強調表示に適用されている閉曲線の種類が変 更されてい る。 すなわち、 第七パウンディングボックス 2 1 〇匕、 第八パウンディング ボックス 2 1 2匕、 及び第九パウンディングボックス 2 1 4匕は、 線の種類 として破線が適用されている。
[0164] 線の種類の変更に代わり、 又は線の種類の変更と併用して、 線の太さを変 更してもよい。 線の太さを細く した場合に強調の程度は弱められる。
[0165] 図 9は強調表示の位置を移動させる表示態様の 明図である。 同図に示す 内視鏡画像 3 8は、 注目領域の全体を囲まない位置へバウンディ ングボック スの位置を移動させている。 すなわち、 第十パウンディングボックス 2 1 0 〇は、 第一注目領域 2 0 1 を囲む位置から第一注目領域 2 0 1 を囲まない位 置へ移動されている。
[0166] 同様に、 第十ーパウンディングボックス 2 1 は、 第二注目領域 2 0 3 を囲む位置から第二注目領域 2 0 3を囲まない位置へ移動され、 第十ニバウ ンディングボックス 第三注目領域 2 0 5を囲む位置から第三注 目領域 2 0 5を囲まない位置へ移動されている。
[0167] 図示は省略するが、 第十パウンディングボックス 2 1 0〇、 第十ーバウン ディングボックス 2 1 2〇, 及び第十ニバウンディングボックス 2 1 4〇は 〇 2020/174747 28 卩(:171? 2019 /041947
、 内視鏡画像 3 8と非重畳の位置へ移動させてもよい。 実施形態に記載の内 視鏡画像 3 8と非重畳の位置は、 観察対象を表す画像の表示領域の外の一例 に相当する。
[0168] 〔分類の表示態様の変更の具体例〕
図 1 0は分類の表示態様の変更の説明図である。 同図に示す第四分類 2 2 0 3は、 内視鏡画像 3 8と重畳する位置から内視鏡画像 3 8と非重畳の位置 に移動させている。 同様に、 第五分類 2 2 2 3及び第六分類 2 2 4 3 は、 内 視鏡画像 3 8と重畳する位置から内視鏡画像 3 8と非重畳の位置に移動させ ている。
[0169] また、 第四分類 第五分類 及び第六分類 2 2 4 3の相 互の位置関係は、 図 5等に示す第一分類 2 2 0、 第二分類 2 2 2、 及び第三 分類 2 2 4の相互の位置関係が維持されている。
[0170] 更に、 第四分類 2 2 0 3 は、 第一分類 2 2 0に適用された文字列の一部が 省略された略語が適用される。 同様に、 第五分類 2 2 2 3 は、 第二分類 2 2 2に適用された文字列の一部が省略された略 が適用され、 第六分類 2 2 4 3は、 第三分類 2 2 4に適用された文字列の一部が省略された略 が適用さ れる。
[0171 ] 図 1 1は分類の表示態様の変更の他の態様の説明 である。 同図に示す第 七分類 2 2 0匕は、 第一分類 2 2 0に適用された文字列 1 ~ 1 7 6 「 I 3 3 I I 〇の頭文字 1 ~ 1が適用される。 第八分類 2 2 2匕は、 第二分類 2 2 2に適 用された文字列八 6 n〇 3の頭文字八が適用される。 第九分類 2 2 4匕 は、 第三分類 2 2 4に適用された文字列 丨 〇の頭文字 ! !が適用される。
[0172] [畳:み込みニユ _ラルネッ トワ _クの具体例]
図 1 2は畳み込みニユーラルネッ トワークの説明図である。 ネッ トワーク 3 0 0は、 複数のレイヤ構造を有し、 複数の重みパラメータを保持している 。 重みパラメータが初期値から最適値に更新さ れることで、 未学習モデルが 学習済みモデルとなる。 〇 2020/174747 29 卩(:171? 2019 /041947
[0173] ネッ トワーク 3 0 0は、 入力層 3 1 0、 中間層 3 1 2、 及び出力層 3 1 4 を備える。 中間層 3 1 2は、 第一畳み込み層 3 2 0 第ープーリング層 3
2 2 3、 第二畳み込み層 3 2 0匕、 第ニプーリング層 3 2 2匕、 第三畳み込 み層 3 2 0〇、 及び全結合層 3 2 4を備える。 各層は複数のノードがエッジ で結ばれる構造を有している。
[0174] 入力層 3 1 0は学習対象の内視鏡画像 3 8が入力される。 中間層 3 1 2は 内視鏡画像 3 8から特徴を抽出する。 第一畳み込み層 3 2 0 第二畳み込 み層 3 2 0 、 及び第三畳:み込み層 3 2 0〇は前の層のノ _ ドにフイルタ処 理を施して特徴マップを取得する。 すなわち、 第一畳み込み層 3 2 0 3 、 第 二畳:み込み層 3 2 0 13、 及び第三畳:み込み層 3 2 0〇は、 ノードに対してフ イルタを使用した畳み込み演算を実施する。
[0175] 第一畳み込み層 3 2 0 3は、 2 0個のフイルタを用いて、 3 2 X 3 2サイ ズの内視鏡画像 3 8から、 2 0個の 2 8 X 2 8サイズの特徴マップを生成す る。 第二畳み込み層 3 2 0匕は、 2 0個の 1 4 X 1 4サイズの特徴マップか ら、 2 0個の 1 0 X 1 0サイズの特徴マップを生成する。 第三畳み込み層 3
2 0。は、 2 0個の 1 〇 1 0サイズの特徴マップから、 2 0個の 5 X 5サ イズの特徴マップを生成する。
[0176] 第ープーリング層 3 2 2 3 は、 第一畳み込み層 3 2 0 3 から出力された特 徴マップを縮小して新たな特徴マップを生成 する。 第ニプーリング層 3 2 2 13は、 第二畳み込み層 3 2 0 13から出力された特徴マップを縮小して新た 特徴マップを生成する。
[0177] 第ープーリング層 3 2 2 3は、 2 0個の 2 8 X 2 8サイズの特徴マップか ら、 2 0個の 1 4 X 1 4サイズの特徴マップを生成する。 第ニプーリング層
3 2 2匕は、 2 0個の 1 〇 1 0サイズの特徴マップから、 2 0個の 5 X 5 サイズの特徴マップを生成する。
[0178] 第ープーリング層 3 2 2 3 及び第ニプーリング層 3 2 2匕は、 抽出された 特徴が平行移動などによる影響を受けないよ うにロバスト性を与える役割を 担う。 なお、 中間層 3 1 2は畳み込み層及びプーリング層をーセッ トとする 〇 2020/174747 30 卩(:171? 2019 /041947
場合に限らず、 畳み込み層が連続する場合、 及び図示しない正規化層が含ま れる構成もあり得る。
[0179] 全結合層 3 2 4は、 前の層のすべての出力を次の層の全てのノー ドに結合 する。 すなわち、 全結合層 3 2 4は第三畳み込み層 3 2 0〇の出力を出力層 3 1 4の全てのノードに結合する。
[0180] 出力層 3 1 4は、 中間層 3 1 2を適用して内視鏡画像 3 8から抽出された 特徴を出力する。 図 3に示す認識部 4 2は、 内視鏡画像 3 8から注目領域を 抽出するネッ トワーク、 及び注目領域の分類を実施するネッ トワークを備え る。
[0181 ] 学習前のネッ トワーク 3 0 0における第一畳み込み層 3 2 0 3等に適用さ れるフィルタ係数、 オフセッ ト値及び全結合層 3 2 4における次の層との接 続の重みは、 任意の初期値が設定される。
[0182] ネッ トワーク 3 0 0は、 出力層 3 1 4から出力される出力結果、 出力結果 に対する正解データを取得し、 両者間の誤差を算出する。 誤差の算出方法と して、 ソフトマックスエントロピー及びシグモナイ ド等が挙げられる。
[0183] ネッ トワーク 3 0 0は、 算出された誤差を基に、 誤差伝播法を適用してネ ッ トワーク 3 0 0のパラメータを調整する。 ネッ トワーク 3 0 0はパラメー 夕の調整を繰り返し実施し、 出力結果と正解データとの誤差が小さくなる ま で学習を実施する。
[0184] 学習後のネッ トワーク 3 0 0は、 入力画像に対する注目領域及び注目領域 の分類の少なくともいずれかを出力する。 出力結果を正解データとして、 入 力画像と出力結果とのペアを用いてネッ トワーク 3 0 0を再学習してもよい
[0185] 内視鏡画像 3 8から注目領域を検出するネッ トワークと、 注目領域を分類 するネッ トワークとは、 中間層 3 1 2の一部において共通の処理が実施され る。 そこで、 内視鏡画像 3 8から注目領域を検出するネッ トワークと、 注目 領域を分類するネッ トワークとは、 中間層 3 1 2の一部のパラメータを共通 化することが可能である。 〇 2020/174747 31 卩(:171? 2019 /041947
[0186] 図示を省略するが、 認識部 4 2は、 内視鏡画像 3 8から注目領域を検出す るネッ トワークに適用されるパラメータ、 及び注目領域を分類するネッ トワ —クに適用されるパラメータを記憶するパラ メータ記憶部を備える。
[0187] 内視鏡画像 3 8から注目領域を検出するネッ トワークと、 注目領域を分類 するネッ トワークとは、 特徴マップの重なり具合に基づき、 注目領域の位置 の特定及び注目領域の分類を実施し得る。
[0188] 内視鏡画像 3 8から注目領域を検出するネッ トワークと、 注目領域を分類 するネッ トワークとは、 一つの内視鏡画像 3 8に対して、 注目領域の検出及 び注目領域の分類を一括して学習し得る。
[0189] 実施形態に記載の複数の畳み込み層は、 入力画像のサイズを段階的に小さ くする処理を実施する複数のダウンサイジン グ部の一例に相当する。 実施形 態に記載の複数の畳み込み層及び複数のプー リング層の組み合わせは、 入力 画像のサイズを段階的に小さくする処理を実 施する複数のダウンサイジング 部の一例に相当する。
[0190] 実施形態に記載の畳み込み層は、 ダウンサイジング処理部のそれぞれの出 力画像から特徴マップを生成する特徴マップ 生成部の一例に相当する。
[0191 ] 実施形態に記載のネッ トワーク 3 0 0は、 特徴マップから特徴領域の特定 及び特徴領域の分類の少なくともいずれかを 実施する注目領域認識部の一例 に相当する。
[0192] 実施形態に記載のプーリング層は、 入力画像に対してプーリング処理を施 すプーリング処理部の一例に相当する。 実施形態に記載の畳み込み層は、 畳 み込み処理部の _ 例に相当する。
[0193] [作用効果]
本実施形態に示す医用画像処理装置及び医用 画像処理方法によれば、 以下 の作用効果を得ることが可能である。
[0194] 〔1〕
内視鏡画像 3 8から注目領域を検出し、 注目領域を強調する強調表示を設 定する。 注目領域を分類する。 強調表示及び分類を内視鏡画像 3 8に重畳表 〇 2020/174747 32 卩(:171? 2019 /041947
示させる。 強調表示の表示態様の変更を実施するか否か を判定し、 強調表示 の表示態様の変更を実施すると判定された場 合は強調表示を弱める表示態様 の変更を実施する。 分類の表示態様の変更を実施するかを判定し 、 分類の表 示態様の変更を実施すると判定された場合は 分類の視認性を弱める表示態様 の変更を実施する。 これにより、 術者が観察対象を観察する際に、 強調表示 及び分類が術者の観察を妨げることを抑制し 得る。
[0195] 強調表示の表示をオフせずに、 強調表示の視認が可能な程度に、 強調を弱 める表示態様の変更を実施する。 これにより、 強調表示を用いた診断支援の 利用が可能となる。 分類の表示をオフせずに、 分類の視認が可能な程度に、 分類の視認性を弱める表示態様の変更を実施 する。 これにより、 分類を用い た診断支援の利用が可能となる。
[0196] 〔2〕
術者が操作部を操作した場合に、 強調表示及び分類の少なくともいずれか の表示態様の変更を実施する。 これにより、 術者の操作に基づく強調表示及 び分類の少なくともいずれかの表示態様の変 更が可能となる。
[0197] 〔3〕
注目領域の分類が実施されている場合に、 強調表示及び分類の少なくとも いずれかの表示態様の変更を実施する。 これにより、 注目領域の分類が実施 されている場合に、 強調表示及び分類の少なくともいずれかの表 示態様の変 更が可能となる。
[0198] 〔4〕
処置具が操作されている場合に強調表示及び 分類の少なくともいずれかの 表示態様の変更を実施する。 これにより、 処置具が操作されている場合に、 強調表示及び分類の少なくともいずれかの表 示態様の変更が可能となる。
[0199] 〔5〕
認識部は〇 1\1等の深層学習器が適用される。 これにより、 注目領域の検 出精度及び注目領域の分類精度が向上し得る 。 注目領域の検出結果及び注目 領域の分類結果を用いた再学習を実施する。 これにより、 注目領域の検出精 〇 2020/174747 33 卩(:171? 2019 /041947
度及び注目領域の分類精度が更に向上し得 る。
[0200] 〔6〕
強調表示の表示態様の変更は、 強調表示を弱める変更を実施する。 これに より、 強調表示の視認性を低下させ得る。
[0201 ] 〔7〕
強調表示は注目領域を囲む閉曲線が適用され る。 強調表示の表示態様の変 更は線の濃度変更、 色彩変更、 線の種類変更の少なくともいずれかが適用さ れる。 これにより、 強調表示自体の大幅な変更をすることなく、 強調表示の 視認性を低下させ得る。
[0202] 〔8〕
強調表示の表示態様の変更は、 強調表示を内視鏡画像 3 8と非重畳の位置 への移動を適用する。 これにより、 強調表示を表示した状態において、 強調 表示の視認性を低下させ得る。
[0203] 〔9〕
分類の内容を表す分類情報として文字情報を 適用する。 分類の表示態様の 変更は、 文字情報を内視鏡画像 3 8との非重畳の位置への移動を適用する。 これにより、 分類の内容を表す文字情報を表示した状態に おいて、 分類の内 容を表す文字情報の視認性を低下させ得る。
[0204] 〔1 0〕
複数の注目領域が検出された場合に、 複数の注目領域の位置関係を維持し て、 複数の注目領域に対応する複数の分類を移動 させる。 これにより、 複数 の分類の位置関係を用いて複数の注目領域の 位置関係を把握し得る。
[0205] 〔1 1〕
分類の内容を表す分類情報として文字情報を 適用する。 分類の表示態様の 変更は、 文字情報の一部の省略が適用される。 これにより、 分類の内容を表 す文字情報を表示した状態において、 分類の内容を表す文字情報の視認性を 低下させ得る。
[0206] 〔1 2〕 〇 2020/174747 34 卩(:171? 2019 /041947
分類の内容を表す分類情報として文字情報 を適用する。 分類の表示態様の 変更は、 文字情報の頭文字のみの表示が適用される。 これにより、 分類の内 容を表す文字情報を表示した状態において、 分類の内容を表す文字情報の視 認性を低下させ得る。
[0207] [医用画像処理装置の変形例]
〔第一変形例〕
注目領域の表示態様の変更と分類の表示態様 の変更とを、 選択的に実施し てもよい。 例えば、 注目領域の表示態様の変更と分類の表示態様 の変更とを 切り替えるスイッチを操作部 2 1 に備え、 スイッチの操作に応じて注目領域 の表示態様の変更と分類の表示態様の変更と を切り替える。
[0208] 〔第二変形例〕
注目領域の表示態様の変更に注目領域の表示 オフ可能とする。 分類の表示 態様の変更に分類の表示オフを可能とする。 サイクリックに動作するスイッ チを用いて、 標準の表示態様、 表示を継続して弱める表示態様、 及び表示を オフする表示態様を切り替えることが可能で ある。
[0209] 〔第三変形例〕
注目領域の表示態様の変更実施から規定の期 間が経過した後に、 注目領域 の表示態様を標準の表示態様に戻してもよい 。 分類の表示態様の変更実施か ら規定の期間が経過した後に、 分類領域の表示態様を標準の表示態様に戻し てもよい。 規定の期間は任意の期間を設定可能とし得る 。
[0210] 〔第四変形例〕
内視鏡 1 〇の観察状態を検出して、 自動的に注目領域の表示態様の変更及 び分類の表示態様の変更の少なくともいずれ かを実施してもよい。 例えば、 標準光観察の場合は、 注目領域の強調表示及び注目領域の分類を表 示させ、 特殊光観察の場合は、 注目領域の強調表示は不要であり、 注目領域の強調表 示を弱める変更をしてもよい。
[021 1 ] 〔第五変形例〕
内視鏡画像 3 8を拡大して観察する際に、 注目領域の強調表示の表示態様 〇 2020/174747 35 卩(:171? 2019 /041947
を変更する。
内視鏡画像 3 8の拡大に応じて注目領域の強調表示を拡大 せる処理は、 注 目領域の強調表示が不自然になり得る。 そこで、 内視鏡画像 3 8を拡大して 観察する際に、 注目領域の強調表示の表示態様を変更して、 注目領域の強調 表示の視認性を低下させ、 術者の負担を軽減させる。
[0212] [内視鏡システムの変形例]
〔プロセッサ装置の変形例〕
プロセッサ装置 1 2は、 医用画像処理装置 1 4の機能を有してもよい。 す なわち、 プロセッサ装置 1 2は、 医用画像処理装置 1 4と一体に構成されて もよい。 かかる態様では、 表示装置 1 3はモニタ装置 1 6と兼用し得る。 プ ロセッサ装置 1 2は入力装置 1 5を接続させる接続端子を備え得る。
[0213] 〔照明光の変形例〕
本実施形態に示す内視鏡システム 9を用いて取得可能な医用画像の一例と して、 白色帯域の光、 又は白色帯域の光として複数の波長帯域の光 を照射し て得た通常光画像が挙げられる。
[0214] 本実施形態に示す内視鏡システム 9を用いて取得可能な医用画像の他の例 として、 特定の波長帯域の光を照射して得た画像が挙 げられる。 特定の波長 帯域は白色帯域よりも狭い帯域を適用可能で ある。 以下の変形例の適用が可 能である。
[0215] á第一変形例 ñ
特定の波長帯域の第 1例は、 可視域の青色帯域又は緑色帯域である。 第 1 例の波長帯域は、 3 9 0ナノメートル以上 4 5 0ナノメートル以下、 又は 5 3 0ナノメートル以上 5 5 0ナノメートル以下の波長帯域を含み、 かつ第 1 例の光は、 3 9 0ナノメートル以上 4 5 0ナノメートル以下、 又は 5 3 0ナ ノメートル以上 5 5 0ナノメートル以下の波長帯域内にピーク波 を有する
[0216] á第二変形例 ñ
特定の波長帯域の第 2例は、 可視域の赤色帯域である。 第 2例の波長帯域 〇 2020/174747 36 卩(:171? 2019 /041947
は、 585ナノメートル以上 6 1 5ナノメートル以下、 又は 6 1 0ナノメー トル以上 730ナノメートル以下の波長帯域を含み、 かつ第 2例の光は、 5
85ナノメートル以上 6 1 5ナノメートル以下、 又は 6 1 0ナノメートル以 上 730ナノメートル以下の波長帯域内にピーク波 長を有する。
[0217] á第三変形例 ñ
特定の波長帯域の第 3例は、 酸化へモグロビンと還元へモグロビンとで吸 光係数が異なる波長帯域を含み、 かつ第 3例の光は、 酸化ヘモグロビンと還 元ヘモグロビンとで吸光係数が異なる波長帯 域にピーク波長を有する。 この 第 3例の波長帯域は、 400± 1 0ナノメートル、 440± 1 0ナノメート ル、 470± 1 0ナノメートル、 又は 600ナノメートル以上 750ナノメ —トル以下の波長帯域を含み、 かつ第 3例の光は、 400 ± 1 0ナノメート ル、 440± 1 0ナノメートル、 470± 1 0ナノメートル、 又は 600ナ ノメートル以上 750ナノメートル以下の波長帯域にピーク波長 を有する。
[0218] á第四変形例 ñ
特定の波長帯域の第 4例は、 生体内の蛍光物質が発する蛍光の観察に用い られ、 かつこの蛍光物質を励起させる励起光の波長 帯域である。 例えば、 3
90ナノメートル以上 470ナノメートル以下の波長帯域である。 なお、 虽 光の観察は蛍光観察と呼ばれる場合がある。
[0219] á第五変形例 ñ
特定の波長帯域の第 5例は、 赤外光の波長帯域である。 この第 5例の波長 帯域は、 790ナノメートル以上 820ナノメートル以下、 又は 905ナノ メートル以上 970ナノメートル以下の波長帯域を含み、 かつ第 5例の光は 、 790ナノメートル以上 820ナノメートル以下、 又は 905ナノメート ル以上 970ナノメートル以下の波長帯域にピーク波長 を有する。
[0220] 〔特殊光画像の生成例〕
プロセッサ装置 1 2は、 白色光を用いて撮像して得られた通常光画像 に基 づいて、 特定の波長帯域の情報を有する特殊光画像を 生成してもよい。 なお 、 ここでいう生成は取得が含まれる。 この場合、 プロセッサ装置 1 2は、 特 〇 2020/174747 37 卩(:171? 2019 /041947
殊光画像取得部として機能する。 そして、 プロセッサ装置 1 2は、 特定の波 長帯域の信号を、 通常光画像に含まれる赤、 緑、 及び青、 或いはシアン、 マ ゼンタ、 及びイエローの色情報に基づく演算を行うこ とで得る。
[0221 ] なお、 赤、 緑、 及び青は、 R G B (Red, Green, B lue) と表されることがあ る。 また、 シアン、 マゼンタ、 及びイエローは、 C M Y (Cyan, Magenta, Ye 1 1 ow) と表されることがある。
[0222] 〔特徴量画像の生成例〕
医用画像として、 白色帯域の光、 又は白色帯域の光として複数の波長帯域 の光を照射して得る通常画像、 並びに特定の波長帯域の光を照射して得る特 殊光画像の少なくともいずれかに基づく演算 を用いて、 特徴量画像を生成し 得る。
[0223] 上記の実施形態及び変形例では、 医用画像の一例として内視鏡画像を例示 したが、 医用画像は C T画像等を適用してもよい。
[0224] [コンピュータを画像処理装置として機能さ るプログラムへの適用例] 上述した医用画像処理方法は、 コンピュータを用いて、 医用画像処理方法 における各工程に対応する機能を実現させる プログラムとして構成可能であ る。 例えば、 コンピュータに、 取得した内視鏡画像 3 8から注目領域を検出 し、 注目領域を分類する認識機能、 注目領域を強調する強調表示及び注目領 域の分類を内視鏡画像 3 8と同一の画面に表示させる表示機能、 及び強調表 示の表示態様を変更するか否か、 及び注目領域の分類の表示態様を変更する か否かを判定する変更判定機能を実現させる プログラムであって、 表示機能 は、 強調表示の表示態様を変更すると判定された 場合に強調表示の強調の程 度を弱める変更を実施し、 分類の表示態様を変更すると判定された場合 に分 類の視認性を弱める変更を実施するプログラ ムを構成し得る。
[0225] 上述した画像処理機能をコンピュータに実現 させるプログラムを、 有体物 である非一時的な情報記憶媒体である、 コンピュータが読取可能な情報記憶 媒体に記憶し、 情報記憶媒体を通じてプログラムを提供する ことが可能であ る。 \¥02020/174747 38 卩(:17 2019/041947
[0226] また、 非一時的な情報記憶媒体にプログラムを記憶 して提供する態様に代 えて、 通信ネッ トワークを介してプログラム信号を提供する 態様も可能であ る。
[0227] [実施形態及び変形例等の組み合わせについ ]
上述した実施形態で説明した構成要素、 及び変形例で説明した構成要素は 、 適宜組み合わせて用いることができ、 また、 一部の構成要素を置き換える こともできる。
[0228] 以上説明した本発明の実施形態は、 本発明の趣旨を逸脱しない範囲で、 適 宜構成要件を変更、 追加、 削除することが可能である。 本発明は以上説明し た実施形態に限定されるものではなく、 本発明の技術的思想内で当該分野の 通常の知識を有する者により、 多くの変形が可能である。
符号の説明
[0229] 9 内視鏡システム
1 0 内視鏡
1 1 光源装置
1 2 プロセッサ装置
1 3 表 装置
1 4 医用画像処理装置
1 5 入力装置
1 6 モニタ装置
20 揷入部
2 1 操作部
22 ユニバーサルコード
25 軟性部
26 湾曲部
27 先端部
273 先端面
28 撮像素子 174747 39 卩(:171? 2019 /041947
湾曲操作ノブ
送気送水ボタン
1 吸引ボタン
2 静止画像撮像指示部
処置具導入口
5 ライ トガイ ド
6 信号ケーブル
13, コネクタ
7匕 コネクタ
8 内視鏡画像
83 動画像
8匕 フレーム画像
9 静止画像
0 画像取得部
2 認識部
23 注目領域検出部
2 強調表示設定部
2〇 分類部
2 分類表示設定部
4 表示制御部
6 記憶部
63 内視鏡画像記憶部
6匕 注目領域記憶部
6〇 分類記憶部
8 変更判定部
9 操作ボタン
20 プロセッサ
22 メモリ 20/174747 40 卩(:171? 2019 /041947
1 24 ストレージ装置
1 26 ネッ トワークコントローラ
1 28 電源装置
1 30 ディスプレイコントローラ
1 32 入出カインタ _ フエ _ ス
1 34 入カコントローラ
1 36 バス
1 40 通信ネッ トヮーク
200 第一病変
201 第一注目領域
202 第二病変
203 第二注目領域
204 第三病変
205 第三注目領域
2 1 0 第ーバウンディングボックス
2 1 03 第四パウンディングボックス
2 1 0匕 第七バウンディングボックス
2 1 0〇 第十バウンディングボックス
2 1 2 第ニバウンディングボックス
2 1 23 第五パウンディングボックス
2 1 2匕 第八バウンディングボックス
2 1 2〇 第十ーバウンディングボックス
2 1 4 第三パウンディングボックス
2 1 43 第六バウンディングボックス
2 1 4匕 第九バウンディングボックス
2 1 4〇 第十ニバウンディングボックス
220 第一分類
2203 第四分類 〇 2020/174747 41 卩(:171?2019/041947
220匕 第七分類
222 第二分類
2223 第五分類
222匕 第八分類
224 第三分類
2243 第六分類
224匕 第九分類
300 ネッ トワーク
3 1 0 入力層
3 1 2 中間層
3 1 4 出力層
3203 第一曼み込み層
3206 第二曼み込み層
320〇 第三畳み込み層
3223 第ープーリング層
322匕 第ニプーリング層
324 全結合層
31 0から 326 医用画像処理方法の各工程