発明の名称 ：

医用画像処理装置、 プロセッサ装置、 内視鏡システム、 医用画像処理方法 、 及びプログラム

技術分野

[0001 ] 本発明は医用画像処理装置、 プロセッサ装置、 内視鏡システム、 医用画像 処理方法、 及びプログラムに係り、 特に画面表示に関する。

背景技術

[0002] —般的な内視鏡システムは、 内視鏡の揷入部の先端から照明光を照射し、 撮像素子を用いて観察対象を撮像し、 観察対象の画像情報を取得する。 撮像 された画像はモニタに表示される。 医師等のユーザはモニタに映し出された 画像を観察し、 検査を行う。

[0003] 近年、 深層学習を適用した高度な自動認識が可能と なっている。 非特許文 献 1は深層学習を適用した画像認識に関する技� �が記載されている。 内視鏡 システムにおいても、 深層学習を適用して作製された認識器を用い て、 病変 等の検出及び病変等の分類を自動で行うこと が考えられている。 その中でも 、 非特許文献 2に記載されている S S D (S i ng le Shot mu lt i box Detector ) と呼ばれる手法があり、 検出と分類等とを一括して行えることが知ら れて いる。 なお、 病変等の分類は鑑別と呼ばれる場合があり得 る。

[0004] 特許文献 1は、 内視鏡システムを用いて取得した内視鏡画像 から強調すベ き被写体である生体粘膜を特定し、 特定した生体粘膜に対して強調処理を行 う画像処理装置が記載されている。

[0005] 特許文献 2は、 内視鏡システムを用いて取得した内視鏡画像 を基に、 病変 の種類を自動的に判別及び分類する内視鏡診 断支援装置が記載されている。 同文献に記載の装置は、 内視鏡画像に R〇 丨 (Reg i on Of Interest) を設定 し、 R O 丨 ごとに特徴量を算出し、 特徴量を用いた判別分類処理を実施する 。 同文献には、 判別分類処理の例としてニューラルネッ トワークが記載され \¥02020/174747 2 卩(：17 2019/041947

ている。

[0006] 特許文献 3は、 通常光観察と特殊光観察とを切替可能に構成 された内視鏡 システムが記載されている。 同文献に記載の装置は、 特殊光画像から病変部 の位置を特定し、 特定された位置情報を基に通常光画像を加工 して病変部の 視認性を高めている。 同文献には通常光画像の加工例として、 ターゲッ ト色 の重畳処理、 夕ーゲッ ト色を用いて病変部の周縁を囲う処理、 及び病変部の 通常光画像と特殊光画像とを合成する処理が 記載されている。

先行技術文献

特許文献

[0007] 特許文献 1 :特許第 6 1 7 697 9号公報

特許文献 2 :特許第 445 1 460号公報

特許文献 3 :特許第 5658873号公報 非特許文献

[0008] 非特許文献 1 : A. Kr i zhevsky, I. Sutskever, and G.Hinton著、 「ImageNet cLa ss i f i cat i on with deep convolutional neural networks.」 、 NIPS(Neura L I nformat i on Processing Systems conference), 2012

非特許文献 2 : Pierre Sermanet, David Eigen, Xiang Zhang, Michael Mathi eu, Rob Fergus, Yann LeCun著 r〇verFeat : Integrated Recognition, Local ization and Detectionusing Convo Lut i ona L Networks」 、 ICLR(Internat i on

^ I 0〇门干6「6门〇6 〇门 1_68「门1叩 1^「636门士31； I〇 ）， 2014 発明の概要

発明が解決しようとする課題

[0009] しかしながら、 内視鏡画像等の医用画像において、 注目領域を検出し、 注 目領域を画面に表示し、 注目領域を分類し、 分類を画面に表示する場合、 注 目領域及び分類の報知が、 医師等が実施する観察対象の観察の妨げにな って しまう懸念がある。

[0010] 特許文献 1 に記載の装置は、 ユーザが強調処理のオンオフ指示を行うスイ 〇 2020/174747 3 卩（：171? 2019 /041947

ッチを備えている。 同装置は、 ユーザがスイッチを操作することで、 撮像画 像から特定した生体粘膜の領域に対する強調 処理のオフを実施している。

[001 1 ] 強調処理が生体粘膜領域の観察の妨げになる 場合、 ユーザは強調処理を才 フすることが可能であるが、 強調処理をオフしてしまうと、 強調処理を適用 した診断支援の利用が困難になる。

[0012] 特許文献 2に記載の装置では、 レポート表示ウィンドウを開いて判定分類 結果を含めた診断支援情報を表示しているの で、 レポート表示ウィンドウが 開かれている場合は、 内視鏡画像における 〇 丨 を観察することができない

[0013] 特許文献 3に記載の装置では、 病変部の視認性を高めた結果、 病変部の見 落としを抑制することができるが、 表示態様が適切でない場合に、 病変部の 視認性を高める表示が病変部の観察の妨げに なることが懸念される。

[0014] 本発明はこのような事情に鑑みてなされたも ので、 医用画像において注目 領域の強調表示及び分類等を報知する際に、 ユーザ等における観察対象の観 察の妨げを抑制し、 診断支援を利用し得る、 医用画像処理装置、 プロセッサ 装置、 医用画像処理方法、 及びプログラムを提供することを目的とする 。 課題を解決するための手段

[0015] 上記目的を達成するために、 次の発明態様を提供する。

[0016] 第 1態様に係る医用画像処理装置は、 取得した医用画像から注目領域を検 出する認識部であり、 注目領域を分類する認識部と、 注目領域を強調する強 調表示及び注目領域の分類を、 医用画像に含まれる観察対象を表示させる画 面と同一の画面に表示させる表示制御部と、 強調表示が表示されている場合 に強調表示の表示態様を変更するか否か、 及び分類が表示されている場合に 分類の表示態様を変更するか否かの少なくと もいずれかを判定する変更判定 部と、 を備え、 表示制御部は、 変更判定部において強調表示の表示態様を変 更すると判定された場合に、 強調表示の強調の程度を弱める変更を実施し 、 変更判定部において分類の表示態様を変更す ると判定された場合に、 分類の 視認性を弱める変更を実施する医用画像処理 装置である。 〇 2020/174747 4 卩（：171? 2019 /041947

[0017] 第 1態様によれば、 ユーザが観察対象を観察する際に、 強調表示及び分類 の少なくともいずれかが観察の妨げになるこ とを抑制し得る。 また、 ユーザ は、 観察対象を観察する際に、 強調表示及び分類の少なくともいずれかを利 用し得る。

[0018] 注目領域の強調は、 注目領域を視覚的に強調する態様を適用し得 る。

[0019] 第 2態様は、 第 1態様の医用画像処理装置において、 操作部が操作された 際に送信される指令信号を取得する指令信号 取得部を備え、 変更判定部は、 指令信号取得部が強調表示の表示態様を変更 することを表す指令信号を取得 した場合に強調表示の表示態様を変更すると 判定し、 指令信号取得部が分類 の表示態様を変更することを表す指令信号を 取得した場合に分類の表示態様 を変更すると判定する構成としてもよい。

[0020] 第 2態様によれば、 操作部が操作された際に、 注目領域の表示態様の変更 及び注目領域の分類の表示態様の変更を実施 し得る。

[0021 ] 第 3態様は、 第 1態様又は第 2態様の医用画像処理装置において、 注目領 域の分類を実施しているか否かを表す分類実 施信号を取得する分類実施信号 取得部を備え、 変更判定部は、 分類実施信号取得部が注目領域の分類を実施 していることを表す分類実施信号を取得した 場合に強調表示の表示態様を変 更すると判定する構成としてもよい。

[0022] 第 3態様によれば、 注目領域の分類が実施されている際に、 注目領域の表 示態様の変更及び分類の表示態様の変更を実 施し得る。

[0023] 第 4態様は、 第 1態様から第 3態様のいずれか一態様において、 処置具が 動作しているか否かを判定する処置具動作判 定部を備え、 変更判定部は、 処 置具動作判定部が、 処置具が動作していると判定した場合に強調 表示の表示 態様を変更すると判定するか、 分類の表示態様を変更すると判定するか、 強 調表示及び分類の表示態様を変更すると判定 する構成としてもよい。

[0024] 第 4態様によれば、 処置具が動作している際に、 注目領域の表示態様の変 更及び分類の表示態様の変更を実施し得る。

[0025] 第 5態様は、 第 1態様から第 4態様のいずれか一態様の医用画像処理装置 〇 2020/174747 5 卩（：171? 2019 /041947

において、 認識部は、 入力画像のサイズを段階的に小さくする処理 を実施す る複数のダウンサイジング処理部と、 複数のダウンサイジング処理部のそれ それの出力画像から特徴マップを生成する特 徴マップ生成部と、 を備えた構 成としてもよい。

[0026] 第 6態様は、 第 5態様の医用画像処理装置において、 ダウンサイジング処 理部は、 入力画像に対してプーリング処理を施すプー リング処理部、 及び入 力画像に対して畳み込み処理を施す畳み込み 処理部の少なくともいずれかを 備える構成としてもよい。

[0027] 第 6態様によれば、 注目領域の検出及び注目領域の分類において 、 畳み込 みニユーラルネッ トワークを適用し得る。

[0028] 第 7態様は、 第 5態様又は第 6態様の医用画像処理装置において、 認識部 は、 特徴マップ生成部を用いて生成された複数の 特徴マップから注目領域の 特定及び注目領域の分類の少なくともいずれ かを実施する注目領域認識部を 備えた構成としてもよい。

[0029] 第 7態様によれは、 注目領域の検出及び注目領域の分類の少なく ともいず れかに、 入力画像の特徴を表す特徴マップを適用し得 る。

[0030] 第 8態様は、 第 7態様の医用画像処理装置において、 注目領域認識部は、 複数の特徴マップの重なり具合に基づき注目 領域の検出及び注目領域の分類 を実施する構成としてもよい。

[0031 ] 第 8態様によれば、 注目領域の検出精度及び注目領域の分類精度 が向上し 得る。

[0032] 第 9態様は、 第 1態様から第 8態様のいずれか一態様の医用画像処理装置 において、 認識部は、 少なくとも一つの画像に対して注目領域の検 出及び注 目領域の分類を一括して学習したパラメータ を記憶するパラメータ記憶部を 備える構成としてもよい。

[0033] 第 9態様によれば、 注目領域の検出処理の一部と注目領域の分類 処理の一 部とを共通化し得る。

[0034] 第 1 0態様は、 第 1態様から第 9態様のいずれか一態様の医用画像処理装 〇 2020/174747 6 卩（：171? 2019 /041947

置において、 表示制御部は、 強調表示に注目領域を囲む閉曲線を適用し、 強 調表示の表示態様を変更する際に、 閉曲線の色彩、 濃度、 及び線の種類の少 なくともいずれかを変更する構成としてもよ い。

[0035] 第 1 0態様によれば、 強調表示に閉曲線が適用される場合において 、 効果 的に強調表示を弱めることが可能となる。

[0036] 第 1 1態様は、 第 1態様から第 1 0態様のいずれか一態様の医用画像処理 装置において、 表示制御部は、 強調表示の表示態様を変更する際に、 強調表 示の視認性を弱める位置に強調表示を移動さ せる構成としてもよい。

[0037] 第 1 1態様によれば、 強調表示が観察の妨げになることを抑制し得 る。

[0038] 第 1 2態様は、 第 1態様から第 1 1態様のいずれか一態様の医用画像処理 装置において、 表示制御部は、 注目領域の分類を表す分類情報として分類の 内容を表す文字情報を適用し、 注目領域の分類の表示態様を変更する際に、 文字情報の視認性を弱める位置に文字情報を 移動させる構成としてもよい。

[0039] 第 1 2態様によれば、 注目領域の分類の内容を表す文字情報が観察 の妨げ になることを抑制し得る。

[0040] 第 1 3態様は、 第 1 2態様の医用画像処理装置において、 表示制御部は、 注目領域の分類の表示態様を変更する際に、 文字情報の位置を、 観察対象を 表す画像の表示領域の外に移動させる構成と してもよい。

[0041 ] 第 1 3態様によれば、 文字情報と観察対象を表す画像とが重畳しな い。 こ れにより、 文字情報が観察の妨げになることを抑制し得 る。

[0042] 第 1 4態様は、 第 1 3態様の医用画像処理装置において、 表示制御部は、 複数の注目領域が検出された場合に、 複数の注目領域の位置関係を維持して 、 複数の注目領域のそれぞれの分類を表す複数 の文字情報を、 観察対象を表 す画像の表示領域の外に移動させる構成とし てもよい。

[0043] 第 1 4態様によれば、 複数の分類の位置関係を用いて、 観察対象を表す画 像における複数の注目領域の位置関係を把握 し得る。

[0044] 第 1 5態様は、 第 1 2態様から第 1 4態様のいずれか一態様の医用画像処 理装置において、 表示制御部は、 注目領域の分類の表示態様を変更する際に \¥0 2020/174747 7 卩（：17 2019/041947

、 文字情報を分類の意味を表す文字列の頭文字 のみを表示させる構成として もよい。

[0045] 第 1 5態様によれば、 分類の視認性を弱め、 かつ分類の内容を把握し得る

[0046] 第 1 6態様に係るプロセッサ装置は、 内視鏡を制御する内視鏡制御部と、 内視鏡を用いて取得した医用画像から注目領 域を検出する認識部であり、 注 目領域を分類する認識部と、 注目領域を強調する強調表示及び注目領域の 分 類を、 医用画像に含まれる観察対象を表示させる画 面と同一の画面に表示さ せる表示制御部と、 強調表示が表示されている場合に強調表示の 表示態様を 変更するか否か、 及び分類が表示されている場合に分類の表示 態様を変更す るか否かの少なくともいずれかを判定する変 更判定部と、 を備え、 表示制御 部は、 変更判定部において強調表示の表示態様を変 更すると判定された場合 に、 強調表示の強調の程度を弱める変更を実施し 、 変更判定部において分類 の表示態様を変更すると判定された場合に、 分類の視認性を弱める変更を実 施するプロセッサ装置である。

[0047] 第 1 6態様によれば、 第 1態様と同様の効果を得ることができる。

[0048] 第 1 6態様において、 第 2態様から第 1 5態様で特定した事項と同様の事 項を適宜組み合わせることができる。 その場合、 医用画像処理装置において 特定される処理や機能を担う構成要素は、 これに対応する処理や機能を担う プロセッサ装置の構成要素として把握するこ とができる。

[0049] 第 1 7態様に係る内視鏡システムは、 内視鏡と、 内視鏡を制御するプロセ ッサ装置と、 内視鏡を用いて取得した内視鏡画像に処理を 施す画像処理装置 と、 を備えた内視鏡システムであって、 画像処理装置は、 取得した医用画像 から注目領域を検出する認識部であり、 注目領域を分類する認識部と、 注目 領域を強調する強調表示及び注目領域の分類 を、 医用画像に含まれる観察対 象を表示させる画面と同一の画面に表示させ る表示制御部と、 強調表示が表 示されている場合に強調表示の表示態様を変 更するか否か、 及び分類が表示 されている場合に分類の表示態様を変更する か否かの少なくともいずれかを 〇 2020/174747 8 卩（：171? 2019 /041947

判定する変更判定部と、 を備え、 表示制御部は、 変更判定部において強調表 示の表示態様を変更すると判定された場合に 、 強調表示の強調の程度を弱め る変更を実施し、 変更判定部において分類の表示態様を変更す ると判定され た場合に、 分類の視認性を弱める変更を実施する内視鏡 システムである。

[0050] 第 1 7態様によれば、 第 1態様と同様の効果を得ることができる。

[0051 ] 第 1 7態様において、 第 2態様から第 1 5態様で特定した事項と同様の事 項を適宜組み合わせることができる。 その場合、 画像処理装置において特定 される処理や機能を担う構成要素は、 これに対応する処理や機能を担う内視 鏡システムの構成要素として把握することが できる。

[0052] 第 1 8態様に係る医用画像処理方法は、 取得した医用画像から注目領域を 検出する認識工程であり、 注目領域を分類する認識工程と、 注目領域を強調 する強調表示及び注目領域の分類を、 医用画像に含まれる観察対象を表示さ せる画面と同一の画面に表示させる表示工程 と、 強調表示が表示されている 場合に強調表示の表示態様を変更するか否か 、 及び分類が表示されている場 合に分類の表示態様を変更するか否かの少な くともいずれかを判定する変更 判定工程と、 を含み、 表示工程は、 変更判定工程において強調表示の表示態 様を変更すると判定された場合に、 強調表示の強調の程度を弱める変更を実 施し、 変更判定工程において分類の表示態様を変更 すると判定された場合に 、 分類の視認性を弱める変更を実施する医用画 像処理方法である。

[0053] 第 1 8態様によれば、 第 1態様と同様の効果を得ることができる。

[0054] 第 1 8態様において、 第 2態様から第 1 5態様で特定した事項と同様の事 項を適宜組み合わせることができる。 その場合、 医用画像処理装置において 特定される処理や機能を担う構成要素は、 これに対応する処理や機能を担う 医用画像処理方法の構成要素として把握する ことができる。

[0055] 第 1 9態様に係るプログラムは、 コンビュータに、 取得した医用画像から 注目領域を検出する認識機能であり、 注目領域を分類する認識機能、 注目領 域を強調する強調表示及び注目領域の分類を 、 医用画像に含まれる観察対象 を表示させる画面と同一の画面に表示させる 表示機能、 及び強調表示が表示 〇 2020/174747 9 卩（：171? 2019 /041947

されている場合に強調表示の表示態様を変 更するか否か、 及び分類が表示さ れている場合に分類の表示態様を変更するか 否かの少なくともいずれかを判 定する変更判定機能を実現させるプログラム であって、 表示機能は、 変更判 定機能を用いて強調表示の表示態様を変更す ると判定された場合に、 強調表 示の強調の程度を弱める変更を実施し、 変更判定機能を用いて分類の表示態 様を変更すると判定された場合に、 分類の視認性を弱める変更を実施するプ ログラムである。

［0056］ 第 1 9態様によれば、 第 1態様と同様の効果を得ることができる。

［0057］ 第 1 9態様において、 第 2態様から第 1 5態様で特定した事項と同様の事 項を適宜組み合わせることができる。 その場合、 医用画像処理装置において 特定される処理や機能を担う構成要素は、 これに対応する処理や機能を担う プログラムの構成要素として把握することが できる。

発明の効果

［0058］ 本発明によれば、 ユーザが観察対象を観察する際に、 強調表示及び分類の 少なくともいずれかが観察の妨げになること を抑制し得る。 また、 ユーザは 、 観察対象を観察する際に、 強調表示及び分類の少なくともいずれかを利 用 し得る。

図面の簡単な説明

［0059］ ［図 1］図 1は実施形態に係る医用画像処理装置を含む� �視鏡システムの全体構 成図である。

［図 2］図 2は医用画像処理装置のハードウェア構成を� �すブロック図である。 ［図 3］図 3は実施形態に係る医用画像処理装置の機能� �ロック図である。

［図 4］図 4は実施形態に係る医用画像処理方法の手順� �示すフローチヤートで ある。

［図 5］図 5は内視鏡画像の説明図である。

［図 6］図 6は注目領域の強調表示及び注目領域の分類� �示の説明図である。

［図 7］図 7は強調表示の表示態様の変更の説明図であ� �。

［図 8］図 8は強調表示の表示態様の変更の他の態様の� �明図である。 〇 2020/174747 10 卩（：171? 2019 /041947

［図 9］図 9は強調表示の位置を移動させる表示態様の� �明図である。

［図 10］図 1 0は分類の表示態様の変更の説明図である。

［図 1 1］図 1 1は分類の表示態様の変更の他の態様の説明� �である。

［図 12］図 1 2は畳み込みニューラルネツ トワークの説明図である。

発明を実施するための形態

［0060］ 以下、 添付図面に従って本発明の好ましい実施の形 態について詳説する。

本明細書では、 同一の構成要素には同一の参照符号を付して 、 重複する説明 は適宜省略する。

［0061］ ［内視鏡システムの全体構成］

図 1は実施形態に係る医用画像処理装置を含む� �視鏡システムの全体構成 図である。 図 1 に示す内視鏡システム 9は、 内視鏡 1 0、 光源装置 1 1、 プ ロセツサ装置 1 2、 表示装置 1 3、 医用画像処理装置 1 4、 入力装置 1 5、 及びモニタ装置 1 6を備える。

［0062］ 図 1 に示す内視鏡 1 0は電子内視鏡であり、 かつ軟性内視鏡である。 内視 鏡 1 〇は揷入部 2 0、 操作部 2 1、 及びユニバーサルコード 2 2を備える。 揷入部 2 0は被検体内に挿入される。 揷入部 2 0は、 全体が細径で長尺状に 形成されている。

［0063］ 揷入部 2 0は、 軟性部 2 5、 湾曲部 2 6、 及び先端部 2 7を備える。 挿入 部 2 0は、 軟性部 2 5、 湾曲部 2 6、 及び先端部 2 7が連設されて構成され る。 軟性部 2 5は、 揷入部 2 0の基端側から先端側に向けて順に可撓性を� � する。 湾曲部 2 6は、 操作部 2 1が操作された場合に湾曲可能な構造を有す る。 先端部 2 7は、 図示しない撮像光学系及び撮像素子 2 8等が内蔵される

［0064］ 撮像素子 2 8は、 C M O S型撮像素子又は C C D型撮像素子が適用される 。 なお、 C M〇 Sは、 Comp lementary Meta I Ox i de Sem i conductorの省略語で ある。 C C D 、 Charge Coup led Dev i ceの省略語である。

［0065］ 先端部 2 7の先端面 2 7 aは、 図示しない観察窓が配置される。 観察窓は 、 先端部 2 7の先端面 2 7 aに形成された開口である。 観察窓は図示しない 〇 2020/174747 1 1 卩（：171? 2019 /041947

カバーが取り付けられる。

観察窓の後方には、 図示しない撮像光学系が配置される。 撮像素子 2 8の撮 像面は、 観察窓、 及び撮像光学系等を介して、 被観察部位の像光が入射する 。 撮像素子 2 8は、 撮像素子 2 8の撮像面に入射した被観察部位の像光を撮 像して、 撮像信号を出力する。 ここでいう撮像は、 被観察部位からの反射光 を電気信号へ変換するという意味が含まれる 。

[0066] 操作部 2 1は揷入部 2 0の基端側に連設される。 操作部 2 1は、 術者が操 作する各種操作部材を備える。 具体的には、 操作部 2 1は、 二種類の湾曲操 作ノブ 2 9を備える。 湾曲操作ノブ 2 9は、 湾曲部 2 6の湾曲操作の際に用 いられる。 なお、 術者は、 医師、 操作者、 観察者、 及びユーザ等を含み得る

[0067] 操作部 2 1は、 送気送水ボタン 3 0、 及び吸引ボタン 3 1 を備える。 送気 送水ボタン 3 0は、 術者が送気送水操作を行う際に用いられる。 吸引ボタン 3 1は、 術者が吸引操作を行う際に用いられる。

[0068] 操作部 2 1は、 静止画像撮像指示部 3 2、 及び処置具導入口 3 3を備える 。 静止画像撮像指示部 3 2は、 被観察部位の静止画像を撮像する際に術者が 操作するボタンを備える。

処置具導入口 3 3は、 揷入部 2 0の内部を揷通している処置具揷通路の内部 に処置具を揷入する開口である。 なお、 処置具揷通路、 及び処置具の図示は 省略する。

[0069] ユニバーサルコード 2 2は、 内視鏡 1 0を光源装置 1 1 に接続する接続コ —ドである。 ユニバーサルコード 2 2は、 挿入部 2 0の内部を挿通している ライ トガイ ド 3 5、 信号ケーブル 3 6、 及び図示しない流体チューブを内包 している。

[0070] また、 ユニバーサルコード 2 2の先端部は、 光源装置 1 1 に接続されるコ ネクタ 3 7 3、 及びコネクタ 3 7 3から分岐され、 かつプロセッサ装置 1 2 に接続されるコネクタ 3 7 13を備える。

[0071 ] コネクタ 3 7 ₃ が光源装置 1 1 に接続された際に、 ライ トガイ ド 3 5及び 〇 2020/174747 12 卩（：171? 2019 /041947

図示しない流体チューブが光源装置 1 1 に揷入される。 これにより、 ライ ト ガイ ド 3 5及び図示しない流体チューブを介して、 光源装置 1 1から内視鏡 1 〇に対して必要な照明光、 水等の液体、 及び空気等の気体が供給される。

[0072] その結果、 先端部 2 7の先端面 2 7 3の図示しない照明窓から被観察部位 に向けて照明光が照射される。 また、 送気送水ボタン 3 0の押下操作に応じ て、 先端部 2 7の先端面 2 7 ₃ の図示しない送気送水ノズルから先端面 2 7 3の図示しない観察窓に向けて気体又は水が� �射される。 なお、 被観察部位 は観察対象、 検査対象等と呼ばれる場合があり得る。

[0073] コネクタ 3 7匕がプロセッサ装置 1 2に接続された際に、 信号ケーブル 3

6とプロセッサ装置 1 2とが電気的に接続される。 これにより、 信号ケープ ル 3 6を介して、 内視鏡 1 0の撮像素子 2 8からプロセッサ装置 1 2へ被観 察部位の撮像信号が出力され、 かつプロセッサ装置 1 2から内視鏡 1 0へ制 御信号が出力される。

[0074] 本実施形態では、 内視鏡 1 0として軟性内視鏡を例に挙げて説明を行っ� � が、 内視鏡 1 〇として、 硬性内視鏡等の被観察部位の動画撮像を可能 な各種 の電子内視鏡を用いてもよい。

[0075] 光源装置 1 1は、 コネクタ 3 7 ₃ を介して、 内視鏡 1 0のライ トガイ ド 3

5へ照明光を供給する。 照明光は、 白色光又は特定の波長帯域の光を適用可 能である。 照明光は、 白色光及び特定の波長帯域の光を組み合わせ てもよい 。 光源装置 1 1は、 観察目的に応じた波長帯域の光を、 照明光として適宜選 択可能に構成される。

[0076] 白色光は、 白色の波長帯域の光又は複数の波長帯域の光 のいずれでもよい 。 特定の波長帯域は、 白色の波長帯域よりも狭い帯域である。 特定の波長帯 域の光は、 一種類の波長帯域の光を適用してもよいし、 複数の波長帯域の光 を適用してもよい。 特定の波長帯域は、 特殊光と呼ばれる場合がある。

[0077] プロセッサ装置 1 2は、 コネクタ 3 7匕及び信号ケーブル 3 6を介して、 内視鏡 1 〇へ指令信号を送信し、 内視鏡 1 〇の動作を制御する。 また、 プロ セッサ装置 1 2は、 コネクタ 3 7匕及び信号ケーブル 3 6を介して、 内視鏡 〇 2020/174747 13 卩（：171? 2019 /041947

1 〇の撮像素子 2 8から撮像信号を取得する。 すなわち、 プロセッサ装置 1 2は規定のフレームレートを適用して内視鏡 1 0から出力された撮像信号を 取得する。

[0078] プロセッサ装置 1 2は、 内視鏡 1 0から取得した撮像信号に基づき、 被観 察部位の観察画像である内視鏡画像 3 8を生成する。 ここでいう内視鏡画像 3 8には動画像が含まれる。 内視鏡画像 3 8は静止画像 3 9が含まれてもよ い。 なお、 動画像は符号 3 8 aを付して図 3に図示する。 実施形態に示す内 視鏡画像 3 8は医用画像の一例である。

[0079] プロセッサ装置 1 2は、 操作部 2 1の静止画像撮像指示部 3 2が操作され た場合、 動画像の生成と並行して、 撮像素子 2 8から取得した撮像信号に基 づき被観察部位の静止画像 3 9を生成する。 静止画像 3 9は、 動画像の解像 度に対して高解像度に生成されていてもよい 。

[0080] 内視鏡画像 3 8の生成の際に、 プロセッサ装置 1 2はホワイ トバランス調 整、 及びシエーディング補正等のデジタル信号処 理を適用した画質の補正を 行う。 プロセッサ装置 1 2は D I C O M規格で規定された付帯情報を内視鏡 画像 3 8へ付加してもよい。 なお、 D 丨 C O Mは、 D i g i ta l Imag i ng and Com mun i cat i ons i n Med i c i neの省略語である。 実施形態に示すプロセッサ装置は 、 内視鏡を制御する内視鏡制御部を備えるプロ セッサ装置の一例である。

[0081 ] プロセッサ装置 1 2は、 内視鏡画像 3 8を表示装置 1 3及び医用画像処理 装置 1 4のそれぞれに出力する。 プロセッサ装置 1 2は、 D 丨 C O M規格に 準拠した通信プロトコルに従って、 図示しない通信ネッ トワークを介して、 図示しない記憶装置へ内視鏡画像 3 8を出力してもよい。 なお、 通信ネッ ト ワークは図 2に示す通信ネッ トワーク 1 4 0を適用し得る。

[0082] 表示装置 1 3は、 プロセッサ装置 1 2に接続される。 表示装置 1 3は、 プ ロセッサ装置 1 2から送信された内視鏡画像 3 8を表示する。 術者は、 表示 装置 1 3に表示される内視鏡画像 3 8を確認しながら、 揷入部 2 0の進退操 作等をし得る。 術者は、 被観察部位に病変等を検出した場合に、 静止画像撮 像指示部 3 2を操作して被観察部位の静止画を撮像し得� �。 〇 2020/174747 14 卩（：171? 2019 /041947

[0083] 医用画像処理装置 1 4は、 コンピュータを適用し得る。 入力装置 1 5はコ ンピュータに接続可能なキーボード及びマウ ス等が用いられる。 入力装置 1 5とコンピュータとの接続は有線接続又は無� �接続のいずれでもよい。 モニ 夕装置 1 6は、 コンピュータに接続可能な各種モニタが用い られる。

[0084] 医用画像処理装置 1 4として、 ワークステーション及びサーバ装置等の診 断支援装置を適用してもよい。 この場合、 入力装置 1 5及びモニタ装置 1 6 は、 それぞれワークステーション等に接続した複 数の端末ごとに設けられる 。 更に、 医用画像処理装置 1 4として、 医療レポート等の作成支援を行う診 療業務支援装置を用いてもよい。

[0085] 医用画像処理装置 1 4は、 内視鏡画像 3 8の取得、 及び内視鏡画像 3 8の 記憶を行う。 医用画像処理装置 1 4は、 モニタ装置 1 6の再生制御を行う。 なお、 本明細書における画像という用語は、 画像を表す電気信号、 及び画像 を表す情報等の画像データという意味が含ま れている。 本明細書における画 像という用語は、 画像自身、 及び画像データの少なくともいずれかを意味 し ている。

[0086] また、 画像の記憶という用語は、 画像の保存、 及び画像の格納等と読み替 えることが可能である。 ここでいう画像の記憶は、 画像の非一時的記憶を意 味する。 医用画像処理装置 1 4は画像を一時記憶する一時記憶用のメモリ� � 備えてもよい。

[0087] 入力装置 1 5は、 医用画像処理装置 1 4に対する操作指示の入力に用いら れる。 モニタ装置 1 6は、 医用画像処理装置 1 4の制御の下、 内視鏡画像 3 8の表示を行う。 モニタ装置 1 6は、 医用画像処理装置 1 4における各種情 報の表示部として機能してもよい。

[0088] 医用画像処理装置 1 4は、 図 1 に図示しない通信ネッ トワークを介して、 図示しない記憶装置と接続され得る。 画像の格納形式、 及び通信ネッ トワー クを経由した各装置間の通信は、 口 丨 ⁽ 3 0 IV!規格、 及び 0 I ⁽ 3 0 IV!規格に準 拠したプロトコル等を適用可能である。

[0089] 図示しない記憶装置は、 データを非一時的に記憶するストレージ等を 適用 〇 2020/174747 1 5 卩（：171? 2019 /041947

可能である。 記憶装置は、 図示しないサーバ装置を用いて管理されても よい 。 サーバ装置は、 各種データを記憶して管理するコンピュータ を適用可能で ある。

[0090] [医用画像処理装置のハードウヱア構成]

図 2は医用画像処理装置のハードウェア構成を� �すブロック図である。 図 2に示す医用画像処理装置 1 4は、 プロセッサ 1 2 0、 メモリ 1 2 2、 スト レージ装置 1 2 4、 ネッ トワークコントローラ 1 2 6、 電源装置 1 2 8、 デ ィスプレイコントローラ 1 3 0、 入出カインターフェース 1 3 2、 及び入力 コントローラ 1 3 4を備える。 なお、 図 2に示す丨 /〇は入出カインターフ ェースを表す。

[0091 ] プロセッサ 1 2 0、 メモリ 1 2 2、 ストレージ装置 1 2 4、 ネッ トワーク コントローラ 1 2 6、 ディスプレイコントローラ 1 3 0、 及び入出カインタ —フェース 1 3 2は、 バス 1 3 6を介してデータ通信が可能に接続される。

[0092] 〔プロセッサ〕

プロセッサ 1 2 0は、 医用画像処理装置 1 4の全体制御部、 各種演算部、 及び記憶制御部として機能する。 プロセッサ 1 2 0は、 メモリ 1 2 2に具備 される R O M ( read on ly memory) に記憶されているプログラムを実行する

[0093] プロセッサ 1 2 0は、 ネッ トワークコントローラ 1 2 6を介して、 図示し ない外部の記憶装置からプログラムをダウン ロードし、 ダウンロードしたプ ログラムを実行してもよい。 外部の記憶装置は、 通信ネッ トワーク 1 4 0を 介して医用画像処理装置 1 4と通信可能に接続されていてもよい。

[0094] プロセッサ 1 2 0は、 メモリ 1 2 2に具備される R A M ( random access m emory) を演算領域とし、 各種プログラムと協働して、 各種処理を実行する。 これにより、 医用画像処理装置 1 4の各種機能が実現される。

[0095] プロセッサ 1 2 0は、 ストレージ装置 1 2 4からのデータの読み出し、 及 びストレージ装置 1 2 4へのデータの書き込みを制御する。 プロセッサ 1 2 0は、 ネッ トワークコントローラ 1 2 6を介して、 外部の記憶装置から各種 〇 2020/174747 16 卩（：171? 2019 /041947

データを取得してもよい。 プロセッサ 1 20は、 取得した各種データを用い て、 演算等の各種処理を実行可能である。

[0096] プロセッサ 1 20は、 一つ又は二つ以上のデバイスが含まれてもよ い。 デ バイスの一例として、 F PGA (Field Programmable Gate Array) 及び P L D (Programmable Logic Device) 等が挙げられる。 F PGA及び P L Dは、 製造後に回路構成を変更し得るデバイスであ る。

[0097] デバイスの他の例として、 AS I C (Application Specific Integrated C ircuit) が挙げられる。 AS I Cは、 特定の処理を実行させるために専用に 設計された回路構成を備える。

[0098] プロセッサ 1 20は、 同じ種類の二つ以上のデバイスを適用可能で ある。

例えば、 プロセッサ 1 20は二つ以上の F PGAを用いてもよいし、 二つの P L Dを用いてもよい。 プロセッサ 1 20は、 異なる種類の二つ以上のデバ イスを適用してもよい。 例えば、 プロセッサ 1 20は一つ以上の F P G Aと —つ以上の AS 丨 Cとを適用してもよい。

[0099] 複数のプロセッサ 1 20を備える場合、 複数のプロセッサ 1 20は一つの デバイスを用いて構成してもよい。 一つのデバイスを用いて複数のプロセッ サ 1 20を構成する一例として、 一つ以上の C P U (Central Processing Un it) とソフトウェアとの組合せを用いて一つのデ バイスを構成し、 このデバ イスが複数のプロセッサ 1 20として機能する形態がある。 なお、 本明細書 におけるソフトウェアはプログラムと同義で ある。

[0100] 複数のプロセッサ 1 20を一つのデバイスで構成する他の例として� �� 複数 のプロセッサ 1 20を含むシステム全体の機能を一つの丨 Cチップで実現す るデバイスを使用する形態が挙げられる。 複数のプロセッサ 1 20を含むシ ステム全体の機能を一つの丨 Cチップで実現するデバイスの代表例として� �

S〇 C (System On Chip) が挙げられる。 なお、 丨 Cは、 Integrated Circui tの省略語である。 このように、 プロセッサ 1 20は、 ハードウェア的な構造 として、 各種のデバイスを一つ以上用いて構成される 。

[0101] 〔メモリ〕 〇 2020/174747 17 卩（：171? 2019 /041947

メモリ 1 22は、 図示しない ROM、 及び図示しない RAMを備える。 R 〇 Mは、 医用画像処理装置 1 4において実行される各種プログラムを記憶� � る。 ROMは、 各種プログラムの実行に用いられるパラメー タ、 及びフアイ ル等を記憶する。 RAMは、 データの一時記憶領域、 及びプロセッサ 1 20 のワーク領域等として機能する。

[0102] 〔ストレージ装置〕

ストレージ装置 1 24は、 各種データを非一時的に記憶する。 ストレージ 装置 1 24は、 医用画像処理装置 1 4の外部に外付けされてもよい。 ストレ —ジ装置 1 24に代わり、 又はこれと併用して、 大容量の半導体メモリ装置 を適用してもよい。

[0103] 〔ネッ トワークコントローラ〕

ネッ トワークコントローラ 1 26は、 外部装置との間のデータ通信を制御 する。 データ通信の制御は、 データ通信のトラフィックの管理が含まれて も よい。 ネッ トワークコントローラ 1 26を介して接続される通信ネッ トワー ク 1 40は、 LANなどの公知の通信ネッ トワークを適用し得る。

[0104] 〔電源装置〕

電源装置 1 28は、 U PS (Uninterruptible Power Supp ly)などの大容量 型の電源装置が適用される。 電源装置 1 28は停電等に起因して商用電源が 遮断された際に、 医用画像処理装置 1 4の各部へ電源を供給する。

[0105] 〔ディスプレイコントローラ〕

ディスプレイコントローラ 1 30は、 プロセッサ 1 20から送信される指 令信号に基づいてモニタ装置 1 6を制御するディスプレイ ドライバーとして 機能する。

[0106] 〔入出カインターフェース〕

入出カインターフェース 1 32は、 医用画像処理装置 1 4と外部機器との 通信可能に接続する。 入出カインターフェース 1 32は、 US B (Universal Serial Bus) などの通信規格を適用し得る。

[0107] 〔入カコントローラ〕 〇 2020/174747 18 卩（：171? 2019 /041947

入カコントローラ 1 3 4は、 入力装置 1 5を用いて入力された信号の形式 を医用画像処理装置 1 4の処理に適した形式に変換する。 入カコントローラ 1 3 4を介して入力装置 1 5から入力された情報は、 プロセッサ 1 2 0を介 して各部へ送信される。

[0108] なお、 図 2に示す医用画像処理装置 1 4のハードウエア構成は一例であり 、 適宜、 追加、 削除、 及び変更が可能である。 また、 図 2に示すハードウエ ア構成は、 図 1 に示すプロセッサ装置 1 2にも適用し得る。

[0109] [医用画像処理装置の機能ブロック]

図 3は実施形態に係る医用画像処理装置の機能� �ロック図である。 医用画 像処理装置 1 4は、 画像取得部 4 0、 認識部 4 2、 表示制御部 4 4、 記憶部 4 6、 及び変更判定部 4 8を備える。 尚、 本実施形態では、 図 2に示す医用 画像処理装置 1 4のプロセッサ 1 2 0が、 画像取得部 4 0、 認識部 4 2、 表 示制御部 4 4、 変更判定部 4 8の機能を実行する。 また、 図 2に示すストレ —ジ装置 1 2 4が記憶部 4 6の機能を実行する。 尚、 画像取得部 4 0、 認識 部 4 2、 表示制御部 4 4、 変更判定部 4 8の機能は、 1つまたは複数の汎用 目的プロセッサ （例えば、 マイクロプロセッサ） 、 及び、 1つまたは複数の 特殊目的プロセッサ （例えば、 八3 丨 〇、 〇八） などの組み合わせによ り実現してもよい。

[01 10] 〔画像取得部〕

画像取得部 4 0は、 プロセッサ装置 1 2から内視鏡 1 0を用いて撮像した 内視鏡画像 3 8を取得する。 画像取得部 4 0は、 内視鏡画像 3 8を内視鏡画 像記憶部 4 6 8へ記憶する。

[01 1 1 ] 画像取得部 4 0は、 メモリカード等の情報記憶媒体を介して、 プロセッサ 装置 1 2から内視鏡画像 3 8を取得してもよい。 画像取得部 4 0は、 図 2に 示す通信ネッ トワーク 1 4 0を介して内視鏡画像 3 8を取得してもよい。

[01 12] 画像取得部 4 0は、 時系列のフレーム画像 3 8匕から構成される動画像 3

8 3を取得し得る。 画像取得部 4 0は動画像 3 8 ₃ の撮像途中に静止画撮像 が実施された場合に、 静止画像 3 9を取得し得る。 〇 2020/174747 19 卩（：171? 2019 /041947

[01 13] 〔認識部〕

認識部 4 2は、 注目領域検出部 4 2 a、 強調表示設定部 4 2 b、 及び分類 部 4 2 c、 分類表示設定部 4 2 dを備える。 認識部 4 2は、 C N N (Convo lu t i ona l Neura l Network) 等の学習器を適用して内視鏡画像 3 8から注目領域 を検出する。 認識部 4 2は、 注目領域を強調する強調表示を設定する。 認識 部 4 2は学習を適用して注目領域を分類する。

[01 14] 注目領域検出部 4 2 aは、 画像取得部 4 0を用いて取得した内視鏡画像 3

8から注目領域を検出する。 注目領域検出部 4 2 aは、 内視鏡画像 3 8と内 視鏡画像 3 8における注目領域とのペアを正解データと� �て、 学習を実施し た学習済みの学習器が適用される。 注目領域検出部 4 2 aは、 内視鏡画像 3 8から検出した注目領域を注目領域記憶部 4 6 bへ記憶する。

[01 15] 強調表示設定部 4 2匕は、 内視鏡画像 3 8から検出された注目領域を強調 する強調表示を設定する。 強調表示設定部 4 2 bは、 注目領域の位置及び注 目領域のサイズを特定し、 注目領域の位置及び注目領域のサイズに応じ て、 強調表示の位置及び強調表示のサイズを特定 する。 強調表示設定部 4 2匕は 、 強調表示の位置及び強調表示のサイズを含む 強調表示の情報を注目領域と 関連付けして記憶する。

[01 16] 強調表示設定部 4 2匕は、 注目領域を囲む閉曲線を強調表示に適用し得 る 。 注目領域を囲む閉曲線は、 注目領域を囲む四角形等の多角形、 円、 及び任 意形状の閉曲線を適用し得る。 注目領域を囲む閉曲線は、 注目領域が内接す る多角形及び円、 注目領域と重なる多角形及び円、 並びに注目領域を内部に 含む多角形及び円であり、 注目領域と非接触の多角形及び円等を適用し 得る

[01 17] 分類部 4 2 cは、 注目領域を分類する。 例えば、 分類部 4 2 cは注目領域 が病変であるか非病変であるかを分類する。 分類部 4 2 cは病変である注目 領域の疾病名を特定してもよい。 分類部 4 2 cは、 U I C C (Un i on for Int ernat i ona l Cancer Cont ro l) 及び T N M分類等の規格化された分類を適用し 得る。 分類部 4 2 cは注目領域ごとの分類を注目領域の情報を� �応付けして 〇 2020/174747 20 卩（：171? 2019 /041947

分類記憶部 4 6〇へ記憶する。 分類表示設定部 4 2 は、 分類部 4 2〇で分 類された注目領域の表示態様を設定する。 例えば、 分類部 4 2〇で特定され た注目領域の疾病名を文字列で表示するか、 絵及びアイコンで表示するかを 設定する。 文字列で表示する場合は、 文字の濃度や文字の色彩、 文字のサイ ズを特定する。 また、 注目領域に対する分類の表示位置を特定する 。

[01 18] なお、 丁 IV!の丁は、 「の頭文字である。 丁 1\/1の1\1は、 〇163の頭文 字である。 丁 1\/1の1\/1は、 の頭文字である。

[01 19] 〔表示制御部〕

表示制御部 4 4は、 内視鏡画像 3 8をモニタ装置 1 6へ表示させる画像等 を表す表示信号をモニタ装置 1 6へ送信する。 表示制御部 4 4は、 注目領域 及び注目領域の分類を表す表示信号をモニタ 装置 1 6へ送信する。 表示制御 部 4 4は、 モニタ装置 1 6の制御信号をモニタ装置 1 6へ送信する。

[0120] モニタ装置 1 6は、 内視鏡画像 3 8、 注目領域、 及び注目領域の分類を表 示する。 モニタ装置 1 6は、 注目領域及び注目領域の分類を内視鏡画像 3 8 に重畳表示し得る。 モニタ装置 1 6は、 内視鏡画像 3 8が表示される領域と 区画された領域に注目領域及び注目領域の分 類を表示し得る。 表示制御部 4 4は、 規定の更新間隔を適用して内視鏡画像 3 8の表示、 注目領域の表示、 及び注目領域の分類の表示を更新する。

[0121 ] 〔記憶部〕

記憶部 4 6は、 内視鏡画像記憶部 4 6 3、 注目領域記憶部 4 6 13、 及び分 類記憶部 4 8〇を備える。 内視鏡画像記憶部 4 6 ₃ は、 画像取得部 4 0を用 いて取得した内視鏡画像 3 8を記憶する。

[0122] 注目領域記憶部 4 6匕は、 注目領域の情報を記憶する。 注目領域記憶部 4

6匕は、 注目領域を検出した内視鏡画像 3 8と関連付けされた注目領域の情 報を記憶し得る。 注目領域の情報は、 内視鏡画像 3 8における注目領域の座 標値及び注目領域の形状を適用し得る。

[0123] 注目領域の座標値は、 強調表示を設定する際に適用される強調表示 の座標 値に適用し得る。 注目領域の形状は、 注目領域の形態及び注目領域面積を含 〇 2020/174747 21 卩（：171? 2019 /041947

み得る。

[0124] 分類記憶部 4 6〇は、 注目領域ごとの分類が注目領域の情報と関連 付けし て記憶される。 注目領域の情報は、 注目領域を特定し得る番号及び記号等が 適用される。

[0125] 記憶部 4 6は、 一つ以上の記憶素子を適用し得る。 すなわち、 記憶部 4 6 は、 内視鏡画像記憶部 4 6 注目領域記憶部 4 6 、 及び分類記憶部 4 6

〇のそれぞれに対応する三つの記憶素子を 備え得る。 また、 内視鏡画像記憶 部 4 6 3、 注目領域記憶部 4 6匕、 及び分類記憶部 4 6〇は、 それぞれ複数 の記憶素子を適用し得る。 更に、 内視鏡画像記憶部 4 6 3、 注目領域記憶部 4 6匕、 及び分類記憶部 4 6〇のうち二つ又は全てを、 一つの記憶素子を用 いて構成し得る。

[0126] 〔変更判定部〕

変更判定部 4 8は、 強調表示の表示形態及び注目領域の分類の表 示形態の 少なくともいずれかを変更するか否かを判定 する。 変更判定部 4 8は、 強調 領域の表示形態を変更することを表す指令信 号を取得した場合に、 強調表示 の表示形態を変更すると判定し得る。

[0127] 変更判定部 4 8は、 強調表示の表示形態を変更することを表す指 令信号を 表示制御部 4 4へ送信する。 表示制御部 4 4は、 受信した指令信号に応じて 強調表示の表示形態を変更する。

[0128] なお、 実施形態に記載の変更判定部 4 8は、 操作部が操作された際に送信 される指令信号を取得する指令信号取得部を 構成要素として含み得る。

[0129] 例えば、 術者が持つ把持部の操作ボタン 4 9を術者が操作して、 内視鏡 1

0から医用画像処理装置 1 4へ強調表示の表示形態を変更することを表� �信 号を送信し、 内視鏡 1 〇から送信された信号を医用画像処理装置 1 4が受信 した場合に、 医用画像処理装置 1 4は強調表示の表示形態を変更し得る。 術 者が持つ把持部の例として図 1 に示す操作部 2 1が挙げられる。

[0130] 強調表示の表示形態の変更の例として、 強調表示の濃度を下げて薄くする

、 強調表示の色彩を薄い色彩に変更する、 実線の閉曲線が適用される場合に 〇 2020/174747 22 卩（：171? 2019 /041947

実線を破線等に変更する、 及び強調表示を移動させるなど、 強調表示をオフ せずに強度を弱める例が挙げられる。 強調表示をオフせずに強度を弱める際 に、 強調表示を視認可能に弱めることが好ましい 。

[0131 ] また、 術者が注目領域の分類を実施していると認識 された場合に、 医用画 像処理装置 1 4は強調表示の表示形態を変更し得る。 術者が注目領域の分類 を実施している場合の例として、 通常光から特殊光への変更が実施された場 合が挙げられる。

[0132] なお、 実施形態に記載の変更判定部 4 8は、 注目領域の分類を実施してい るか否かを表す分類実施信号を取得する分類 実施信号取得部を構成要素とし て含み得る。

[0133] 更に、 処置動作が実施されていると認識された場合 に、 医用画像処理装置

1 4は強調表示の表示形態を変更し得る。 処置動作が実施されていると認識 された場合の例として、 内視鏡画像 3 8に処置具が写っている場合が挙げら れる。

[0134] なお、 実施形態に記載の変更判定部 4 8は、 処置具が動作しているか否か を判定する処置具動作判定部を構成要素とし て含み得る。

[0135] 変更判定部 4 8は、 注目領域の分類の表示形態を変更することを 表す指令 信号を取得した場合に、 注目領域の分類の表示形態を変更すると判定 し得る 。 変更判定部 4 8は、 注目領域の分類の表示形態を変更することを 表す指令 信号を表示制御部 4 4へ送信する。 表示制御部 4 4は、 受信した指令信号に 応じて注目領域の分類の表示形態を変更する 。

[0136] 例えば、 術者が持つ把持部の操作ボタン 4 9を術者が操作して、 内視鏡 1

0から医用画像処理装置 1 4へ注目領域の分類の表示形態を変更するこ� �を 表す信号を送信し、 内視鏡 1 〇から送信された信号を医用画像処理装置 1 4 が受信した場合に、 医用画像処理装置 1 4は注目領域の分類の表示形態を変 更し得る。

[0137] 注目領域の分類の表示形態の変更の例として 、 分類を表す文字の濃度を下 げる、 分類を表す文字の色彩を薄い色彩に変更する 、 分類を表す文字のサイ 〇 2020/174747 23 卩（：171? 2019 /041947

ズを小さくする、 及び分類を表す文字を移動させる例が挙げら れる。 注目領 域の分類の表示形態の変更の他の例として、 分類を表す文字列の一部を省略 する、 文字列を絵及びアイコン等に変更する例が挙 げられる。 文字列の一部 を省略する例として、 文字列を表す省略語を適用する及び文字列の 頭文字を 適用する例が挙げられる。

[0138] [医用画像処理方法の手順]

図 4は実施形態に係る医用画像処理方法の手順� �示すフローチヤートであ る。 以下に説明する医用画像処理方法は、 内視鏡 1 〇を用いた検査の際に取 得した内視鏡画像 3 8に適用してもよいし、 医用画像サーバ等から取得した 内視鏡画像 3 8に適用してもよい。

[0139] 内視鏡画像取得工程 3 1 0では、 図 3に示す画像取得部 4 0は、 図 1 に示 すプロセツサ装置 1 2から内視鏡画像 3 8を取得する。 内視鏡画像取得工程 3 1 0では、 画像取得部 4 0は内視鏡画像記憶部 4 6 3へ内視鏡画像 3 8を 記憶する。 内視鏡画像取得工程 3 1 0の後に注目領域検出工程 3 1 2へ進む

[0140] 注目領域検出工程 3 1 2では、 注目領域検出部 4 2 ₃ は内視鏡画像 3 8を 構成する動画像 3 8 3の任意のフレーム画像 3 8匕から注目領域を検出する 。 注目領域検出部 4 2 3は一枚のフレーム画像 3 8匕から複数の注目領域を 検出してもよい。

[0141 ] 注目領域検出工程 3 1 2では、 注目領域検出部 4 2 3は動画像 3 8 3の全 てのフレーム画像 3 8匕から注目領域を検出してもよいし、 規定の期間おき のフレーム画像 3 8 13から注目領域を検出してもよい。

[0142] 注目領域検出工程 3 1 2では、 注目領域検出部 4 2 ₃ は注目領域をフレー ム画像 3 8匕の情報と関連付けして、 注目領域記憶部 4 6匕へ記憶する。 注 目領域検出工程 3 1 2の後に分類工程 3 1 4へ進む。 なお、 注目領域検出エ 程 3 1 2は、 注目領域を検出する認識工程の一例に相当す る。

[0143] 分類工程 3 1 4では、 分類部 4 2〇は注目領域ごとに分類を実施する。 分 類工程 3 1 4では、 分類部 4 2〇は注目領域ごとの分類を注目領域と関連� � 〇 2020/174747 24 卩（：171? 2019 /041947

けして、 分類記憶部 4 6〇へ記憶する。 分類工程 3 1 4の後に表示工程 3 1 6へ進む。 なお、 分類工程 3 1 4は、 注目領域を分類する認識工程の一例に 相当する。

[0144] 表示工程 3 1 6では、 強調表示設定部 4 2匕は注目領域ごとに強調表示を 設定し、 強調表示の情報を表示制御部 4 4へ送信する。 表示制御部 4 4は内 視鏡画像 3 8を表示する画面に強調表示を表示させる。

[0145] 表示工程 3 1 6では、 分類部 4 2〇は注目領域ごとの分類の情報を分類表 示設定部 4 2 に送付し、 分類表示設定部 4 2 は、 注目領域ごとに分類の 表示態様を設定し、 分類の表示態様の情報を表示制御部 4 4へ送信する。 表 示制御部 4 4は内視鏡画像 3 8を表示する画面に注目領域ごとの分類を表� � させる。 表示工程 3 1 6の後に強調表示変更判定工程 3 1 8へ進む。

[0146] 強調表示変更判定工程 3 1 8では、 変更判定部 4 8は強調表示の表示態様 を変更するか否かを判定する。 強調表示変更判定工程 3 1 8において、 変更 判定部 4 8が強調表示の表示態様を変更しないと判定� �た場合は 〇判定と なり、 分類表示変更判定工程 3 2 0へ進む。 _方、 強調表示変更判定工程 3 1 8において、 変更判定部 4 8が強調表示の表示態様を変更すると判定し� � 場合は丫6 3判定となり、 強調表示変更工程 3 2 2へ進む。

[0147] 分類表示変更判定工程 3 2 0では、 変更判定部 4 8は分類の表示態様を変 更するか否かを判定する。 分類表示変更判定工程 3 2 0において、 変更判定 部 4 8が分類の表示態様を変更しないと判定した� �合は 〇判定となり、 最 終フレーム画像判定工程 3 2 6へ進む。

一方、 分類表示変更判定工程 3 2 0において、 変更判定部 4 8が分類の表示 態様を変更すると判定した場合は丫㊀ 3判定となり、 分類表示変更工程 3 2 4へ進む。 なお、 強調表示変更判定工程 3 1 8と分類表示変更判定工程 3 2 〇とは順番を入れ替えてもよい。

[0148] 強調表示変更工程 3 2 2では、 強調表示設定部 4 2 は表示態様を変更し た強調表示の情報を表す指令信号を表示制御 部 4 4へ送信する。 表示制御部 4 4は受信した指令信号に基づいて、 強調表示の表示態様を変更する。 強調 〇 2020/174747 25 卩（：171? 2019 /041947

表示変更工程 3 2 2の後に最終フレーム画像判定工程 3 2 6へ進む。

[0149] 分類表示変更工程 3 2 4では、 分類部表示設定部 4 2 は表示態様を変更 した注目領域の分類の表示態様の情報を表す 指令信号を表示制御部 4 4へ送 信する。 表示制御部 4 4は受信した指令信号に基づいて、 注目領域の分類の 表示態様を変更する。 分類表示変更工程 3 2 4の後に最終フレーム画像判定 工程 3 2 6へ進む。

[0150] 最終フレーム画像判定工程 3 2 6では、 医用画像処理装置 1 4は表示され ている内視鏡画像 3 8が最終フレーム画像であるか否かを判定す� �。 最終フ レーム画像判定工程 3 2 6において、 医用画像処理装置 1 4が表示されてい る内視鏡画像 3 8が最終フレーム画像でないと判定した場合� � 〇判定とな り、 内視鏡画像取得工程 3 1 0へ進む。 以降、 最終フレーム画像判定工程 3 2 6において丫㊀ 3判定となるまで、 内視鏡画像取得工程 3 1 0から最終フ レーム画像判定工程 3 2 6までの各工程を実施する。

[0151 ] —方、 最終フレーム画像判定工程 3 2 6において、 医用画像処理装置 1 4 が表示されている内視鏡画像 3 8が最終フレーム画像であると判定した場合 は丫㊀ 3判定となり、 医用画像処理装置 1 4は医用画像処理方法を終了させ る。

[0152] [強調表示の表示態様の変更及び分類の表示� �様の変更の具体例]

次に、 強調表示の表示態様の変更及び分類の表示態 様の変更の具体例につ いて説明する。 以下の説明では、 図 1 に示す内視鏡 1 〇を用いて大腸を観察 して得られた動画像 3 8 3における任意のフレーム画像 3 8 13を例示する。 なお、 観察対象は大腸に限定されず、 食道、 胃、 及び小腸等を観察対象とし てもよい。

[0153] 図 5は内視鏡画像の説明図である。 図 5に示す内視鏡画像 3 8は、 第一病 変 2 0 0、 第二病変 2 0 2、 及び第三病変 2 0 4が視認されている。 図 5で は図示を省略するが、 内視鏡画像 3 8が表示される画面は、 患者情報を表示 する領域、 操作ボタンを表示する領域等を含み得る。

[0154] 図 3に示す注目領域検出部 4 2 ₃ は、 第一病変 2 0 0を第一注目領域 2 0 〇 2020/174747 26 卩（：171? 2019 /041947

1 として検出する。 同様に、 注目領域検出部 4 2 aは、 第二病変 2 0 2を第 二注目領域 2 0 3として検出し、 第三病変 2 0 4を第三注目領域 2 0 5とし て検出する。

[0155] 図 6は注目領域の強調表示及び注目領域の分類� �示の説明図である。 同図 に示す内視鏡画像 3 8は、 内視鏡画像 3 8を表示する画面と同一の画面に注 目領域の強調表示及び注目領域の分類が表示 される。 これにより、 術者は視 線を移動させずに、 内視鏡画像 3 8、 注目領域の強調表示、 及び注目領域の 分類を視認し得る。

[0156] 内視鏡画像 3 8には、 注目領域の強調表示としてバウンディングボ ックス が適用される。 パウンディングボックスは、 注目領域を囲む四角形が適用さ れる。 すなわち、 第 ^_ 病変 2 0 0に対応する第一注目領域 2 0 1は第ーバウ ンディングボックス 2 1 0が重畳表示される。

[0157] 同様に、 第二病変 2 0 2に対応する第二注目領域 2 0 3は、 第ニパウンデ ィングボックス 2 1 2が重畳表示され、 第三病変 2 0 4に対応する第三注目 領域 2 0 5には、 第三パウンディングボックス 2 1 4が重畳表示される。

[0158] また、 内視鏡画像 3 8は、 注目領域の分類として病変の種類を表す英単 語 が重畳表示される。 すなわち、 第一病変 2 0 0に対応する第一注目領域 2 0 1は、 第ーパウンディングボックス 2 1 0の上側の位置に、 非腫瘍性ポリー プを表す英単語である H y p e r P l a s t i cが第一分類 2 2 0として表 される。

[0159] 同様に、 第二病変 2 0 2に対応する第二注目領域 2 0 3は、 第ニパウンデ ィングボックス 2 1 2の上側の位置に、 腫瘍を表す英単語である A d e n〇 m aが第二分類 2 2 2として表示される。 また、 第三病変 2 0 4に対応する 第三注目領域 2 0 5は、 第三バウンディングボックス 2 1 4の上側の位置に 、 非腫瘍性ポリープを表す英単語である H y p e r P I a s t i cが第三分 類 2 2 4として表示される。

[0160] 〔強調表示の表示態様の変更の具体例〕

図 7は強調表示の表示態様の変更の説明図であ� �。 同図に示す内視鏡画像 〇 2020/174747 27 卩（：171? 2019 /041947

3 8は注目領域の強調表示の強調の程度を弱め� �いる。 すなわち、 第四バウ ンディングボックス 2 1 0 3は、 図 6に示す第ーバウンディングボックス 2 1 〇と比較して濃度が下げられ薄くされている 。

[0161 ] 同様に、 第五パウンディングボックス 2 1 2 3は、 第ニパウンディングボ ックス 2 1 2と比較して濃度が下げられ薄くされており� � 第六バウンディン グボックス 2 1 4 3は、 第三パウンディングボックス 2 1 4と比較して濃度 が下げられ薄くされている。

[0162] 強調表示の強調の程度を弱める表示態様の変 更は、 強調表示の色彩を変更 してもよい。 強調表示の色彩変更の例として、 赤から黄への変更、 及び黒か ら灰色への変更等が挙げられる。

[0163] 図 8は強調表示の表示態様の変更の他の態様の� �明図である。 同図に示す 内視鏡画像 3 8は、 強調表示に適用されている閉曲線の種類が変 更されてい る。 すなわち、 第七パウンディングボックス 2 1 〇匕、 第八パウンディング ボックス 2 1 2匕、 及び第九パウンディングボックス 2 1 4匕は、 線の種類 として破線が適用されている。

[0164] 線の種類の変更に代わり、 又は線の種類の変更と併用して、 線の太さを変 更してもよい。 線の太さを細く した場合に強調の程度は弱められる。

[0165] 図 9は強調表示の位置を移動させる表示態様の� �明図である。 同図に示す 内視鏡画像 3 8は、 注目領域の全体を囲まない位置へバウンディ ングボック スの位置を移動させている。 すなわち、 第十パウンディングボックス 2 1 0 〇は、 第一注目領域 2 0 1 を囲む位置から第一注目領域 2 0 1 を囲まない位 置へ移動されている。

[0166] 同様に、 第十ーパウンディングボックス 2 1 は、 第二注目領域 2 0 3 を囲む位置から第二注目領域 2 0 3を囲まない位置へ移動され、 第十ニバウ ンディングボックス 第三注目領域 2 0 5を囲む位置から第三注 目領域 2 0 5を囲まない位置へ移動されている。

[0167] 図示は省略するが、 第十パウンディングボックス 2 1 0〇、 第十ーバウン ディングボックス 2 1 2〇, 及び第十ニバウンディングボックス 2 1 4〇は 〇 2020/174747 28 卩（：171? 2019 /041947

、 内視鏡画像 3 8と非重畳の位置へ移動させてもよい。 実施形態に記載の内 視鏡画像 3 8と非重畳の位置は、 観察対象を表す画像の表示領域の外の一例 に相当する。

[0168] 〔分類の表示態様の変更の具体例〕

図 1 0は分類の表示態様の変更の説明図である。 同図に示す第四分類 2 2 0 3は、 内視鏡画像 3 8と重畳する位置から内視鏡画像 3 8と非重畳の位置 に移動させている。 同様に、 第五分類 2 2 2 3及び第六分類 2 2 4 ₃ は、 内 視鏡画像 3 8と重畳する位置から内視鏡画像 3 8と非重畳の位置に移動させ ている。

[0169] また、 第四分類 第五分類 及び第六分類 2 2 4 3の相 互の位置関係は、 図 5等に示す第一分類 2 2 0、 第二分類 2 2 2、 及び第三 分類 2 2 4の相互の位置関係が維持されている。

[0170] 更に、 第四分類 2 2 0 ₃ は、 第一分類 2 2 0に適用された文字列の一部が 省略された略語が適用される。 同様に、 第五分類 2 2 2 ₃ は、 第二分類 2 2 2に適用された文字列の一部が省略された略� �が適用され、 第六分類 2 2 4 3は、 第三分類 2 2 4に適用された文字列の一部が省略された略� �が適用さ れる。

[0171 ] 図 1 1は分類の表示態様の変更の他の態様の説明� �である。 同図に示す第 七分類 2 2 0匕は、 第一分類 2 2 0に適用された文字列 1 ^~ 1 _{7 6} 「 I _{3 3} I I 〇の頭文字 1 ^~ 1が適用される。 第八分類 2 2 2匕は、 第二分類 2 2 2に適 用された文字列八 6 n〇 3の頭文字八が適用される。 第九分類 2 2 4匕 は、 第三分類 2 2 4に適用された文字列 丨 〇の頭文字 ! !が適用される。

[0172] [畳:み込みニユ _ラルネッ トワ _クの具体例]

図 1 2は畳み込みニユーラルネッ トワークの説明図である。 ネッ トワーク 3 0 0は、 複数のレイヤ構造を有し、 複数の重みパラメータを保持している 。 重みパラメータが初期値から最適値に更新さ れることで、 未学習モデルが 学習済みモデルとなる。 〇 2020/174747 29 卩（：171? 2019 /041947

[0173] ネッ トワーク 3 0 0は、 入力層 3 1 0、 中間層 3 1 2、 及び出力層 3 1 4 を備える。 中間層 3 1 2は、 第一畳み込み層 3 2 0 第ープーリング層 3

2 2 3、 第二畳み込み層 3 2 0匕、 第ニプーリング層 3 2 2匕、 第三畳み込 み層 3 2 0〇、 及び全結合層 3 2 4を備える。 各層は複数のノードがエッジ で結ばれる構造を有している。

[0174] 入力層 3 1 0は学習対象の内視鏡画像 3 8が入力される。 中間層 3 1 2は 内視鏡画像 3 8から特徴を抽出する。 第一畳み込み層 3 2 0 第二畳み込 み層 3 2 0 、 及び第三畳:み込み層 3 2 0〇は前の層のノ ^_ ドにフイルタ処 理を施して特徴マップを取得する。 すなわち、 第一畳み込み層 3 2 0 ₃ 、 第 二畳:み込み層 3 2 0 13、 及び第三畳:み込み層 3 2 0〇は、 ノードに対してフ イルタを使用した畳み込み演算を実施する。

[0175] 第一畳み込み層 3 2 0 3は、 2 0個のフイルタを用いて、 3 2 X 3 2サイ ズの内視鏡画像 3 8から、 2 0個の 2 8 X 2 8サイズの特徴マップを生成す る。 第二畳み込み層 3 2 0匕は、 2 0個の 1 4 X 1 4サイズの特徴マップか ら、 2 0個の 1 0 X 1 0サイズの特徴マップを生成する。 第三畳み込み層 3

2 0。は、 2 0個の 1 〇 1 0サイズの特徴マップから、 2 0個の 5 X 5サ イズの特徴マップを生成する。

[0176] 第ープーリング層 3 2 2 ₃ は、 第一畳み込み層 3 2 0 ₃ から出力された特 徴マップを縮小して新たな特徴マップを生成 する。 第ニプーリング層 3 2 2 13は、 第二畳み込み層 3 2 0 13から出力された特徴マップを縮小して新た� �� 特徴マップを生成する。

[0177] 第ープーリング層 3 2 2 3は、 2 0個の 2 8 X 2 8サイズの特徴マップか ら、 2 0個の 1 4 X 1 4サイズの特徴マップを生成する。 第ニプーリング層

3 2 2匕は、 2 0個の 1 〇 1 0サイズの特徴マップから、 2 0個の 5 X 5 サイズの特徴マップを生成する。

[0178] 第ープーリング層 3 2 2 ₃ 及び第ニプーリング層 3 2 2匕は、 抽出された 特徴が平行移動などによる影響を受けないよ うにロバスト性を与える役割を 担う。 なお、 中間層 3 1 2は畳み込み層及びプーリング層をーセッ トとする 〇 2020/174747 30 卩（：171? 2019 /041947

場合に限らず、 畳み込み層が連続する場合、 及び図示しない正規化層が含ま れる構成もあり得る。

[0179] 全結合層 3 2 4は、 前の層のすべての出力を次の層の全てのノー ドに結合 する。 すなわち、 全結合層 3 2 4は第三畳み込み層 3 2 0〇の出力を出力層 3 1 4の全てのノードに結合する。

[0180] 出力層 3 1 4は、 中間層 3 1 2を適用して内視鏡画像 3 8から抽出された 特徴を出力する。 図 3に示す認識部 4 2は、 内視鏡画像 3 8から注目領域を 抽出するネッ トワーク、 及び注目領域の分類を実施するネッ トワークを備え る。

[0181 ] 学習前のネッ トワーク 3 0 0における第一畳み込み層 3 2 0 3等に適用さ れるフィルタ係数、 オフセッ ト値及び全結合層 3 2 4における次の層との接 続の重みは、 任意の初期値が設定される。

[0182] ネッ トワーク 3 0 0は、 出力層 3 1 4から出力される出力結果、 出力結果 に対する正解データを取得し、 両者間の誤差を算出する。 誤差の算出方法と して、 ソフトマックスエントロピー及びシグモナイ ド等が挙げられる。

[0183] ネッ トワーク 3 0 0は、 算出された誤差を基に、 誤差伝播法を適用してネ ッ トワーク 3 0 0のパラメータを調整する。 ネッ トワーク 3 0 0はパラメー 夕の調整を繰り返し実施し、 出力結果と正解データとの誤差が小さくなる ま で学習を実施する。

[0184] 学習後のネッ トワーク 3 0 0は、 入力画像に対する注目領域及び注目領域 の分類の少なくともいずれかを出力する。 出力結果を正解データとして、 入 力画像と出力結果とのペアを用いてネッ トワーク 3 0 0を再学習してもよい

[0185] 内視鏡画像 3 8から注目領域を検出するネッ トワークと、 注目領域を分類 するネッ トワークとは、 中間層 3 1 2の一部において共通の処理が実施され る。 そこで、 内視鏡画像 3 8から注目領域を検出するネッ トワークと、 注目 領域を分類するネッ トワークとは、 中間層 3 1 2の一部のパラメータを共通 化することが可能である。 〇 2020/174747 31 卩（：171? 2019 /041947

[0186] 図示を省略するが、 認識部 4 2は、 内視鏡画像 3 8から注目領域を検出す るネッ トワークに適用されるパラメータ、 及び注目領域を分類するネッ トワ —クに適用されるパラメータを記憶するパラ メータ記憶部を備える。

[0187] 内視鏡画像 3 8から注目領域を検出するネッ トワークと、 注目領域を分類 するネッ トワークとは、 特徴マップの重なり具合に基づき、 注目領域の位置 の特定及び注目領域の分類を実施し得る。

[0188] 内視鏡画像 3 8から注目領域を検出するネッ トワークと、 注目領域を分類 するネッ トワークとは、 一つの内視鏡画像 3 8に対して、 注目領域の検出及 び注目領域の分類を一括して学習し得る。

[0189] 実施形態に記載の複数の畳み込み層は、 入力画像のサイズを段階的に小さ くする処理を実施する複数のダウンサイジン グ部の一例に相当する。 実施形 態に記載の複数の畳み込み層及び複数のプー リング層の組み合わせは、 入力 画像のサイズを段階的に小さくする処理を実 施する複数のダウンサイジング 部の一例に相当する。

[0190] 実施形態に記載の畳み込み層は、 ダウンサイジング処理部のそれぞれの出 力画像から特徴マップを生成する特徴マップ 生成部の一例に相当する。

[0191 ] 実施形態に記載のネッ トワーク 3 0 0は、 特徴マップから特徴領域の特定 及び特徴領域の分類の少なくともいずれかを 実施する注目領域認識部の一例 に相当する。

[0192] 実施形態に記載のプーリング層は、 入力画像に対してプーリング処理を施 すプーリング処理部の一例に相当する。 実施形態に記載の畳み込み層は、 畳 み込み処理部の ^_ 例に相当する。

[0193] [作用効果]

本実施形態に示す医用画像処理装置及び医用 画像処理方法によれば、 以下 の作用効果を得ることが可能である。

[0194] 〔1〕

内視鏡画像 3 8から注目領域を検出し、 注目領域を強調する強調表示を設 定する。 注目領域を分類する。 強調表示及び分類を内視鏡画像 3 8に重畳表 〇 2020/174747 32 卩（：171? 2019 /041947

示させる。 強調表示の表示態様の変更を実施するか否か を判定し、 強調表示 の表示態様の変更を実施すると判定された場 合は強調表示を弱める表示態様 の変更を実施する。 分類の表示態様の変更を実施するかを判定し 、 分類の表 示態様の変更を実施すると判定された場合は 分類の視認性を弱める表示態様 の変更を実施する。 これにより、 術者が観察対象を観察する際に、 強調表示 及び分類が術者の観察を妨げることを抑制し 得る。

[0195] 強調表示の表示をオフせずに、 強調表示の視認が可能な程度に、 強調を弱 める表示態様の変更を実施する。 これにより、 強調表示を用いた診断支援の 利用が可能となる。 分類の表示をオフせずに、 分類の視認が可能な程度に、 分類の視認性を弱める表示態様の変更を実施 する。 これにより、 分類を用い た診断支援の利用が可能となる。

[0196] 〔2〕

術者が操作部を操作した場合に、 強調表示及び分類の少なくともいずれか の表示態様の変更を実施する。 これにより、 術者の操作に基づく強調表示及 び分類の少なくともいずれかの表示態様の変 更が可能となる。

[0197] 〔3〕

注目領域の分類が実施されている場合に、 強調表示及び分類の少なくとも いずれかの表示態様の変更を実施する。 これにより、 注目領域の分類が実施 されている場合に、 強調表示及び分類の少なくともいずれかの表 示態様の変 更が可能となる。

[0198] 〔4〕

処置具が操作されている場合に強調表示及び 分類の少なくともいずれかの 表示態様の変更を実施する。 これにより、 処置具が操作されている場合に、 強調表示及び分類の少なくともいずれかの表 示態様の変更が可能となる。

[0199] 〔5〕

認識部は〇 1\1等の深層学習器が適用される。 これにより、 注目領域の検 出精度及び注目領域の分類精度が向上し得る 。 注目領域の検出結果及び注目 領域の分類結果を用いた再学習を実施する。 これにより、 注目領域の検出精 〇 2020/174747 33 卩（：171? 2019 /041947

度及び注目領域の分類精度が更に向上し得 る。

[0200] 〔6〕

強調表示の表示態様の変更は、 強調表示を弱める変更を実施する。 これに より、 強調表示の視認性を低下させ得る。

[0201 ] 〔7〕

強調表示は注目領域を囲む閉曲線が適用され る。 強調表示の表示態様の変 更は線の濃度変更、 色彩変更、 線の種類変更の少なくともいずれかが適用さ れる。 これにより、 強調表示自体の大幅な変更をすることなく、 強調表示の 視認性を低下させ得る。

[0202] 〔8〕

強調表示の表示態様の変更は、 強調表示を内視鏡画像 3 8と非重畳の位置 への移動を適用する。 これにより、 強調表示を表示した状態において、 強調 表示の視認性を低下させ得る。

[0203] 〔9〕

分類の内容を表す分類情報として文字情報を 適用する。 分類の表示態様の 変更は、 文字情報を内視鏡画像 3 8との非重畳の位置への移動を適用する。 これにより、 分類の内容を表す文字情報を表示した状態に おいて、 分類の内 容を表す文字情報の視認性を低下させ得る。

[0204] 〔1 0〕

複数の注目領域が検出された場合に、 複数の注目領域の位置関係を維持し て、 複数の注目領域に対応する複数の分類を移動 させる。 これにより、 複数 の分類の位置関係を用いて複数の注目領域の 位置関係を把握し得る。

[0205] 〔1 1〕

分類の内容を表す分類情報として文字情報を 適用する。 分類の表示態様の 変更は、 文字情報の一部の省略が適用される。 これにより、 分類の内容を表 す文字情報を表示した状態において、 分類の内容を表す文字情報の視認性を 低下させ得る。

[0206] 〔1 2〕 〇 2020/174747 34 卩（：171? 2019 /041947

分類の内容を表す分類情報として文字情報 を適用する。 分類の表示態様の 変更は、 文字情報の頭文字のみの表示が適用される。 これにより、 分類の内 容を表す文字情報を表示した状態において、 分類の内容を表す文字情報の視 認性を低下させ得る。

[0207] [医用画像処理装置の変形例]

〔第一変形例〕

注目領域の表示態様の変更と分類の表示態様 の変更とを、 選択的に実施し てもよい。 例えば、 注目領域の表示態様の変更と分類の表示態様 の変更とを 切り替えるスイッチを操作部 2 1 に備え、 スイッチの操作に応じて注目領域 の表示態様の変更と分類の表示態様の変更と を切り替える。

[0208] 〔第二変形例〕

注目領域の表示態様の変更に注目領域の表示 オフ可能とする。 分類の表示 態様の変更に分類の表示オフを可能とする。 サイクリックに動作するスイッ チを用いて、 標準の表示態様、 表示を継続して弱める表示態様、 及び表示を オフする表示態様を切り替えることが可能で ある。

[0209] 〔第三変形例〕

注目領域の表示態様の変更実施から規定の期 間が経過した後に、 注目領域 の表示態様を標準の表示態様に戻してもよい 。 分類の表示態様の変更実施か ら規定の期間が経過した後に、 分類領域の表示態様を標準の表示態様に戻し てもよい。 規定の期間は任意の期間を設定可能とし得る 。

[0210] 〔第四変形例〕

内視鏡 1 〇の観察状態を検出して、 自動的に注目領域の表示態様の変更及 び分類の表示態様の変更の少なくともいずれ かを実施してもよい。 例えば、 標準光観察の場合は、 注目領域の強調表示及び注目領域の分類を表 示させ、 特殊光観察の場合は、 注目領域の強調表示は不要であり、 注目領域の強調表 示を弱める変更をしてもよい。

[021 1 ] 〔第五変形例〕

内視鏡画像 3 8を拡大して観察する際に、 注目領域の強調表示の表示態様 〇 2020/174747 35 卩（：171? 2019 /041947

を変更する。

内視鏡画像 3 8の拡大に応じて注目領域の強調表示を拡大� �せる処理は、 注 目領域の強調表示が不自然になり得る。 そこで、 内視鏡画像 3 8を拡大して 観察する際に、 注目領域の強調表示の表示態様を変更して、 注目領域の強調 表示の視認性を低下させ、 術者の負担を軽減させる。

[0212] [内視鏡システムの変形例]

〔プロセッサ装置の変形例〕

プロセッサ装置 1 2は、 医用画像処理装置 1 4の機能を有してもよい。 す なわち、 プロセッサ装置 1 2は、 医用画像処理装置 1 4と一体に構成されて もよい。 かかる態様では、 表示装置 1 3はモニタ装置 1 6と兼用し得る。 プ ロセッサ装置 1 2は入力装置 1 5を接続させる接続端子を備え得る。

[0213] 〔照明光の変形例〕

本実施形態に示す内視鏡システム 9を用いて取得可能な医用画像の一例と して、 白色帯域の光、 又は白色帯域の光として複数の波長帯域の光 を照射し て得た通常光画像が挙げられる。

[0214] 本実施形態に示す内視鏡システム 9を用いて取得可能な医用画像の他の例 として、 特定の波長帯域の光を照射して得た画像が挙 げられる。 特定の波長 帯域は白色帯域よりも狭い帯域を適用可能で ある。 以下の変形例の適用が可 能である。

[0215] á第一変形例 ñ

特定の波長帯域の第 1例は、 可視域の青色帯域又は緑色帯域である。 第 1 例の波長帯域は、 3 9 0ナノメートル以上 4 5 0ナノメートル以下、 又は 5 3 0ナノメートル以上 5 5 0ナノメートル以下の波長帯域を含み、 かつ第 1 例の光は、 3 9 0ナノメートル以上 4 5 0ナノメートル以下、 又は 5 3 0ナ ノメートル以上 5 5 0ナノメートル以下の波長帯域内にピーク波� �を有する

[0216] á第二変形例 ñ

特定の波長帯域の第 2例は、 可視域の赤色帯域である。 第 2例の波長帯域 〇 2020/174747 36 卩（：171? 2019 /041947

は、 585ナノメートル以上 6 1 5ナノメートル以下、 又は 6 1 0ナノメー トル以上 730ナノメートル以下の波長帯域を含み、 かつ第 2例の光は、 5

85ナノメートル以上 6 1 5ナノメートル以下、 又は 6 1 0ナノメートル以 上 730ナノメートル以下の波長帯域内にピーク波 長を有する。

[0217] á第三変形例 ñ

特定の波長帯域の第 3例は、 酸化へモグロビンと還元へモグロビンとで吸 光係数が異なる波長帯域を含み、 かつ第 3例の光は、 酸化ヘモグロビンと還 元ヘモグロビンとで吸光係数が異なる波長帯 域にピーク波長を有する。 この 第 3例の波長帯域は、 400± 1 0ナノメートル、 440± 1 0ナノメート ル、 470± 1 0ナノメートル、 又は 600ナノメートル以上 750ナノメ —トル以下の波長帯域を含み、 かつ第 3例の光は、 400 ± 1 0ナノメート ル、 440± 1 0ナノメートル、 470± 1 0ナノメートル、 又は 600ナ ノメートル以上 750ナノメートル以下の波長帯域にピーク波長 を有する。

[0218] á第四変形例 ñ

特定の波長帯域の第 4例は、 生体内の蛍光物質が発する蛍光の観察に用い られ、 かつこの蛍光物質を励起させる励起光の波長 帯域である。 例えば、 3

90ナノメートル以上 470ナノメートル以下の波長帯域である。 なお、 虽 光の観察は蛍光観察と呼ばれる場合がある。

[0219] á第五変形例 ñ

特定の波長帯域の第 5例は、 赤外光の波長帯域である。 この第 5例の波長 帯域は、 790ナノメートル以上 820ナノメートル以下、 又は 905ナノ メートル以上 970ナノメートル以下の波長帯域を含み、 かつ第 5例の光は 、 790ナノメートル以上 820ナノメートル以下、 又は 905ナノメート ル以上 970ナノメートル以下の波長帯域にピーク波長 を有する。

[0220] 〔特殊光画像の生成例〕

プロセッサ装置 1 2は、 白色光を用いて撮像して得られた通常光画像 に基 づいて、 特定の波長帯域の情報を有する特殊光画像を 生成してもよい。 なお 、 ここでいう生成は取得が含まれる。 この場合、 プロセッサ装置 1 2は、 特 〇 2020/174747 37 卩（：171? 2019 /041947

殊光画像取得部として機能する。 そして、 プロセッサ装置 1 2は、 特定の波 長帯域の信号を、 通常光画像に含まれる赤、 緑、 及び青、 或いはシアン、 マ ゼンタ、 及びイエローの色情報に基づく演算を行うこ とで得る。

[0221 ] なお、 赤、 緑、 及び青は、 R G B (Red, Green, B lue) と表されることがあ る。 また、 シアン、 マゼンタ、 及びイエローは、 C M Y (Cyan, Magenta, Ye 1 1 ow) と表されることがある。

[0222] 〔特徴量画像の生成例〕

医用画像として、 白色帯域の光、 又は白色帯域の光として複数の波長帯域 の光を照射して得る通常画像、 並びに特定の波長帯域の光を照射して得る特 殊光画像の少なくともいずれかに基づく演算 を用いて、 特徴量画像を生成し 得る。

[0223] 上記の実施形態及び変形例では、 医用画像の一例として内視鏡画像を例示 したが、 医用画像は C T画像等を適用してもよい。

[0224] [コンピュータを画像処理装置として機能さ� �るプログラムへの適用例] 上述した医用画像処理方法は、 コンピュータを用いて、 医用画像処理方法 における各工程に対応する機能を実現させる プログラムとして構成可能であ る。 例えば、 コンピュータに、 取得した内視鏡画像 3 8から注目領域を検出 し、 注目領域を分類する認識機能、 注目領域を強調する強調表示及び注目領 域の分類を内視鏡画像 3 8と同一の画面に表示させる表示機能、 及び強調表 示の表示態様を変更するか否か、 及び注目領域の分類の表示態様を変更する か否かを判定する変更判定機能を実現させる プログラムであって、 表示機能 は、 強調表示の表示態様を変更すると判定された 場合に強調表示の強調の程 度を弱める変更を実施し、 分類の表示態様を変更すると判定された場合 に分 類の視認性を弱める変更を実施するプログラ ムを構成し得る。

[0225] 上述した画像処理機能をコンピュータに実現 させるプログラムを、 有体物 である非一時的な情報記憶媒体である、 コンピュータが読取可能な情報記憶 媒体に記憶し、 情報記憶媒体を通じてプログラムを提供する ことが可能であ る。 \¥02020/174747 38 卩（：17 2019/041947

[0226] また、 非一時的な情報記憶媒体にプログラムを記憶 して提供する態様に代 えて、 通信ネッ トワークを介してプログラム信号を提供する 態様も可能であ る。

[0227] [実施形態及び変形例等の組み合わせについ� �]

上述した実施形態で説明した構成要素、 及び変形例で説明した構成要素は 、 適宜組み合わせて用いることができ、 また、 一部の構成要素を置き換える こともできる。

[0228] 以上説明した本発明の実施形態は、 本発明の趣旨を逸脱しない範囲で、 適 宜構成要件を変更、 追加、 削除することが可能である。 本発明は以上説明し た実施形態に限定されるものではなく、 本発明の技術的思想内で当該分野の 通常の知識を有する者により、 多くの変形が可能である。

符号の説明

[0229] 9 内視鏡システム

1 0 内視鏡

1 1 光源装置

1 2 プロセッサ装置

1 3 表 装置

1 4 医用画像処理装置

1 5 入力装置

1 6 モニタ装置

20 揷入部

2 1 操作部

22 ユニバーサルコード

25 軟性部

26 湾曲部

27 先端部

273 先端面

28 撮像素子 174747 39 卩（：171? 2019 /041947

湾曲操作ノブ

送気送水ボタン

1 吸引ボタン

2 静止画像撮像指示部

処置具導入口

5 ライ トガイ ド

6 信号ケーブル

13, コネクタ

7匕 コネクタ

8 内視鏡画像

83 動画像

8匕 フレーム画像

9 静止画像

0 画像取得部

2 認識部

23 注目領域検出部

2 強調表示設定部

2〇 分類部

2 分類表示設定部

4 表示制御部

6 記憶部

63 内視鏡画像記憶部

6匕 注目領域記憶部

6〇 分類記憶部

8 変更判定部

9 操作ボタン

20 プロセッサ

22 メモリ 20/174747 40 卩（：171? 2019 /041947

1 24 ストレージ装置

1 26 ネッ トワークコントローラ

1 28 電源装置

1 30 ディスプレイコントローラ

1 32 入出カインタ ^_ フエ ^_ ス

1 34 入カコントローラ

1 36 バス

1 40 通信ネッ トヮーク

200 第一病変

201 第一注目領域

202 第二病変

203 第二注目領域

204 第三病変

205 第三注目領域

2 1 0 第ーバウンディングボックス

2 1 03 第四パウンディングボックス

2 1 0匕 第七バウンディングボックス

2 1 0〇 第十バウンディングボックス

2 1 2 第ニバウンディングボックス

2 1 23 第五パウンディングボックス

2 1 2匕 第八バウンディングボックス

2 1 2〇 第十ーバウンディングボックス

2 1 4 第三パウンディングボックス

2 1 43 第六バウンディングボックス

2 1 4匕 第九バウンディングボックス

2 1 4〇 第十ニバウンディングボックス

220 第一分類

2203 第四分類 〇 2020/174747 41 卩（：171?2019/041947

220匕 第七分類

222 第二分類

2223 第五分類

222匕 第八分類

224 第三分類

2243 第六分類

224匕 第九分類

300 ネッ トワーク

3 1 0 入力層

3 1 2 中間層

3 1 4 出力層

3203 第一曼み込み層

3206 第二曼み込み層

320〇 第三畳み込み層

3223 第ープーリング層

322匕 第ニプーリング層

324 全結合層

31 0から 326 医用画像処理方法の各工程