Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SURGICAL VIDEO CREATION SYSTEM
Document Type and Number:
WIPO Patent Application WO/2020/138521
Kind Code:
A1
Abstract:
Disclosed is a surgical video creation system, comprising: a surgical microscope comprising a light source; an image processing device configured so as to create a 3D video of surgical scenes and fluorescent images by means of the surgical scenes using the microscope; an optical adapter provided so that the image processing unit is mounted on the microscope; and a display unit configured so as to display the 3D video, wherein the image processing unit is configured so as to recognize the boundary of tumorous tissue by means of the fluorescent images and display the boundary in the 3D video, and the fluorescent images are created by light emitted from a fluorescent material which is selectively accumulated only in the tumor.

Inventors:
KIM KIJIN (KR)
Application Number:
PCT/KR2018/016633
Publication Date:
July 02, 2020
Filing Date:
December 26, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
3D MEDIVISION INC (KR)
International Classes:
A61B90/00
Foreign References:
KR101630539B12016-06-14
JP2017507680A2017-03-23
KR20060089094A2006-08-08
KR101481905B12015-01-14
US20090202119A12009-08-13
Attorney, Agent or Firm:
PARK, Jang-Won (KR)
Download PDF:
Claims:
2020/138521 1»(:1^1{2018/016633

【청구범위】

【청구항 1]

수술 동영상 생성 시스템으로서,

광원을 포함하는 수술용 현미경 ;

상기 현미경을 이용한 수술 장면을 이용하여 형광 영상 및 상기 수술 장면의 입체 동영상을 생성하도록 구성된 영상 처리 장치;

상기 현미경에 상기 영상 처리부가 장착되도록 구성된 광학 어댑터; 상기 입체 동영상을 표시하도록 구성된 표시부

를 포함하고,

상기 영상 처리부는, 상기 형광 영상을 이용하여 종양 조직의 경계를 인식하고, 상기 입체 동영상에 상가경계를 표시하도록 구성되며,

상기 형광 영상은 상기 종양에만 선택적으로 축적되는 형광 물질로부터 발광하는 빛으로 형성된, 수술 동영상 생성 시스템.

【청구항 2】

제 1항에 있어서,

상기 영상 처리부는 제 1 파장에 대응하는 빛을 통과시키는 필터를 포함하고,

상기 발광하는 빛은 상기 제 1 파장의 빛이고,

상기 형광 영상은 상기 제 1 파장에 대응하는 제 1 색 및 제 2 색으로 표현되고’

상기 영상 처리부는, 상기 제 1 색에 대응하는 제 1 영역을 상기 종양 조직으로 인식하고 상기 제 2 색에 대응하는 제 2 영역을 정상 조직으로 인식하며, 상기 제 1 영역과 상기 제 2 영역의 경계가 표시된 상기 입체 동영상을 생성하도록 구성된, 수술 동영상 생성 시스템.

【청구항 3】

제 2항에 있어서 ,

상기 제 1 파장은 63511111 이고, 상기 제 1 색은 붉은 형광색이며, 상기 제 2 색은 푸른 형광색인, 수술 동영상 생성 시스템 .

【청구항 4】

제 3항에 있어서, 상기 영상처리 장치는,

소벨 (Sobel ), 프리윗 (Prewi tt ), 로버츠 (Roberts), 컴퍼스 (Compass) , 라플 라시안 (Laplaci an) , 가우시안-라플라시안 (LoG: Laplacian of Gaussi an) 또는 캐니 (Canny) 중 적어도 하나를 상기 형광 영상에 적용하여 상기 경계를 표시하도록구성된, 수술동영상 생성 시스템 .

【청구항 5】

제 4항에 있어서,

상가 영상처리 장치는

상기 수술 장면의 영상을 제 1 영상 및 제 2 영상으로 나누도록 구성된 미러 조립체;

상기 제 1영상을 이용하여 상기 입체 동영상을 생성하도록구성된 영상 처리부;

상기 제 2 영상이 상기 필터를 통과하는, 수술 동영상 생성 시스템 . 【청구항 6】

제 5항에 있어서 ,

상기 영상 처리부는, 상기 광원의 색온도를 측정하고, 상기 측정된 광원에 대응하는 기준 색차를 이용하여, 상기 제 1 영상의 붉은 색의 색차를 보간하도록구성된, 수술동영상 생성 시스템 .

【청구항 7]

제 6항에 있어서 ,

상기 광원은, 3000K 에서 7000K 사이의 색온도를 갖는 광원인, 수술 동영상 생성 시스템.

2020/138521 1»(:1^1{2018/016633

【청구항 8]

제 7항에 있어서,

상기 영상처리 장치는,

상기 수술 장면을촬영하는카메라;

상기 카메라의 초점이 오른쪽 또는 왼쪽으로 이동하도록 구성된 제 1 스테이지;

상기 카메라의 초점이 위 또는 아래로 이동하도록구성된 제 2스테끼지 를포함하는, 수술동영상 생성 시스템.

【청구항 91

.제 8항에 있어서,

상기 제 1스테이지는 제 1 이동부 및 제 1 고정부를포함하고, 상기 제 2스테이지는 제 2 이동부 및 제 2고정부를포함하며 , 상기 제 1 이동부는 상기 제 1 고정부에 대해 원호를 따라 움직이도곡 구성되고,

상기 제 2 이동부는 상기 제 2 고정부에 대해 원호를 따라 움직이도록 구성된,

수술 동영상 생성 시스템.

【청구항 10】

제 9항에 있어서,

상기 제 1스테이지는 제 1 노브를포함하고,

상기 제 2스테이지는 제 2노브를포함하며,

상기 초점은, 상기 제 1 노브의 회전에 대응하여 오른쪽 또는 왼쪽으로 이동되고, 상기 제 2 노브의 회전에 대응하여 위 또는 아래로 이동하는, 수술 동영상 생성 시스템 .

【청구항 11】

제 10항에 있어서 ,

상기 카메라는 상기 제 1 이동부에 고정되고, 상기 제 1 스테이지는 상기 제 2 이동부에 고정되며,

상기 제 2 노브의 회전에 대응하여, 상기 카메라, 상기 제 1스테이지가 위 또는 아래로 이동하는, 수술동영상 생성 시스템. 2020/138521 1»(:1^1{2018/016633

【청구항 12】

제 11항에 있어서,

상기 제 1 스테이지와 상기 제 2 스테이지 사이에는 수평면과 _ 수직면으로 형성된 고정자를포함하고,

상기 제 1 고정부는상기 수직면에 고정되고 상기 제 2 고정부는 상기 수평면에 고정되는, 수술동영상 생성 시스템.

Description:
【발명 명칭】

수술동영상 생성 시스템

【기술분야】

본 발명은 수술 동영상 생성 시스템에 관한 것으로서 보다 상세하게는 의료 수술 입체 동영상을 생성하는시스템에 관한 것이다.

【발명의 배경이 되는 기술】

일반적으로 의료수술용 현미경은 쉽게 확인할수 없는 인체 내부를 확대하여 보면서 수술할수 있는수술 장비이다. 이러한수술용 현미경에는 수술하는 의사 (이하 ”수술자” 이라함)의 수술 진행과정을모니터를통해서 볼 수 있는 영상시스템이 구비되어 있다. 하지만, 이러한 영상시스템은 2차원 영상을표시하고, 이러한 2차원 영상으로는수술부위를 정확하게 관찰 및 확인하기 어렵고, 수술자는 영상시스템을통해서 수술할수 없는문제점이 있다.

또한, 종래의 촬상장치의 화이트밸런스 (Whi te Balance) 조절 기능은 그조절 범위가제한적이고, 태양광을 기준으로 개발되어 있다. 따라서, 수술용 현미경 광원과 같은강한빛을 이용하여 좁고 깊은 곳을 촬영하는 환경에서는화이트밸런스를조절하여도 인체 조직 또는피의 색감이 빨간색이 아닌 분홍색 등으로표현되는 왜곡이 발생하여 출혈, 병변 등의 의료판단에 문제가발생한다.

또한, 종양을 구분하기 위해, 특수한 형광 물질을 수술 전 환자가 복용케 한 뒤, 수술 중 현미경을보면서 종양을 제거하는수술법이 개발되었다. 이러한 형광물질은환자의 암세포와 반응하여 특유한물질을 생성하고, 생성된 물질은 여기 파장 (exci tat ion wavelength)에서 형광 물질을 방출 (emission)함으로써 정상조직과종양을 구분시킬 수 있다. 그러나 이러한 수술법은 수술 중간에 수술방의 조명을 모두 끈 상태에서 특정 파장의 조명을 환부에 비춰야지만 종양 세포에 흡수된 형광 물질을 육안으로 구분 가능하다. 따라서, 종래 수술용 조명을 켠 상태에서는 수술 도중 수시로 종양을 확인할 수 없다는문제점이 있다.

【발명의 내용】

【해결하고자하는과제】 2020/138521 1»(:1^1{2018/016633

본 발명은상술한문제점을 극복하기 위한 것으로서, 수술 과정을 정확하게 전달할수 있는 입체 동영상을 제공하기 위함이다.

. 또한, 의료 수술용 현미경을 이용한수술동영상에서 왜곡 없는 빨간색을나타낼 수 있는 입체 동영상을 제공하기 위함이다.

또한, 수술방의 조명을끄지 않고도수시로 정상조직과종양을구분할 수 있는 입체 동영상을 제공하기 위함이다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 . 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

【과제의 해결 수단】

실시예는수술동영상 생성 시스템을 제공하고, 이러한수술동영상 생성 시템은, 광원을포함하는수술용 현미경; 상기 현미경을 이용한수술 장면을 이용하여 형광 영상 및 상기 수술장면의 입체 동영상을 생성하도록 구성된 영상처리 장치 ' ; 상기 현미경에 상기 영상처리부가장착되도록구성된 광학어댑터 ; 상기 입체 동영상을표시하도록구성된 표시부를포함하고, 상기 영상처리부는, 상기 형광 영상을 이용하여 종양조직의 경계를 인식하고, 상기 입체 동영상에 상기 경계를표시하도록 구성되며, 상기 형광 영상은상기 종양에만선택적으로축적되는 형광물질로부터 발광하는 빛으로 형성된다. 또한, 실시예에 따른수술동영상 생성 시스템의, 상기 영상처리부는 제 1 파장에 대응하는 빛을통과시키는 필터를포함하고, 상기 발광하는 빛은 상기 제 1 파장의 빛이고, 상기 형광 영상은상기 제 1 파장에 대응하는 제 1 색 및 제 2 색으로 표현되고, 상기 영상 처라부는, 상기 제 1 색에 대응하는 제 1영역을상기 종양조직으로 인식하고상기 제 2색에 대응하는 제 2 영역을 정상조직으로 인식하며 , 상기 제 1 영역과상기 제 2 영역의 경계가표시된 상기 입체 동영상을 생성하도록구성된다.

또한, 실시예에 따른수술 동영상 생성 시스템의, 상기 제 1 파장은 635ä이고, 상기 제 1 색은붉은 형광색이며, 상기 제 2 색은푸른 형광색이다. 또한, 실시예에 따른수술동영상 생성 시스템의, 상기 영상처리 장치는 프리윗( 근 !;!;), 로버츠(묘히 , 컴퍼스((^011^333) , 라플 라시안 (Lapl acian), 가우시안-라플라시안 (LoG: Laplaci an of Gaussi an) 또는 캐니 (Canny) 중 적어도 하나를상기 형광 영상에 적용하여 상기 경계를 표시하도록구성된다.

또한, 실시예에 따른수술동영상 생성 시스템의, 상기 영상처리 장치는

상기 수술 장면의 영상을 제 1 영상 및 제 2 영상으로 나누도록구성된 미러 조립체; 상기 제 1 영상을 이용하여 상기 입체 동영상을 생성하도록 구성된 영상 처리부; 상기 제 2 영상이 상기 필터를통과한다.

또한, 실시예에 따른수술동영상 생성 시스템의, 상기 영상처리부는, 상기 광원의 색온도를 측정하고, 상기 측정된 광원에 대응하는 기준 색차를 이용하여 , 상기 제 1 영상의 붉은 색의 색차를보간하도록 구성된다.

또한, 실시예에 따른수술동영상 생성 시스템의, 상기 광원은,

3000K에서 7000K사이의 색온도를 갖는 광원이다.

또한, 실시예에 따른수술동영상 생성 시스템의, 상기 영상처리 장치는, 상기 수술 장면을 촬영하는카메라; 상기 카메라의 초점이 오른쪽 또는 왼쪽으로 이동하도록구성된 제 1스테이지; 상기 카메라의 초점이 위 또는 아래로 이동하도록 구성된 제 2스테이지를포함한다.

또한, 실시예에 따른수술동영상생성 시스템의, 상기 제 1스테이지는 제 1 이동부 및 제 1고정부를 포함하고, 상기 제 2스테이지는 제 2 이동부 및 제 2고정부를포함하며, 상기 제 1 이동부는상기 제 1고정부에 대해 원호를 따라움직이도록구성되고, 상기 제 2 이동부는상기 제 2고정부에 대해 원호를 따라움직이도록 구성된다.

또한, 실시예에 따른수술 동영상 생성 시스템의, 상기 제 1스테이지는 제 1노브를포함하고, 상기 제 2스테이지는 제 2노브를포함하며, 상기 초점은, 상기 제 1노브의 회전에 대응하여 오른쪽또는 왼쪽으로 이동되고, 상기 제 2 노브의 회전에 대응하여 위 또는 아래로 이동한다.

또한, 실시예에 따른수술 동영상 생성 시스템의, 상기 카메라는상기 제 1 이동부에 고정되고, 상기 제 1스테이지는상기 제 2 이동부에 고정되며, 상기 제 2 노브의 회전에 대응하여, 상기 카메라, 상기 제 1스테이지가위 또는 아래로 이동한다. 2020/138521 1»(:1^1{2018/016633

또한, 실시예에 따른수술 동영상 생성 시스템의, 상기 제 1스테이지와 상기 제 2스테이지 사이에는수평면과수직면으로 형성된 고정자를포함하고, 상기 제 1 고정부는상기 수직면에 고정되고상기 제 2고정부는상기 수평면에 고정된다.

【발명의 효과】

본 발명의 실시예는수술 과정을 정확하게 전달할수 있는 입체 동영상을 제공할수 있는 효과가 있다.

또한, 의료수술용 현미경을 이용한수술동영상에서 왜곡 없는 빨간색을 나타낼 수 있는 입체 동영상을 제공할수 있는 효과가 있다.

또한, 수술방의 조명을 끄지 않고도 수시로 정상조직과 종양을 구분할 수 있는 입체 동영상을 제공할수 있는 효과가 있다.

【도면의 간단한설명】

도 1 은 실시예에 따른 수술 동영상 생성 시스템의 구성을 나타내는 블록도이다.

도 2는실시예에 따른카메라부의 구성이다.

도 3은실시예에 따른수술동영상에서 종양을나타낸 것이다.

도 4 는 도 3 의 종양이 형광 물질과 반응하여 방출되는 형광이 표시되는 형광 영상이다.

도 5는 실시예에 따른수술 동영상에서 도 3 와종양의 경계가표시된 탐지 영상이다.

【발명을실시하기 위한구체적인 내용】

이하, 첨부된 도면을 참조하여 본 . 명세서에 개시된 실시 예를 상세히 설명하되, 동일하거나유사한구성요소에는동일, 유사한도면 부호를 부여하고이에 대해 중복되는설명은 생략하기로 한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의사상 및 기술 범위에 포함되는모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

어떤 구성요소가다른구성요소에 "연결되어” 있다거나 ’’접속되어” 있다고 언급된 때에는, 그 다른구성요소에 직접적으로 연결되어 있거나또는 접속되어 있을수도 있지만, 중간에 다른구성요소가존재할수도 있다고 이해되어야할 것이다. 반면에, 어떤 구성요소가다른구성요소에 "직접 연결되어'’ 있다거나 ’’직접 접속되어’’ 있다고 언급된 때에는, 중간에 다른 구성요소가존재하지 않는 것으로 이해되어야할 것이다.

이하, 도 1을 참조하여 실시예에 따른수술동영상 생성 시스템을 설명한다. 도 1은실시예에 따른수술동영상 생성 시스템의 구성을 나타내는 블록도이다.

도 1을 참조하면, 실시예에 따른수술동영상 생성 시스템 (1)은, 수술용 현미경 (10) , 광학어댑터 (20), 영상처리 장치 (30), 레코더 (40), 및 표시부 (50)를포함하고, 수술부위 및 그 인접 부위까지 입체 동영상 및 종양의 경계가표시된 입체 동영상을 생성하여 표시부 (50)에 표시할수 있다.

본 발명에서의 수술 이전에, 환자는 5-ALA(5-aminolevul ini c acid, 글리올란 (Gl iolan) )이라는 형광물질을복용하면, 5-ALA의 활성 물질인

Protoporphyr in IX가종양세포에만선택적으로축적되어 제 1 파장 (예를들어 , 635nm)의 형광빛을 발광하게 된다. 이러한 형광빛은기준 시간 (예를들어 환자가 5-ALA를 복용후 2.5시간) 경과하면 가장밝다. - 따라서, 기준 시간 이후, 필터부 (33)를통해서 보이는 형광 영상 (Fi )은 종양부위가제 1 파장의 제 1 색 (예를 들어, 635nm의 붉은 형광색)으로 보이고 정상조직은 제 2 색 (예를 들어, 푸른색 형광색)으로보이게 된다. 본 발명에서 수술은 이러한종양을 제거하는수술일 수 있으나실시예가 이에 한정되는 것은 아니다.

수술용 현미경 (10)은 다양한외과수술에서 활용되고 있는

전동식 · 기계식 광학기기로서 광원 (LED, 제온, 할로겐 등)을포함하고, 광원의 빛을 이용하여 수술부위 또는그 인접 부위의 이미지 ( image)를 확대하여 볼 수 있다. 이러한광원의 색온도는 3000K에서 7000K사이일 수 있으나 이에 한정되는 것은 아니다.

광학 어맵터 (20)는수술용 현미경 (10)에 영상처리 장치 (30)가장착될 수 있도록구성된다. 광학어댑터 (20)는수술용 현미경 (10)을통해 입사된 수술 영상 (video, 이하 영상이라함) ( i )을복수의 영상으로 분리하고 복수의 영상중 어느하나가 영상처리 장치 (30)에 입사되게 한다. 2020/138521 1»(:1^1{2018/016633

영상처리 장치 (30)는 미러 조립체 (31) , 카메라부 (32), 필터부 (33) , 제 1 영상처리부 (34), 제 2 영상처리부 (35) , 및 제 3 영상 처리부 (36)를 포함하고, 입체 동영상을 생성하기 위해, 영상 ( 을우안 영상 0 ) 및 좌안 영상 (니)으로 변환하여 출력한다. 또한, 영상처리 장치 (30)는 형광

영상 0 )을 이용하여 환자의 종양을 인식하고 인식된 종양의 경계가표시된 영상을 입체 동영상에 합성한다.

미러 조립체 (31)는 영상 ( 0을복수의 영상으로 나눌 수 있다.

구체적으로, 미러 조립체 (31)는 영상 ( 을측면 및/또는수직 반사하는복수의 반사경 (미도시)을포함한다. 미러 조립체 (31)는 이러한복수의 반사경을 이용하여 영상 ( 을 제 1 영상 01), 제 2 영상 02), 및 제 3 영상 ( 13)으로 분리한다.

카메라부 (32)는 제 1카메라 (32 ), 제 2카메라 (321 , 및 베이스 플레이트 (322 , 도 2 참조)를포함한다. 카메라부 (32)는, 수술용 현미경 (10)을 이용한수술 장면을촬영한다. 카메라부 (32)는 촬영된 영상으로부터, 제 1 영상 ( 11)을 생성하여 제 1 영상처리부 (34)에 전달하고 제 2 영상 02)을 생성하여 제 2 영상처리부 (35)에 전달한다.

제 1카메라 (32比)는 제 1 카메라 (321比), 제 1스테이지 (32123), 제 1 고정자 (3213 , 및 제 2스테이지 (3214^ 를포함한다.

제 1카메라 (321比)는 제 1 영상 ( )을 촬영하여 제 1 영상처리부 (34)에 전달한다.

제 1스테이지 (3212 는 이동부 (3212 ), 고정부 (3212크0 , 및

노브 (10101)) (111 3 )를포함하고, 제 1카메라 (32113)가 이동부 (3212 )에 고정되어 있다. 이동부 (3212 )는 노브 比)의 조절에 따라오른쪽 00 또는 왼쪽 (니으로 원호를 따라움직이고, 이동부 (3212 )의 움직임에 대응하여 제 1 카메라 (321比)가오른쪽 00 또는 왼쪽 (나으로움직인다. 따라서, 노브 (신 를 조작하여 제 1카메라 (32113)의 초점을오른쪽 00 또는 왼쪽 (나으로 이동시킬 수 있다. 、

제 1고정자 (32138)는 '1 "자형상이다. 제 1 고정자 (3213 는 제 2 고정자 (321¾)와수직 대칭이며 , 대칭면 제 2고정자 (3213 와맞닿아 있다. 2020/138521 1»(:1^1{2018/016633

제 2스테이지(3214^는 이동부(3214꽤), 고정부(3214크0 , 및

노브(成3)를포함하고, 이동부(32143111)의 위에 제 1고정자(3213 의 밑면이 고정된다. 이동부(3214 )는 노브(成크)의 조절에 따라 일측상방방향(ᄈ) 또는타즉상방 방향(112)으로 원호를 따라움직인다. 따라서 ,

이동부(3214 )의 움직임에 대응하여 제 1카메라(321 ), 제 1

스테이지(3212 , 및 제 1 고정자(32133)가상하로움직인다. 즉, 노브(112 3 )를 조작하여 제 1카메라(32113)의 초점을 위 또는 아래로 이동시킬 수 있다.

제 2카메라(321 는 제 2카메라(321내), 제 3스테이지(321¾), 제 2 고정자(321¾), 및 제 4스테이지(321的)를포함한다.

제 2카메라(32111))는 제 2 영상( )을 촬영하여 제 2 영상 처리부(35)에 전달한다.

제 3스테이지(321¾)는 이동부(3212細), 고정부(321¾0, 및

노브( 를 포함하고, 제 2 카메라(321내)가 이동부(321¾111)에 고정되어 있다. 이동부(32121)01)는 노브(11比)의 조절에 따라오른쪽 00 또는 왼쪽此)으로 원호를 따라움직이고, 이동부(32121^1)의 움직임에 대응하여 제 2

카메라(321比)가오른쪽(10 또는 왼쪽(니으로움직인다. 따라서, 노브에 를 조작하여 제 2카메라(3211 의 초점을오른쪽犯) 또는 왼쪽(니으로 이동시킬 수 있다.

제 2고정자(321¾)는 "자 형상이다. 제 2고정자(321¾)는 제 1 고정자(3213크)와수직 대칭이며, 대칭면에서 제 1 고정자(3213^와맞닿아 있다.

제 4스테이지(32½ 는 이동부(3214細), 고정부(321的0 , 및

노브( 21))를포함하고, 이동부(32141¾11)의 위에 제 2고정자(32131))의 밑면이 고정된다. 이동부(32141)111)는노브( 의 조절에 따라 일측상방방향(바) 또는타측상방방향(112)으로 원호를 따라움직인다. 따라서,

이동부(32141301)의 움직임에 대응하여 제 1 카메라(321¾), 제 3

스테이지(321¾), 및 제 2고정자(321¾)가상하로움직인다. 즉, 노브(比 를 조작하여 제 2카메라(3211 의 초점을위 또는 아래로 이동시킬 수 있다.

베이스플레이트(322) 위에는 고정부(3214크0와고정부(321的0가 고정된다. 필터부(33)는 밴드 패스 필터 (Band pass filter)를포함하고, 이러한 밴드패스 필터는 입사되는 제 3영상(i3)에서 제 1파장의 빛을통과시킨다. 제 3 영상 (i3)은 필터부 (33)를통과하여 제 1 파장의 빛으로구성된 형광 영상 (Fi)으로 변환되고, 형광 영상 (Fi)은 제 3 영상처리부 (36)로 입력된다. 구체적으로, 환자가 5-ALA를복용하면 5-ALA가도 3에 도시된 종양(c) 세포에만흡수되어 형광물질(Protoporphyrin IX)로 변환되고 이러한 형광 물질은 제 1파장의 형광빛으로 발광한다. 이때, 형광물질은 기준 시간 이후 가장밝게 발광한다.

따라서 , 형광 영상 (Fi)은, 제 1 색의 영역과 제 2 색의 영역으로 구성되고, 도 4에 도시된 바와같이, 빗금으로 표시된 종양 (c)의 영역이 제 1 색으로표현되고종양· (c) 이외의 정상조직의 영역은 제 2 색으로 표현된다. 제 1 영상 처리부 (34)는 이미지 센서 (341), 프로세서 (342) , 및

보간부 (343)를포함하고, 제 1카메라 (321a)가촬영하는피사체 정보를 검지하여 영상신호를 생성하고 생성된 영상신호를보간한다음, 제 3 영상 처리부 (36)의 탐지 영상 (Di )을보간된 영상에 중첩시켜 좌안 영상신호 (U)를 생성한다.

이미지 센서 (341)는 제 i카메라 (321a)가촬영하는 피사체 정보를 검지하여 전기적 신호를 생성하는 CCD, CMOS센서 등일 수 있으며 실시예가 이에 한정되는 것은 아니다.

프로세서 (342)는 이미지 센서 (341) 생성한 전기 신호를 이용하여 영상 신호를 생성한다. 이때, 프로세서 (342)는 휘도 (Y)와 색차 (Cb, Cr)로 구성된 YCbCr 색 공간 (Color Space)을 이용하여 영상 신호를 생성한다. 프로세서 (342)에서 생성되는 영상신호는 이하의 표 1과 같다.

[표 1]

보간부 (343)는, 프로세서 (342)에서 생성한 영상을 이용하여 현미경 (10) 광원의 색온도를측정하고, 화이트 밸런스 ( 1加6:631 06)를조절한다음, 휘도 (幻를 제외한색차 (03, 0)만 이용하여 영상신호 중붉은 계열 색에 대응하는 색차를 미리 설정해 놓은 기준 색차로보간하여 좌안 영상 0幻을 생성한다. 이때, 기준 색차는소정의 광원 색온도에 대응하여, 왜곡 없이 붉은 계열 색이 표현될 수 있는 색차이다.

예를 들어, 이하의 표 2 를 참조하면, 보간부 (343)는, 프로세서 (342)에서 생성한 영상의 화이트 - 밸런스를 조절한 다음, 프로세서 (342)에서 생성한 영상 중 붉은 계열 색에 대응하는 영상의 색차를 색온도 (ᄁ에 대응하는 기준 색차 © 1社)로보간한다.

[표到

따라서, 영상신호의 붉은 계열 색의 색차를 광원의 색온도에 대응하는 기준 색차로 보간하여 현미경 (10) 광원의 휘도에 상관없이 일정한

색차 ( )로서 붉은색을 표현하는좌안 영상 (니)을 생성할수 있다. 제 2 영상처리부 (35)는 이미지 센서 (351), 프로세서 (352), 및

보간부 (353)를포함하고, 제 2카메라 (321b)가촬영하는 피사체 정보를

검지하여 영상신호를 생성하고 생성된 영상신호를 보간한다음, 제 3 영상 처리부 (36)의 탐지 영상 (Di )을보간된 영상에 중첩시켜 우안 영상신호 (Ri )를 생성한다. 이미지 센서 (351), 프로세서 (352), 및 보간부 (353)는 이미지 센서 (341), 프로세서 (342), 및 보간부 (343) 각각과실질적으로동일하므로 상세한설명은 생략한다.

제 3 영상처리부 (36)는 이미지 센서 (361) 및 프로세서 (362)를포함하고, 형광 영상 (Fi )을 이용하여 종양과정상조직 사이의 경계가포함된 탐지 영상 (Di )을 생성한다.

이미지 센서 (361)는, 도 4를 참조하여 설명한바와같이 /빗금으로 도시된 종양 ( 이 제 1 색으로보이고종양 (c) 이외의 정상조직은 제 2 색으로 보이는 형광영상 (Fi )을 검지하여 전기적 신호를 생성하는 CCD, CMOS센서 등일 수 있으며 실시예가 이에 한정되는 것은아니다.

프로세서 (362)는 이미지 센서 (361)에서 생성한 전기 신호를 이용하여, 제 1 색에 대응하는영역을종양 (c)으로 인식하고, 제 2 색에 대응하는 영역을 정상조직으로 인식하여 종양의 경계가포함된 탐지 영상 (Di )을 생성한다.

구체적으로, 도 5를 참조하면, 제 1 색과 제 2 색의 경계를종양 (c)의 경계로서 인식하고 종양 (c)의 경계 (cb)가포함된 탐지 영상 (Di )을 생성한다. 또한, 프로세서 (362)는동영상분석 알고리즘을 동영상에 적용하여 제 1 색에 대응하는 영역을종양 (c)으로 인식하고, 제 2 색에 대응하는 영역을 정상 조직으로 인식하고 탐지 영상 (Di )을 생성할수 있다. 동영상분석 알고리즘은 일례이며, 종양 (c)의 경계 (edge) , 종양 (c) 색상, 종양 ) 표면색 스펙트럼의 변화중 적어도하나를 이용하여 종양 (c)과정상조직을식별하고 종양 (c)과 정상조직의 경계를 인식하여 탐지 영상 (Di )을 생성할수 있다. 또한, 프로세서 (362)는 딥 러닝 (Deep Learning) 기술을동영상에 적용하여 종양 (c)과 정상조직을 인식할수 있으나실시예가 이에 한정되는 것은 아니다. 또한, 프로세서 (362)는소벨 (Sobel ) , 프리윗 (Prewi tt ) , 로버츠 (Roberts) , 컴퍼스 (Compass ) , 라플 라시안 (Lap l ac i an) , 가우시안- 라플라시안 (LoG: Lap 1 ac i an of Gaussi an) 또는 캐니 (Canny) 중 적어도 하나를 이용하여 종양 (c)과정상조직의 경계를 인식하여 탐지 영상 (Di )을 생성할수 있다.

레코더 (40)는좌안 영상 (Li ) 및 우안 영상 (Ri )을 저장한다.

표시부 (50)는복수의 모니터 (51, 52)를 포함하고, 복수의 모니터 (51,

52) 각각은 레코더 (40)의 좌안 영상 (Li ) 및 우안 영상 (Ri )을 이용하여 촬영된 수술 영상을 입체 동영상으로표시한다.

이와같이 복수의 모니터 (51 , 52)를통해서 수술부위 및 그 인접 부위까지 입체 동영상으로볼수 있게 되므로, 수술자는물론보조자까지도 수술용 현미경 (10)을통해서 수술을진행하지 않고모니터 (51, 52)를통해서 수술할수 있다.

또한, 종래에는 Protoporphyr in IX가종양조직에 선택적으로 축적되어 발광하는 형광물질을 확인하기 위해, 수술방의 조명을끄고 필터가장착된 현미경을통해서만 형광화면으로 표시된 종양 확인이 가능했다. 또한, 이러한 형광화면은 형광물질로구성되어 원래 인체 조직 색과는 다른 색이다.

그러나실시예는, 종양의 경계 (cb)가표시된 입체 동영상을복수의 모니터 (51, 52)를통해서 볼수 있으므로, 수술방의 조명을끄지 않고도수술 중수시로 정상조직과종양을복수의 모니터 (51 , 52)를통해서 구분할수 있다. 또한, 종양의 경계 (cb)가표시된 입체 동영상은 형광화면표시 되지 않고 인체 조직 고유의 색으로표시된다.

이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한당업자의 여러 변형 및 개량 형태 또한본 발명의 권리범위에 속하는 것이다. 따라서, 상기의 상세한설명은모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은본 발명의 범위에 포함된다. 2020/138521 1»(:1^1{2018/016633

【부호의 ' 설명】

1: 수술동영상생성 시스템

10: 수술용현미경

20: 광학어댑터

30: 영상처리 장치

40: 레코더

50: 표시부