Login| Sign Up| Help| Contact|

Patent Searching and Data


Title:
SYSTEM AND METHOD FOR RECOGNITION OF MEASUREMENT VALUE OF ANALOG INSTRUMENT PANEL
Document Type and Number:
WIPO Patent Application WO/2019/117472
Kind Code:
A1
Abstract:
A method for recognizing a measurement value displayed on an analog instrument panel by a server in conjunction with a device for photographing the analog instrument panel comprises the steps of: transmitting an image obtained by photographing an analog instrument panel to a user terminal, so as to request setting of a region of interest; determining a region of interest in which image processing of the analog instrument panel is to be performed, on the basis of a pattern input by the user terminal; correspondingly storing the region of interest in the analog instrument panel; and when the analog instrument panel is requested to be recognized, analyzing the region of interest in a full image obtained by photographing the analog instrument panel, and extracting a measurement value included in the region of interest.

Inventors:
JUN IN KI (KR)
PARK MYUNGKYU (KR)
Application Number:
KR2018/013550
Publication Date:
June 20, 2019
Filing Date:
November 08, 2018
Export Citation:
Click for automatic bibliography generation   Help
Assignee:
VP KOREA INC (KR)
International Classes:
G06K9/32; H04N5/225; H04N7/18
Domestic Patent References:
WO2017168473A12017-10-05
Foreign References:
KR100902491B12009-06-10
KR101272448B12013-06-07
KR101190706B12012-10-12
KR101183211B12012-09-14
Attorney, Agent or Firm:
YOU ME PATENT AND LAW FIRM (KR)
Download PDF:
Claims:
2019/117472 1»(:1^1{2018/013550

【청구범위】

【청구항 1]

서버가 아날로그 계기판을 촬영하는 장치와 연동하여 아날로그 계기판에 표시된측정값을인식하는방법으로서,

5 아날로그 계기판을 촬영한 이미지를 사용자 단말에 전송하여 관심영역 설정을요청하는단계,

상기 사용자 단말에서 입력된 패턴을 기초로 상기 아날로그 계기판의 이미지 프로세싱을수행할관심영역을결정하는단계

상기 아날로그계기판에 상기 관심영역을대응하여 저장하는단계 그리고 10 상기 아날로그 계기판에 대한 인식이 요청되면, 상기 아날로그 계기판을 촬영한 전체 이미지 중에서 상기 관심영역을 분석하여 상기 관심영역에 포함된측정값을추출하는단계

를포함하는측정값인식 방법 .

【청구항 2]

15 제 1항에서,

상기 관심영역에 포함된측정값을추출할수없는경우 상기 전체 이미지를 분석하여 관심영역을 재결정하고 상기 전체 이미지 중에서 상기 재결정한 관심영역을 분석하여 상기 재결정한 관심영역에 포함된 측정값을 추출하는 단계

20 를더 포함하는측정값인식 방법 .

【청구항 3]

제 2항에서 ,

상기 전체 이미지를분석하여 관심영역을재결정하는것은

상기 전체 이미지에 포함된 직선 성분을 검출하고, 상기 검출한 직선 성분 25 부근의 이미지 영역에 모폴로지 기법을 적용하여 관심영역을 재결정하는 측정값인식 방법.

【청구항 4]

제 1항에서,

상기 재결정한 관심영역에 포함된 측정값을 추출할 수 없는 경우 패턴을 30 재입력할것을요청하는단계, 그리고 2019/117472 1»(:1^1{2018/013550

재입력된 패턴을 기초로 결정한 관심영역을 상기 아날로그 계기판에 대응하여 저장하는단계

를더 포함하는측정값인식 방법.

【청구항 5]

5 제 1항에서,

상기 관심영역을결정하는단계는

상기 입력된 패턴이 복수의 점들인 경우, 상기 점들을 꼭지점으로 하는 다각형 영역을관심영역으로결정하는측정값인식 방법 .

【청구항 6]

10 제 1항에서,

상기 관심영역을결정하는단계는

상기 입력된 패턴이 직선인 경우, 상기 직선을 포함하는 영역을 관심영역으로결정하는측정값인식 방법.

【청구항 7】

15 제 1항에서,

상기 관심영역을결정하는단계는

상기 입력된 패턴이 일정 범위를 지정하는 경우, 상기 일정 범위를 관심영역으로결정하는측정값인식 방법 .

【청구항 8]

0 서버가 아날로그 계기판을 촬영하는 장치와 연동하여 아날로그 계기판에 표시된측정값을인식하는방법으로서,

아날로그계기판을촬영한최초이미지를촬영 장치로부터 수신하는단계, 상기 최초 이미지의 픽셀값에 기초하여, 상기 아날로그 계기판을 추가 촬영할필요가있는지 결정하는단계,

5 상기 아날로그계기판을추가촬영할필요가없는경우,상기 최초이미지에 이미지프로세싱을수행하여 측정값을.추출하고,

상기 아날로그 계기판을추가촬영할필요가 있는 경우, 상기 최초 이미지 촬영시 이용한 조명과 다른 각도를 가진 조명 또는 상기 최초 이미지 촬영시 이용한 카메라와 다른 각도를 가진 카메라 중 적어도 하나를 0 이용하여 상기 아날로그 계기판을 촬영한 하나 이상의 추가 이미지들을 2019/117472 1»(:1^1{2018/013550

상기 촬영 장치로부터 수신하고, 상기 최초 이미지와상기 추가 이미지들을 조합하여 합성 이미지를 생성하고, 상기 합성 이미지에 이미지 프로세싱을 수행하여 측정값을추출하는단계

를포함하는측정값인식 방법.

5 【청구항 9

8항에서,

상기 아날로그계기판을추가촬영할필요가 있는지 결정하는단계는 상기 최초 이미지의 특정 영역의 픽셀값이 미리 설정된 임계범위 내에 존재하는 경우 상기 아날로그 계기판을 추가 촬영할 필요가 없다고 10 결정하고, 상기 특정 영역의 픽셀값이 상기 임계범위 내에 존재하지 않는 경우 상기 아날로그 계기판을 추가 촬영할 필요가 있다고 결정하는 측정값 인식 방법.

【청구항 10】

제9항에서,

15 상기 최초 이미지를 사용자 단말에 전송하여 관심영역 설정을 요청하는 단계, 그리고

상기 사용자 단말에서 입력된 패턴을 기초로 상기 최초 이미지 중에서 관심영역을결정하는단계를더 포함하고,

상기 특정 영역은상기 결정한관심영역인 측정값 인식 방법.

20 【청구항 11】

제10항에서,

상기 관심영역을 결정하는단계는

상기 입력된 패턴이 복수의 점들인 경우, 상기 점들을 꼭지점으로 하는 다각형 영역을관심영역으로결정하는측정값 인식 방법.

25 【청구항 12】

제 10항에서,

상기 관심영역을결정하는단계는

상기 입력된 패턴이 직선인 경우, 상기 직선을 포함하는 영역을 관심영역으로결정하는측정값 인식 방법.

30 【청구항 13】 2019/117472 1»(:1^1{2018/013550

제10항에서,

상기 관심영역을 결정하는단계는

상기 입력된 패턴이 일정 범위를 지정하는 경우, 상기 일정 범위를 관심영역으로결정하는측정값인식 방법.

5 【청구항 14]

제8항에서,

상기 합성 이미지를 생성하는것은

상기 최초 이미지와 상기 추가 이미지들의 픽셀값의 평균값을 결정하고, 결정한 평균값을 픽셀값으로 갖는 합성 이미지를 생성하는 측정값 인식 10 방법 .

Description:
2019/117472 1 » (:1^1{2018/013550

【명세서】

【발명의 명칭】

아날로그계기판의 측정값인식 시스템 및 방법

【기술분야】

5 본발명은아날로그계기판의 측정값을인식하는기술에 관한것이다.

【배경 기술】

산업 분야에서 사용되는 대부분의 설비 장치들은 압력, 유량, 전력, 전압 또는 전류에 대한 측정값을 아날로그 계기판을 이용하여 출력한다.이러한 출력 방식은 관리자가 설비 장치에 직접 접근하여 측정값을 육안으로 10 확인해야 하는데 대부분의 설비 장치는 관리자 또는 작업자의 접근이 어렵거나 위험한 지역(지하 붕괴 위험 지역 고압 및 유독 가스 발생 지역 등)에 설치되어 있어 작업자가 측정값을 확인하는 데 어려움이 있으며, 측정값이 필요한 때마다 작업자가 직접 방문하여 데이터를 획득해야 하는바 불편함이 있다

15 이와 같은 문제는, 원거리에 존재하는 아날로그 계기판을 촬영하여 해당 계기판의 이미지를 수집하고 수집한 이미지에 이미지 프로세싱을 수행하여 아날로그 계기판이 표시한측정값을 인식함으로써 해결할수 있다.이 경우 이미지 프로세싱을 효과적으로 수행하기 위해 아날로그 계기판 이미지에서 측정값이 존재하는 영역을 관심영역으로 지정하는데, 기존에는 이미지에서 20 픽셀 위치를 지정하여 관심영역을 지정하였다.다만 기존 방식은 픽셀의 위치를 이미지 좌표를 통해 확인해야 하므로 초기 설정시 사용자에게 불편함을 초래할 수 있으며 일정한 픽셀의 위치를 각각 지정해주는 방법은 직관적이지 않고, 터치 스마트폰과 같은 작은 스크린을 가진 기기를 사용하는사용자가 이용하기에 부적합하다는 한계가존재하였다.

25 또한 아날로그 계기판을 촬영하는 경우 조명으로 인한 반사가 발생할 수 있는데 관심영역을지정한 경우에도 반사로 인해 이미지에 발생한노이즈는 제거할수 없다는문제점이 있었다

【발명의 상세한설명】

【기술적 과제】

30 본 발명이 해결하고자 하는 기술적 과체는 작업자가 사용자 단말 2019/117472 1»(:1^1{2018/013550

상에서 관심영역을직관적이고 간단하게 지정하는 방법을제공하는 것이다. 또한, 이미지 내의 두가지 이상의 계기가위치할때 여러 개의 관심 영역을 동시에 지정함으로 한번의 이미지 수집을 통해 여러 개 계기의 인식이 ,가능하도록하는것이다.

또한, 본발명이 해결하고자하는기술적 과제는아날로그 계기판에 대한 다양한 이미지들을 수집하고, 수집한 이미지들을 조합하여 아날로그 계기판에 표시된출력값을정확하게 인식하는방법을제공하는것이다.

【기술적 해결방법】

상기와 같은 기술적 과제는 아날로그 계기판을 촬영한 이미지를 사용자 단말에 전송하여 관심영역 설정을 요청하는 단계, 상기 사용자 단말에서 입력된 패턴을기초로상기 아날로그계기판의 이미지 프로세싱을 수행할관심영역을결정하는단계,상기 아날로그계기판에상기 관심영역을 대응하여 저장하는 단계, 그리고 상기 아날로그 계기판에 대한 인식이 요청되면, 상기 아날로그 계기판을 촬영한 전체 이미지 중에서 상기 관심영역을 분석하여 상기 관심영역에 포함된 측정값을 추출하는 단계에 의해 달성된다.

여기서, 상기 측정값을 인식하는 방법은 상기 관심영역에 포함된 측정값을 추출할 수 없는 경우, 상기 전체 이미지를 분석하여 관심영역을 재결정하고, 상기 전체 이미지 중에서 상기 재결정한 관심영역을 분석하여 상기 재결정한관심영역에 포함된측정값을추출하는단계를더 포함한다. 또한, 상기 전체 이미지를 분석하여 관심영역을 재결정하는 것은 상기 전체 이미지에 포함된 직선 성분을검출하고, 상기 검출한직선 성분 부근의 이미지 영역에 모폴로지 기법을적용하여 관심영역을재결정한다. 또한, 상기 측정값을 인식하는 방법은 상기 재결정한 관심영역에 포함된측정값을추출할수없는경우,패턴을재 입력할것을요청하는단계, 그리고재입력된 패턴을기초로결정한관심영역을상기 아날로그계기판에 대응하여 저장하는단계를더 포함한다.

또한, 상기 관심영역을결정하는단계는상기 입력된 패턴이 복수의 점들인 경우, 상기 점들을 꼭지점으로 하는 다각형 영역을 관심영역으로 결정한다. 2019/117472 1 » (:1^1{2018/013550

또한 상기 관심영역을 결정하는 단계는 상기 입력된 패턴이 직선인 경우, 상기 직선을 포함하는 영역을 관심영역으로 결정한다.

또한, 상기 관심영역을 결정하는 단계는 상기 입력된 패턴이 일정 범위를지정하는 경우 상기 일정 범위를 관심영역으로 결정한다.

5 또한 상기와 같은 기술적 과제는 아날로그 계기판을 촬영한 최초 이미지를 촬영 장치로부터 수신하는 단계 상기 최초 이미지의 픽셀값에 기초하여 상기 아날로그 계기판을 추가 촬영할 필요가 있는지 결정하는 단계 상기 아날로그 계기판을 추가 촬영할 필요가 없는 경우, 상기 최초 이미지에 이미지 프로세싱을 수행하여 측정값을 추출하고 상기 아날로그 10 계기판을 추가 촬영할 필요가 있는 경우, 상기 최초 이미지 촬영시 이용한 조명과 다른 각도를 가진 조명 또는 상기 최초 이미지 촬영시 이용한 카메라와 다른 각도를 가진 카메라 중 적어도 하나를 이용하여 상기 아날로그 계기판을 촬영한 하나 이상의 추가 이미지들을 상기 촬영 장치로부터 수신하고 상기 최초 이미지와 상기 추가 이미지들을 조합하여 15 합성 이미지를 생성하고, 상기 합성 이미지에 이미지 프로세싱을 수행하여 측정값을추출하는 단계에 의해 달성된다.

이 경우 상기 아날로그 계기판을 추가 촬영할 필요가 있는지 결정하는 단계는 상기 최초 이미지의 특정 영역의 픽셀값이 미리 설정된 임계범위 내에 존재하는 경우 상기 아날로그 계기판을 추가 촬영할 필요가 20 없다고 결정하고 상기 특정 영역의 픽셀값이 상기 임계범위 내에 존재하지 않는 경우상기 아날로그 계기판을추가촬영할 필요가 있다고 결정한다. 또한 상기 측정값을 인식하는 방법은 상기 최초 이미지를 사용자 단말에 전송하여 관심영역 설정을 요청하는 단계 그리고 상기 사용자 단말에서 입력된 패턴을 기초로 상기 최초 이미지 중에서 관심영역을 25 결정하는 단계를 더 포함하고 상기 특정 영역은상기 결정한 관심영역이다.

또한 상기 관심영역을 결정하는 단계는 상기 입력된 패턴이 복수의 점들인 경우 상기 점들을 꼭지점으로 하는 다각형 영역을 관심영역으로 결정한다.

또한 상기 관심영역을 결정하는 단계는 상기 입력된 패턴이 직선인 30 경우 상기 직선을 포함하는 영역을 관심영역으로 결정한다. 2019/117472 1 » (:1^1{2018/013550

또한, 상기 관심영역을 결정하는 단계는 상기 입력된 패턴이 일정 범위를지정하는경우 상기 일정 범위를관심영역으로결정한다.

또한, 상기 합성 이미지를 생성하는 것은 상기 최초 이미지와 상기 추가 이미지들의 픽셀값의 평균값을 결정하고, 결정한 평균값을 픽셀값으로 5 갖는합성 이미지를 생성한다.

【발명의 효과】

본 발명에 따르면, 간단한 조작을 통해 아날로그 계기판의 측정값을 인식하기 위한 관심영역을 결정할 수 있는바, 직접 좌표를 입력하는 기존의 방식에 비해 사용자편의성을높일 수 있다

10 또한, 본 발명에 따르면, 필요한 경우 다수의 조명이나 카메라를 사용하여 아날로그 계기판에 대한 다수의 이미지들을 획득하고 획득한 이미지들 중에서 조명 과다나 그림자의 영향에서 벗어난 이미지들을 조합하여 사용하는바, 아날로그 계기판의 측정값 인식 결과의 정확도를높일 수 있다 【도면의 간단한설명】

15 1 은 한 실시예에 따른 측정값 인식 시스템이 구현되는 환경 및 측정값 인식 시스템을설명하는도면이다.

2 는 한 실시예에 따른 촬영 장치가 아날로그 계기판의 이미지를 촬영하는 예시적인 방법을설명한도면이다.

3 은 측정값 인식 시스템이 아날로그 계기판의 측정값을 인식하는 방법을 20 설명하는도면이다.

4 는 서버가 패턴에 기초하여 관심영역을 결정하는 구체적인 방법을 설명하는도면이다

5 는서버가측정값을추출하는방법을설명하 는도면이다

6 은 사용자 단말이 사용자로부터 패턴을 입력받고, 관심영역을 표시하는 25 과정을설명하는도면이다

7 은 측정값 인식 시스템이 기 결정한 관심영역을 이용하여 아날로그 계기판의 측정값을 인식하는방법을설명하는도면이다.

8 은 측정값 인식 시스템이 관심영역을 재결정하여 아날로그 계기판의 측정값을 인식하는방법을설명하는도면이다.

30 9 는관심영역을재결정하는구체적인 방법을설명하는도면이다. 2019/117472 1 » (:1^1{2018/013550

10 은 측정값 인식 시스템이 아날로그 계기판의 측정값을 인식하는 다른 방법을 설명하는도면이다.

11 은 촬영 장치를 설명하는 도면이다.

12 는 카메라들 및 조명들을 이용하여 촬영한 아날로그 계기판의 5 이미지들을 도시한도면이다.

13 은 측정값 인식 시스템이 아날로그 계기판의 측정값을 인식하는 다른 방법을설명하는도면이다.

14 는 복수의 아날로그 계기판 이미지들을 조합하여 합성 이미지를 생성하는 방법을 도시한도면이다

10 15 는 단일 아날로그 계기판 이미지에서 복수의 관심 영역을 지정하는 방법을도시한도면이다

【발명의 실시를 위한 형태】

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 15 있도록 상세히 설명한다.그러나본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한부분에 대해서는 유사한도면 부호를 붙였다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 ’’포함 한다고 할 때, 이는 20 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할수 있는 것을 의미한다

1 은 한 실시예에 따른 측정값 인식 시스템이 구현되는 환경 및 측정값 인식 시스템을 설명하는 도면이고, 도 2 는 한 실시예에 따른 촬영 장치가 아날로그 계기판의 이미지를 촬영하는 예시적인 방법을 설명한 25 도면이다.

1 을 참고하면, 측정값 인식 시스템이 구현되는 환경은 계측 장비 100) 및 측정값 인식 시스템 200) 을포함한다

계측 장비 100) 는 압력, 유량 전력 전압 또는 전류 등을 측정하고 계측 장비 100) 에 구축된 아날로그 계기판에 측정값을출력한다.

30 측정값 인식 시스템 200) 은 계측 장비 100) 에 구축된 아날로그 2019/117472 1»(:1^1{2018/013550

계기판을 촬영하여 아날로그 계기판 이미지를 생성하고, 생성한 이미지 중 사용자에 의해 설정된 관심영역 부분을 분석하여 아날로그 계기판의 계측 바늘또는게이지가가리키는값 (즉, 측정값)을인식한다.

구체적으로, 측정값 인식 시스템 (200)은 촬영 장치 (210), 서버 (220) 및 사용자 단말 (230)을 포함하며, 촬영 장치 (210), 서버 (220) 및 사용자 단말 (230)은네트워크를통해통신한다.

촬영 장치 (210)는계측장비 (100)주변에 설치되어 계측장비 (100)에 구비된아날로그계기판을촬영한다. 예를들면, 도 2를참고하면, 제 1촬영 장치 (211), 제 2 촬영 장치 (212) 및 제 3 촬영 장치 (213)는 각각 제 1 계측 장비 (110), 제 2 계측 장비 (120) 및 제 3 계측 장비 (130)에 각각 인접하여 설치되어 아날로그 계기판을 근거리 촬영할 수 있으며, 이 경우 아날로그 계기판의 형태는어느한형태로제한되지 않는다. 또한, 촬영 장치 (210)가 아날로그계기판을촬영하여 수집하는 이미지는사진 형태에 한정되지 않고, 아날로그계기판을대상으로하는영상도포함할 수있다.

촬영 장치 (210)는 촬영한 아날로그 계기판 이미지를 서버 (220)로 전송하고, 서버 (220)는수신한이미지를사용자단말 (230)로전송한다.

사용자단말 (230)은수신한이미지를사용자에게 표시하고, 사용자는 사용자단말 (230)에 관심영역을설정하기 위한패턴을입력한다.

사용자 단말 (230)은 스마트폰, 노트북 등과 같이 이미지를 시각적으로표시할수 있는디스플레이부및 사용자로부터 패턴을 입력받을 수 있는 인터페이스부를구비한디바이스를지칭하며, 사용자로부터 패턴을 입력받는방법은어느한형태로제한되지 않는다.

사용자 단말 (230)은 사용자로부터 꽤턴을 입력받은 경우, 패턴 정보를서버 (220)로전송한다. .

서버 (220)는 패턴 정보에 기초하여 아날로그 계기판의 이미지 프로세싱을수행할관심영역을결정한다.서버 (220)가사용자단말 (230)에서 입력된 패턴을 기초로 관심영역을 결정하는 구체적인 방법은 이후 자세히 설명한다.

서버 (220)는 아날로그 계기판에 결정한 관심영역을 대응하여 저장하며, 이후동일한촬영 장치에 의해 촬영된 아날로그계기판이미지에 2019/117472 1 » (:1^1{2018/013550

대해서는동일한관심영역을적용하여 이미지 프로세싱을수행할수 있다. 主한, 서버( 220) 는 아날로그 계기판을 촬영한 이미지 중에서 관심영역을분석하여 관심영역에 포함된 측정값을추출한다.

만일 관심영역에 포함된 측정값을추출할수 없는 경우 서버( 220) 는 5 관심영역을 재결정하고 이미지 중에서 재결정한 관심영역을 분석하여 재결정한 관심영역에 포함된 측정값을 추출한다. 서버( 220) 가 관심영역을 재결정하는방법은 이후자세히 설명한다.

만일 재결정한 관심영역에 포함된 측정값을 추출할 수 없는 경우, 서버( 220) 는 사용자 단말( 230) 을 통해 사용자에게 패턴을 재입력할 것을

10 요청한다.

3 은 측정값 인식 시스템이 아날로그 계기판의 측정값을 인식하는 방법을 설명하는 도면이고, 도 4 는 서버가 패턴에 기초하여 관심영역을 결정하는 구체적인 방법을 설명하는 도면이고, 도 5 는 서버가 측정값을 추출하는 방법을설명하는도면이다

15 3 을 참고하면 사용자 단말( 230) 은 서버( 220) 로 제 1 측정값 인식 요청을전송한다( 00) .

서버( 220) 는 사용자 단말( 230) 로부타 수신한 측정값 인식 요청을 분석하여 이미지 촬영을 요청할 촬영 장치를 결정하고比 101) , 결정한 촬영 장치에 촬영 요청을 전송한다( 03).

20 3 의 실시예에서, 서버( 220) 는 사용자 단말( 230) 이 제 1 측정값 인식을 요청하였는바, 제 1 측정값 인식을 위한 이미지를 수집하기 위해 제 1 촬영 장치( 211) 로 촬영을 요청할 것을 결정할 수 있다. 이를 위해, 서버( 220) 는 측정값 별로 이미지를 수집할 촬영 장치를 매핑하여 저장할 수 있다.

25 1 촬영 장치( 211) 는 아날로그 계기판을 촬영하고(와 05), 아날로그 계기판을촬영한 이미지를서버( 220) 로 전송한다比 107).

서버( 220) 는 아날로그 계기판을 촬영한 이미지를사용자단말( 230) 에 전송하고관심영역 설정을요청한다(와 09).

사용자 단말( 230) 은 이미지를 표시하고(와 11), 사용자로부터

30 관심영역을설정하기 위한패턴을 입력받고( 13), 패턴 정보를서버( 220) 로 2019/117472 1 » (:1^1{2018/013550

전송한다比 115).

서버 220) 는 사용자 단말 230) 에서 입력된 패턴을 기초로 아날로그 계기판의 이미지 프로세싱을수행할관심영역을결정한다와 17).

4 를 참고하면, 일 실시예에서 만일 입력된 패턴이 복수의 점들인 5 경우 서버 220) 는 해당 점들을 꼭지점으로 하는 다각형 영역을 관심영역으로결정할수 있다.

예를들면 입력된 패턴이 두번의 터치 입력인 경우,서버 220) 는도 4 와 같이 처음의 터치 입력에 의해 수신된 점을 왼쪽 위 꼭지점으로 하고 다른터치 입력에 의해 수신된 점을오른쪽아래 꼭지점으로포함하는 10 사각형 영역을관심영역으로결정할수 있다.

다른 실시예에서 만일 입력된 패턴이 직선인 경우 서버 220) 는 직선을포함하는 영역을관심영역으로결정할수 있다

예를 들면 입력된 패턴이 하나의 직선인 경우, 서버 220) 는 도 4 와 같이 해당 직선을 대각선으로 하는 사각형 영역을 관심영역으로 15 결정할 수 있다 만일 입력된 패턴이 서로 다른 2 개의 직선인 경우 서버 220) 는 도 4 ;와 같이 해당 직선들을 두 대각선으로 하는 사각형 영역을관심영역으로결정할수 있다.

이 때 동일한 패턴이 수신된 경우에도 아날로그 계기판의 형태에 따라 다른 형태의 관심영역이 결정될 수 있다 예를 들면, 입력된 패턴이 20 하나의 직선인 경우에도 서버 220) 는 도 4 가 아닌, 도 4 와 같이 해당 직선을 지름으로 하는 원 영역을 관심영역으로 결정할 수 있다.이를 위해, 서버 220) 는사용자 단말 230) 을 통해 사용자로부터 아날로그 계기판 형태 정보를 수신하고 수신한 형태 정보를추가적으로 고려하여 관심영역의 형태를 결정하거나, 특정 패턴에 대해 가능한 형태의 관심영역들을 모두 25 표시하고 사용자로 하여금 어느 한 관심영역을 선택할 것을 요청할 수도 있다

다른 실시예에서, 만일 입력된 패턴이 일정 범위를 지정하는 경우, 서버 220) 는 일정 범위를관심영역으로결정할수 있다.

예를 들면, 입력된 패턴이 일정 범위를 지정하는 경우, 서버 220) 30 4 와같이 일정 범위를관심영역으로 결정할수 있다. 2019/117472 1 » (:1^1{2018/013550

반대로, 상기 실시예들을 통해 비관심영역을 결정하고 이미지에서 비관심영역 이외의 영역을 관심영역으로 결정할 수도 있다. 이를 위해, 서버 220) 는 사용자 단말 230) 을 통해 지정된 영역이 관심영역을 설정하기 위한 것인지 비관심영역을 설정하기 위한 것인지 사용자에게 선택할 것을 5 요청할수 있다.

본 발명에 따르면, 사용자단말 230) 상에서 사용자가수행한간단한 조작을 통해 아날로그 계기판의 측정값을 인식하기 위한 관심영역을 결정할 수 있는바, 직접 좌표를 입력하는 기존의 방식에 비해 사용자편의성을높일 수 있다 또한도 16 과 같이 동시에 여러 개의 관심영역을 지정하는 방법을 10 통해 동시에 여러 개의 인식을수행할수도 있게 된다

관심영역을 결정하면 서버 220) 는 관심영역 정보를 사용자 단말 230) 로전송한다와 19).

사용자단말 230) 은관심영역을사용자단말 230) 에 표시된 아날로그 계기판 이미지 상에 표시하고 21) , 사용자로부터 확인을 입력받으면와 23) 15 서버 220) 로 이미지 프로세싱 요청을 전송한다와 25).

요청을 수신하면, 서버 220) 는 아날로그 계기판을 촬영한 전체 이미지 중에서 관심영역을 분석하여 관심영역에 포함된 측정값을 추출한다와 27).

구체적으로 도 5 를 참고하면, 서버 220) 는 도 5 와 같이 아날로그 20 계기판을 촬영한 전체 이미지 중에서 관심영역에 대응하는 영역을 추출할 수 있고, 추출한 영역을 대상으로 이진화 과정 및 모폴로지 연산 기법과 같은 영상처리 작업을 수행하여 해당 영역에 포함된 측정값을 인식할 수 있다.영상처리 작업을 수행하여 이미지에서 특정 정보를 인식하는 방법은 이미 공지된 기술로본명세서에서는자세한설명을 생략한다.

25 한편 서버 220) 는 추출한 측정값을 사용자에게 제공할 수 있다.이 때, 서버 220) 가측정값을제공하는방법은 어느한형태에 한정되지 않는다. 예를 들면, 서버 220) 는 인식된 측정값을 사용자 단말 230) 로 직접 전송할 수도 있고, 사용자단말 230) 이 아닌사용자에 의해 설정된 다른디바이스로 인식한측정값을전송할수도 있다.

30 서버 220) 는 아날로그 계기판에 관심영역을 대응하여 2019/117472 1»(:1^1{2018/013550

저장한다 (와29) .

도 6은 사용자 단말이 사용자로부터 패턴을 입력받고, 관심영역을 표시하는과정을설명하는도면이다.

예를 들면, 도 6을 참고하면, 사용자 단말 (230)은 서버 (220)로부터 수신한 이미지를 디스플레이에 표시한다. 사용자가 디스플레이 상에 터치 입력을통해 패턴을 입력하면, 사용자단말 (230)은사용자가입력한패턴을 이미지 상에 표시하고, 서버 (220)가 결정한 관심영역을 이미지 상에 재표시할수있다.

이 때, 표시된 관심염역의 위치 및/또는크기를조절할필요가있는 경우, 사용자는 사용자 단말 (230)에 표시된 관심영역의 위치를 조절하기 위해 관심영역을 드래그하여 원하는 위치로 이동시키거나 관심영역의 모서리 및/또는꼭지점을드래그하여 크기를조절할수있다.

도 7은 측정값 인식 시스템이 기 결정한 관심영역을 이용하여 아날로그계기판의 측정값을인식하는방법을설명하는도면이다.

도 7을 참고하면, 서버 (220)는 아날로그 계기판에 관심영역을 대응하여 저장하고 ( 29), 측정값 인식 개시를 결정한다比200) . 이 때, 서버 (220)의 측정값 인식 개시 결정은 도 3과 같이 사용자 단말 (230)에 의한 요청에 의할 수도 있고, 서버 (220)에서 타이머에 의해 미리 설정된 시간마다결정될수도있으며 어느한형태로제한되지 않는다.

서버 (220)는 이미지 촬영을 요청할 촬영 장치를 결정하고 201), 결정한 촬영 장치에 촬영 요청을 전송한다 ½203) . 촬영 장치의 결정은 도 3에서 설명한 바와 같이, 측정값 별로 이미지를 수집할 촬영 장치를 매핑하여 저장한데이터베이스를통해결정할수있다.

촬영 요청을수산하면, 제 1촬영 장치 (211)는제 1아날로그계기판을 재촬영하고比205) , 아날로그 계기판을 재촬영한 이미지를 서버 (220)로 전송한다 207) .

재촬영한 이미지를 수신하면, 서버 (220)는 단계 와29에서 구축된 데이터베이스에 기초하여 재촬영한 이미지에 대응하는 관심영역을 결정하고 209) , 재촬영한 이미지 중에서 결정한 관심영역을 분석하여 관심영역에 포함된측정값을추출한다 211) . 2019/117472 1 » (:1^1{2018/013550

한편, 아날로그 계기판을 초기에 촬영한 시점과 이후 재촬영한 시점 사이에 제 1 촬영 장치( 211) 의 위치가 변경된 경우 동일한 관심영역을 적용하였을 때 관심영역 내에 측정값이 존재하지 않아 측정값이 추출되지 않는 경우가 발생할 수 있다. 이 경우, 관심영역을 재결정하여야 하는데,

5 이에 대한내용은도 8 및 도 9 를통해 설명한다.

8 은 측정값 인식 시스템이 관심영역을 재결정하여 아날로그 계기판의 측정값을 인식하는 방법을 설명하는 도면이고, 도 9 는 관심영역을 재결정하는구체적인 방법을설명하는도면이다.

8 을 참고하면, 단계 3211 에서 측정값을 추출할수 없다고 결정한 10 경우 300) , 이미지를분석하여 관심영역을재결정한다.

구체적으로, 서버( 220) 는 이미지에 포함된 직선 성분을 검출하고 301) , 검출한 직선 성분 부근의 이미지 영역에 모폴로지 기법을 적용하여 관심영역을 재결정한다比 303).

예를 들면 도 9 를 참고하면, 서버( 220) 는 이미지에서 캐니

검출한 경계선에 허프 변환을 적용하여 이미지에 포함된 직선 성분을 검출할 수 있다. 측정값을 포함하는 영역은 검출된 직선 성분 부근에 존재하는바, 서버( 220) 는 이미지를 이진화를 통해 변환하고, 변환된 이미지에서 검출한 직선 성분 부근의 영역에 모폴로지 기법을 적용하여 20 관심영역을 재결정할수 있다.

관심영역이 재결정된 경우, 서버( 220) 는 이미지 중에서 재결정한 관심영역을 분석하여 재결정한 관심영역에 포함된 측정값을 추출한다比 305). 만일 8305 단계에서도 측정값이 인식되지 않은 경우 서버( 220) 는 사용자 단말( 220) 을 통해 사용자에게 패턴을 재입력할 것을 요청할 수 있고, 이 25 경우, 서버( 220) 는 재입력된 패턴을 기초로 결정한 관심영역을 아날로그 계기판에 대응하여 저장할수 있다

10 은측정값 인식 시스템이 아날로그 계기판의 측정값을 인식하는 다른방법을설명하는도면이다.

10 을 참고하면, 측정값 인식 시스템( 200) 은 촬영 장치( 210) 30 통해 아날로그 계기판을 촬영하고比 400), 아날로그 계기판에 대한 이미지를 2019/117472 1 » (:1^1{2018/013550

사용자단말( 230) 에 표시한다( 3410).

측정값 인식 시스템( 200) 은 사용자 단말( 230) 에 표시된 아날로그 계기판에 대한 이미지에 대해 사용자가 입력한 패턴 정보를 수신한다 420).

5 측정값 인식 시스템( 200) 은 수신한 패턴 정보에 기초하여 저 11 관심영역을 결정한다½ 430). 측정값 인식 사스템( 200) 이 패턴 정보에 기초하여 관심영역을 결정하는 구체적인 방법은 도 4 를 통해 설명한바, 본 도면에서는자세한내용은생략한다.

측정값 인식 시스템( 200) 은 아날로그 계기판에 대한 이미지에 포함된 10 직선 성분을 검출하고 검출한 직선 성분 부근의 이미지 영역에 모폴로지 기법을 적용하여 제 2 관심영역을 결정한다 440). 측정값 인식 시스템( 200) 이 이미지에서 직선 성분을 검출하고 직선 성분 부근의 영역에 이미지 프로세싱을 수행하여 관심영역을 결정하는 구체적인 방법은 도 9 를 통해 설명한바, 본도면에서는자세한내용은 생략한다.

15 측정값 인식 시스템( 200) 은 제 1 관심영역과제 2 관심영역을 이용하여 최종관심영역을결정한다 450).

구체적으로, 측정값 인식 시스템 (200) 은 제 1 관심영역과 제 2 관심영역의 유사도를 결정하고, 결정한유사도가미리 설정된 임계값 이상인 경우 사용자에 의해 직접 지정된 제 1 관심영역을 최종 관심영역으로 20 결정한다.만일 결정한 유사도가 미리 설정된 임계값 미만인 경우, 측정값 인식 시스템( 200) 은 사용자에게 패턴 정보를 재요청하고 새로 수신한 패턴 정보에 기초하여 제 1 관심영역을재결정할수 있다.

측정값 인식 시스템( 200) 은 아날로그 계기판에 대한 이미지에서 최종 관심영역에 대응하는 영역을 결정하고, 해당 영역에 이미지 프로세싱을 25 수행하여 측정값을추출한다 460).

11 은 촬영 장치를 설명하는 도면이고, 도 12 는 카메라들 및 조명들을 이용하여 촬영한아날로그 계기판의 이미지들을도시한도면이다. 이하 도면들에서는, 제 1 계측 장비( 110) 및 제 1 촬영 장치 211) 에 한하여 설명하고, 도 1 내지 도 10 과동일한내용은설명을생략한다.

30 도 11을 참고하면, 제 1 촬영 장치 (211)는 서로 다른 각도를 가진 2019/117472 1»(:1^1{2018/013550

복수의 카메라들 및 조명들을 구비하고, 복수의 카메라들 중 어느 하나와 복수의 조명들 중 적어도 하나를 이용하여 아날로그 계기판에 대한 최초 이미지를수집한다.

구체적으로, 조명을 이용하여 카메라를 통해 아날로그 계기판을 촬영하는 경우, 피사체에 비추인 조명 반사의 발생이 영상 인식에 부정적 영향을 준다. 특히, 반사로 인해 측정값을 나타내는 숫자 등에 직접 빛이 비춰질 경우, 사진에 나타난숫자의 모양의 변형 등으로 인해 해당숫자를 인식하는 데 있어 오작동이 발생할 가능성이 급격히 높아진다. 또한, 근거리에서는피사체의 한점에 비추어지는집광의 정도가심해져 그경우가 더 삼할수있고, 계기판의 경우금속등의 빛 반사가나타나는표면을가진 재질인경우가많아반사가잘나타나는문제가있 다.

이와 같은문제를 해결하기 위해, 제 1 촬영 장치 (211)는 서로 다른 각도를가진 카메라들 및 조명들을 이용하여 아날로그 계기판을 촬영할수 있도록구현될수있다.

일실시예에서,도 11을참고하면,제 1촬영 장치 (211)는도 11 ( 3) 에 도시된 바와 같이 단일 카메라 및 상하좌우 4방향에 위치한 조명들로 구현될수있으며, 이 경우조명들을독립적으로온/오프함으로써 서로다른 조명을이용하여 아날로그계기판을촬영할수있다.

다른 실시예에서, 제 1 촬영 장치 (211)는 도 11 )에 도시된 바와 같이 단일 조명 및 정면, 상하좌우 방향에 위치한 카메라들로 구현될 수 있으며, 이 경우 각각의 카메라를 이용하여 아날로그 계기판을 서로 다른 각도에서 촬영할수 있다. 또한, 도 11 ( 에 도시된 바와같이, 제 1촬영 장치 (211)는 복수의 카메라들과 조명들을 동사에 구비할 수 있음은 물론이며, 상기 도면들에 도시된 어느 한 형태로 한정되지 않는다. 도 12 )는 도 11 )의 제 1 촬영 장치 (211)가 각각의 조명들을 이용하여 아날로그계기판을촬영한경우수집을 이미지들을도시한도면이고, 도 12 (비는 도 11 ( 의 제 1 촬영 장치 (211)가 정면, 좌측 및 우측에 위치한 카메라들을 이용하여 아날로그 계기판을 각각 촬영한 경우 수집된 이미지들을도시한도면이다.

이후, 제 1촬영 장치 (211)는수집한이미지를서버 (220)로전송하고, 2019/117472 1»(:1^1{2018/013550

서버 (220)는 수신한 최초 이미지의 픽셀값에 기초하여 아날로그 계기판에 대한추가이미지의 수집 필요여부를결정하고,추가이미지가수집된경 최초 이미지와 추가 이미지를 조합한 합성 이미지를 생성하고, 합성 이미지에 포함된 측정값을 인식한다. 서버 (220)가 상기 과정을 통해 측정값을인식하는방법은도 14를통해자세히 설명한다.

도 13은측정값인식 시스템이 아날로그계기판의 측정값을인식하는 다른 방법을 설명하는 도면이고, 도 14는 복수의 아날로그 계기판 이미지들을조합하여 합성 이미지를생성하는방법을도시한도면이다. 도 13을참고하면, 서버 (220)는측정값인식 개시를결정한다比500) . 이 때, 서버 (220)의 측정값 인식 개시 결정은 도 3과 같이 사용자 단말에 의한 요청에 의할 수도 있고, 서버 (220)에서 타이머에 의해 미리 설정된 시간마다결정될수도있으며 어느한형태로제한되지 않는다.

서버 (220)는제 1촬영 장치 (211)에 촬영 요청을전송하고 (況 01) , 제 1 촬영 장치 (211)는 복수의 카메라들 중 어느 하나와 복수의 조명들 중 적어도하나를이용하여 아날로그계기판을촬영한다 (況 03) .

이 경우,서버 (220)는촬영 요청을전송할때,미리 결정된카메라및 조명을 사용하여 아날로그 계기판을 촬영할 것을 요청하기 위해 해당 카메라 및 조명에 각각대응하는카메라정보 및 조명 정보를함께 전송할 수 있고, 제 1 촬영 장치 (211)는 카메라 정보 및 조명 정보에 각각 매핑된 카메라및조명을사용하여 아날로그계기판을촬영할수 있다. 이를위해, 제 1촬영 장치 (211)및서버 (220)는복수의 카메라들및조명들별로카메라 정보및조명 정보를각각매핑하여 저장할수있다.

또한, 사용자는최초로아날로그계기판을촬영하는데 사용할카메라 및조명을미리 결정할수있다.

제 1 촬영 장치 (211)는 아날로그 계기판을 촬영한 최초 이미지를 서버 (220)로전송한다 (況 05) .

제 1촬영 장치 (211)로부터 최초이미지를수신하면,서버 (220)는최초 이미지의 픽셀값을 분석하고比507), 최초 이미지의 픽셀값에 기초하여 아날로그계기판을추가촬영할필요가있는지 결정한다 (況 09) .

구체적으로, 서버 (220)는 최초 이미지 내 존재하는 영역별 픽셀값을 2019/117472 1 » (:1^1{2018/013550

결정하여 최초 이미지의 픽셀값 분포를 결정한다.이를 위해 서버 (220) 는 최초 이미지를 일정 크기로 분할하여 복수의 영역으로 나누고, 나뉜 영역마다상기 과정을수행할수 있다.

조명에 의해 반사가 일어난 영역의 경우 픽셀값이 높게 나타나며 5 반사가 일어나지 않았더라도 측정값을 인식하기 어려울 정도로 어두운 영역의 경우픽셀값이 낮게 나타난다.

따라서, 서버 220) 는 특정 영역의 픽셀값이 미리 결정된 임계범위 내에 존재하는자 여부를 결정한다.이를 위해, 서버 220) 는 각 범위 내에 존재하는 픽셀들의 평균값을 결정하고, 결정한 평균값이 임계범위 내에 10 존재하는지 여부를결정할수 있다

서버 220) 는 최초 이미지의 특정 영역의 픽셀값이 미리 설정된 임계범위 내에 존재하는 경우 아날로그 계기판을 추가 촬영할 필요가 없다고 결정하고, 특정 영역의 픽셀값이 임계범위 내에 존재하지 않은 경우에는 최초 이미지 촬영시 이용한 조명과 다른 각도를 가진 조명 또는 15 상기 최초 이미지 촬영시 이용한 카메라와 다른 각도를 가진 카메라 중 적어도 하나를 이용하여 아날로그 계기판을 추가 촬영할 필요가 있다고 결정할수 있다

예를 들면, 특정 영역의 픽셀값이 임계범위 아래에 존재하는 경우, 해당 범위는 측정값을 인식하기 어려울 정도로 어두운 경우이므로 해당 20 범위를 비추는 조명을 사용하여 아날로그 계기판을 추가 촬영할 필요가 있다고 결정할 수 있다.또한, 예를 들면, 특정 영역의 픽셀값이 임계범위 위에 존재하는 경우, 해당 범위는 측정값을 인식하기 어려울 정도로 밝은 경우이므로 해당 범위의 반대쪽을 비추는 조명을 사용하여 아날로그 계기판을추가촬영할필요가 있다고결정할수 있다.

25 이 경우 특정 영역은최초 이미지에서 측정값이 포함된 영역인 것이 향후정확한측정값 인식을위해 바람직하다.따라서,서버 220) 는도 1 내지 도 10 에서 설명한 바와 같이 최초 이미지를 사용자 단말 230) 에 전송하여 관심영역 설정을 요청하고 사용자 단말 230) 에서 입력된 패턴을 기초로 최초 이미지 중에서 관심영역을 결정한 이후 결정한 관심영역의 픽셀값이 30 미리 설정된 임계범위 내에 존재하는지 여부에 따라 추가 이미지를 수집할 2019/117472 1 » (:1^1{2018/013550

필요가 있는지를 결정할 수 있다.이 경우 특정 영역은 최초 이미지에서 관심영역에 대응하는 영역으로 정의된다.

상기 실시예들에서, 서버 220) 는 제 1 촬영 장치 211) 로부터 추가 이미지를 수신한 경우, 최초 이끼지와 추가 이미지를 조합하여 합성 5 이미지를 생성하고, 합성 이미지의 특정 영역의 픽셀값이 임계범위 내에 존재할때까지 추가이미지를수집할수 있다.

서버 220) 는 아날로그 계기판을 추가 촬영할 필요가 있다고 결정한 경우제 1 촬영 장치 211) 로 이미지의 추가촬영을요청하고況 11) , 제 1 촬영 장치 211) 는 아날로그 계기판을 추가 촬영하고況 13) , 아날로그 계기판을 10 촬영한추가 이미지를서버 220) 로 전송한다況 15).

서버 220) 는 최초 이미지와 추가 이미지를 조합하여 합성 이미지를 생성한다比 517).

예를 들면 도 14 를 참고하면, 서버 220) 는 수집한 최초 및 주가 이미지들이 상하좌우 방향에 있는 조명들을 이용하여 촬영한 이미지들인 15 경우, 해당 이미지들의 평균 픽셀값을 이용하여 합성 이미지를 생성할 수 있다 또한, 서버 220) 는수집한최초 및 추가 이미지들이 상하방향에 있는 조명들을 이용하여 촬영한 이미지들인 경우, 해당 이미지들의 평균픽셀값을 이용하여 합성 이미지를생성할수 있다 또한, 서버 220) 는수집한최초 및 추가 이미지들이 좌우 방향에 있는 조명들을 이용하여 촬영한 이미지들인 20 경우, 해당 이미지들의 평균 픽셀값을 이용하여 합성 이미지를 생성할 수 있다.또한, 서버 220) 는수집한 최초 및 추가 이미지들이 상하좌우 방향에 있는 조명들을 이용하여 촬영한 이미지들인 경우, 해당 이미지들의 최소 픽셀값을 이용하여 합성 이미지를 생성할수 있다.

이후 서버 220) 는 합성 이미지에 이미지 프로세싱을 수행하여 25 측정값을추출한다½ 519).

서버 220) 는 만일 추가 이미지의 수집이 필요하지 않은 경우比 521) , 최초 이미지에 이미지 프로세싱을 수행하여 측정값을 인식한다½ 519). 이 경우, 서버( 220) 는추출한측정값을사용자에게 제공할수 있다.

15 는 단일 아날로그 계기판 이미지에서 복수의 관심 영역을 30 지정하는방법을도시한도면이다. 2019/117472 1»(:1^1{2018/013550

도 15를참고하면, 이상에서 설명한방법을 이용하여 단일 아날로그 계기판이미지에서 복수의 관심 영역을지정할수있다.

구체적으로, 도 15 ( 3) 를 참고하면, 아날로그 계기판 이미지가 아날로그 형식으로 시간을 표시하는 1번 시계 및 디지털 형식으로 시간을 표시하는 2번 시계를 포함하는 경우, 사용자는 이상에서 설명한 방법을 이용하여 단일 아날로그계기판이미지에서 1번 시계 및 2번시계를동시에 관심 영역으로 지정할 수 있다. 또한, 도 15 ( 를 참고하면, 아날로그 계기판이미지가 0 1의 사용량정보를 2이상의 서로다른형태로표현하는 경우, 사용자는 이상에서 설명한 방법을 이용하여 2 이상의 서로 다른 형태를각각동시에 관심영역으로지정할수있다..

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는본 발명의 기본개념을 이용한당업자의 여러 변형 및 개량 형태또한본발명의 권리범위에 속하는것이다.