2020/175969 1»（：1/10公020/002928 명세서

발명의 명칭:감정 인식장치 및감정 인식방법 기술분야

[1] 본발명은사용자와대면하고있는상대방의감정 을인식하는장치및방법에 관한것이다.

배경기술

[2] 저시력자를포함하여인간관계에서감정적소통 능력을갖지못한사람이 증가하고있다.선천적장애,후천적질병이나노� ��또는소통교육의부재에 의해감정적소통능력을갖지못한사람이많다.� �는본인과가족,친지, 동료에게고통을유발한다.

[3] 감정을읽지못하는문제로인해인간관계고립이 유발될수있다.선천적, 후천적문제로인해상대방의감정을읽거나이해 하고집중하는데어려움을 겪고있는사람이증가하고있다.노인들과우울� �을앓고있는사람들이 증가하고있는추세이다.이들은상대방의감정� �표정에서읽지못하는문제를 가짐으로인해인간관계에서고립되고있다.

[4] 시력장애를보조하는고가의디바이스에는소통 능력을지원하는기술이 포함되어 있지않다.고가제품은 300 500만원에이른다.실제보급률은 5%도채 되지않는다.

[5] 국내/외에서얼굴인식,표정인식,동작인식기술 을다양한분야에접목하여 사용하려는시도가늘어나고있으며 ,관련시장도확대되고있다.

[6] 구체적으로,얼굴인식및표정인식기술과관련� �예 T기업및대학연구소를 중심으로생체인식기술에대한연구가 2000년대초반부터시작되었다.선도 연구기관으로서는카네기멜론대학의연구팀 ,미국의 MIT Media Lab, 유럽지역의 INRIA,일본의 ATR연구소등이있다.기업으로서는미국의

Visionics, Viisage, Miros등이시장을선도하고있다.이들은현재얼굴 인식 기술의핵심기술인얼굴검출기술,조명인식기� �,포즈인식기술,표정인식 기술뿐만아니라,노화인식기술,대용량 DB구축기술, 3차원얼굴형상복원 기술등에초점을맞춰활발한연구를진행중에있 다.

발명의상세한설명

기술적과제

[7] 본발명은사용자와대면하는사용자의감정을정 확하게인식할수있는인식 장치및인식방법을제공하기위한것이다.

과제해결수단

[8] 본발명의인식장치는사용자와대면하는상대방 을촬영하는촬영부;상기 촬영부에서촬영된상대방이미지의분석을통해 상기상대방의외형감정을 인식하는감정인식부;음성또는진동으로상기� �형감정을표시하는 2020/175969 1»（：1^1{2020/002928 표시부;를포함할수있다.

[9] 상기감정 인식부는상대방이미지의분석을통해상기상대 방의표정과

제스쳐중적어도하나를인식할수있다.

[1이 상기감정 인식부는상기표정또는상기제스쳐를이용해서 상기 외형감정을 인식할수있다.

[11] 본발명의 인식방법은주변을촬영하는단계;촬영 이미지를저장하는단계; 촬영 이미지를분석하고,사용자와대화하는상대방� �추출하는단계 ;상기 상대방이추출되면,상기상대방의 외형감정을인식하고보정하는단계;보정된 외형감정을표시하는단계;를포함할수있다.

[12] 상기외형감정을인식하고보정하는단계는,

[13] 상기촬영 이미지에투영된상기상대방의표정또는제스쳐 를이용해서상기 외형감정을인식하고,기저장된상기촬영 이미지의분석을통해주변사물을 인식하거나문자를인식하며,상기사물의 인식 결과에해당하는사물정보또는 상기문자의 인식 결과에해당하는내용정보를이용해서상기 외형감정을 보정할수있다.

발명의효과

[14] 본발명의 인식장치 및인식 방법은카메라로촬영된상대방을분석하고,

상대방의 외형감정을인식할수있다.

[15] 표정 ,제스쳐등의 외형감정은주변환경에 따라다른강도또는다른종류의 실제감정을나타낼수있다.

[16] 본발명의 인식장치 및인식 방법은상대방의 외형감정을인식하고,사물또는 문자등의주변환경을이용해서 기인식된상대방의 외형감정을보정할수 있다.본발명에의해보정된외형감정은주변환� �까지고려한

복합감정인식기술기반의정확한감정 인식상대방의외형감정을보정할수 있다.

[17] 본발명에 따르면,상대방의감정이주변환경까지고려해� �분석되고인식될 수있다.주변환경까지고려한복합감정인식기� �의 제시를통해본발명은 상대방의감정을정확하게 인식할수있다.

[18] 복합감정인식기술을통해 인식된상대방의감정은사용자에게제공될수있 다. 저시력을갖는사용자는상대방의감정을정확하 게 인식할수있으므로, 상대방과정상적으로의사소통을진행할수있다 .

[19] 본발명의실시예에따르면,저시력을가진사용� �의소통력이

복합감정인식기술을이용하여 개선될수있다.

[2이 본발명은소통력 향상을위한복합감정인식기술기반의 저시력자용

디바이스에 관한것이다.본발명은저시력자들이 읽거나구별하기 어려운글자, 사물,사람들의표정을읽도록하여시력을보조� �수있다.또한,본발명은 저시력자에 해당하는사용자가주변상황을이해하고,위험� �인지하며 , 2020/175969 1»（：1^1{2020/002928 쇼핑같은일상생활을하도록가이드할수있다.� �발명은사용자가상대방과 정상적으로감정을소통할수있도록가이드할수 있다.

도면의간단한설명

[21] 도 1은본발명의 인식장치를나타낸개략도이다.

[22] 도 2는촬영부에서촬영된이미지를나타낸개략도� �다.

[23] 도 3은본발명의 인식방법을나타낸흐름도이다.

[24] 도 4는본발명의실시예에따른,컴퓨팅장치를나타� ��는도면이다.

발명의실시를위한형태

[25] 아래에서는첨부한도면을참고로하여본발명의 실시예에 대하여본발명이 속하는기술분야에서통상의지식을가진자가용 이하게실시할수있도록 상세히 설명한다.그러나본발명은여러 가지상이한형태로구현될수있으며 여기에서 설명하는실시예에 한정되지 않는다.그리고도면에서본발명을 명확하게설명하기위해서 설명과관계없는부분은생략하였으며,명세서 전체를통하여유사한부분에 대해서는유사한도면부호를붙였다.

[26] 본명세서에서,동일한구성요소에 대해서중복된설명은생략한다.

[27] 또한본명세서에서,어떤구성요소가다른구성� �소에’연결되어’있다거나 ’접속되어’있다고언급된때에는,그다른구� �요소에직접적으로연결되어 있거나또는접속되어 있을수도있지만,중간에다른구성요소가존재� �수도 있다고이해되어야할것이다.반면에본명세서� �서,어떤구성요소가다른 구성요소에’직접 연결되어’있다거나’직접 접속되어’있다고언급된때에는, 중간에다른구성요소가존재하지 않는것으로이해되어야할것이다.

[28] 또한,본명세서에서사용되는용어는단지특정� �실시예를설명하기 위해 사용되는것으로써，본발명을한정하려는의도 로사용되는것이 아니다.

[29] 또한본명세서에서 ,단수의표현은문맥상명백하게다르게뜻하지 않는한, 복수의표현을포함할수있다.

[3이 또한본명세서에서 ,’포함하다’또는’가지다’등의용어는명� �서에 기재된 특징 ,숫자,단계 ,동작,구성요소,부품,또는이들을조합한것이� �재함을 지정하려는것일뿐,하나또는그이상의다른특� �,숫자,단계,동작,구성요소, 부품또는이들을조합한것의존재또는부가가능 성을미리 배제하지 않는 것으로이해되어야할것이다.

[31] 또한본명세서에서,’및/또는’이라는용어는� ��수의 기재된항목들의조합 또는복수의기재된항목들중의 어느항목을포함한다.본명세서에서 , ^또는

있다. 2020/175969 1»（：1^1{2020/002928

[34] 감정 인식 기술이란인간의감정을측정하여 이를분석함으로써 제품개발이나 환경 설계에 적용하여 인간의삶의 질적 향상을도모하는기술이다.이는개인의 경험을통해 얻어지는외부물리적자극에 대한쾌적함,불쾌함,안락함,불편함 등의복합적인감정을과학적으로측정 및분석하여 이를공학적으로적용시켜 제품이나환경을변경시키는기술분야에속한다 .

[35] 이러한감정 인식기술은인간의특성을파악하려는생체측정 기술,인간의 오감센서 및감정처리 기술,감정디자인기술,마이크로가공기술,및사 용성 평가나가상현실기술등의분야로나눌수있다.� �정 인식 기술은인간의 생체적 및심리적 적합성을고려한전자제품및소프트웨어 인터페이스개발에 이용되고있다.

[36] 또한,감정 인식 기술은사용자의감정을정확히 인식하여 이에 관련된

서비스를제공하는데이용되고있다.예를들어� �정 인식 기술은오락분야, 교육분야,및의료분야등에 있어서사용자의감정을이용하여사용자에게감 정 기반서비스를제공할수있고,서비스이용시에� �용자의즉각적인반응을 확인하여그반응에 따른피드백을제공함으로써서비스의 질적 향상을도모할 수있다.

[37] 이러한감정 인식기술에서 ,사용자의 생체반응을측정하는방법으로는

자율신경겨 | (ANS, Autonomic Nervous System)즉정방법 ,중주신경겨 | (CNS, Central Nervous System)즉정을위한뇌파즉정방법 ,또는얼굴영상 (Behavior Response) 촬영방법등이 있다.또한,생체반응측정의 정확도를높이기 위하여,하나의 생체반응만을이용하여사용자의감정을추출하 는것보다,다수의 생체반응을 통합하여분석하는멀티모달 (Multi-modal)감정 인식기술이 있다.즉,초기의 감정 인식기술은자율신경계측정,중추신경계측정,� ��굴영상측정을통한 단편적인접근방법을이용하였으나,이후복수� � 생체반응을통합하여 분석하는멀티모달시스템으로발전하고있다.

[38] 그러나,위와같은종래의감정 인식기술은생체반응에 대한측정값자체의 정확도를높이는것에불과하고,개개인의감정� �식 및주변환경에관한차이를 반영하지못하는문제가있다.즉,감정인식기술� ��서는통계학적으로모든 사람들에게공통으로적용이 가능한표준화된감정인식룰-베이스 (Rule Base)를 설정하고,이러한표준화된룰-베이스를모든개� ��인에게 적용시켜왔다.

[39] 그러나,사람의 생체반응과그에따른감정은일률적으로나타나 지 않고

개개인마다다르게나타난다.따라서모든사용� �에 대하여표준화된

룰-베이스에 따라생체반응과그에 따른감정을결정할경우,개개인의 감정인식의차이를정확하게판별하지못하게되 는문제가있다.

[4이 사용자가대면하는상대방의감정을정확하게파 악하기 위해본발명의 인식 장치 및인식 방법이 이용될수있다.

[41]

[42] *도 1은본발명의 인식장치를나타낸개략도이다.도 2는촬영부 (1 W)에서 2020/175969 1»（：1^1{2020/002928 촬영된이미지를나타낸개략도이다.

[43] 도 1에도시된인식장치는촬영부 (110),감정 인식부 (130),표시부 (150)를

포함할수있다.

[44] 촬영부 (110)는사용자와대변하는상대방을촬영할수있� ��.일 예로,

촬영부 ( 0)는상대방의 얼굴,팔,다리,몸등을촬영할수있다.

[45] 촬영부 (110)에서 촬영된상대방의 얼굴은상대방의표정 를분석 ,인식하는데 사용될수있다.촬영부 ( 0)에서촬영된상대방의팔,다리,몸은상대방의 제스쳐 를분석,인식하는데사용될수있다.촬영부 ( 0)는영상이미지를 생성하는각종방식의카메라를포함할수있다.

[46] 감정 인식부 (130)는촬영부 ( 0)에서 촬영된상대방이미지의분석을통해 상대방의 외형감정을인식할수있다.

[47] 상대방이미지는촬영부 (110)에서 촬영된이미지중상대방이포함된영상을 지칭할수있다.감정 인식부 (130)는상대방이미지에포함된상대방을추출할� �� 있다.감정 인식부 (130)는추출된상대방의 정보에각종표정 인식 기술,각종 제스쳐 인식기술을상대방이미지에 적용하고,상대방의표정 와제스쳐 )중 적어도하나를파악또는인식할수있다.

[48] 감정 인식부 (130)는파악된상대방의표정 또는제스쳐 에감정 인식

알고리즘을적용하고,상대방의감정을인식할� �있다.감정 인식 알고리즘은 딥러닝 기반으로생성될수있다.표정 또는제스쳐 )등의상대방의외형을 이용해서상대방의외적감정표현에 해당하는외형감정이 인식될수있다.

[49] 외형감정은저시력사용자가인식하기 어려운부분일수있다.감정

인식부 (130)에의해 인식된외형감정은표시부 (150)에 의해사용자에게제공될 수있다.

[5이 표시부 (150)는음성또는진동으로상대방의 외형감정을표시할수있다. 사용자는표시부 (150)를소지하거나착용하는것을통해 ,표시부 (150)의 음성 또는진동을감지할수있다.촬영부 (110)및감정 인식부 (130)도사용자가 소지하거나착용가능하게 형성될수있다.

[51] 일예로,표시부 (150)는상대방의감정을’상대방은기쁨상태입� ��다’와같은 음성을표시하는스피커등의음성출력수단을포 함할수있다.일예로, 표시부 (150)는사용자와약속된진동신호를생성하는진� ��수단을포함할수 있다.진동수단은설정루틴에맞춘진동을통해� �대방의감정이 기쁨상태인 것을표시할수있다.

[52] 사용자는상대방의 음성을자체적으로획득한상태에서 ,표시부 (150)를통해 외형감정을제공받을수있다.사용자는외형감� �의감지를통해상대방의 감정을정확하게파악할수있다.또한,사용자는� ��신이듣고있는상대방의 음성에표시부 (150)에서 제공한외형감정을매칭시키면서감정 학습을수행할 수있다.이를통해,사용자는상대방이 어떤감정일때 어떤음성으로대화를 하는지 학습할수있다. 2020/175969 1»（：1^1{2020/002928

[53] 한편,표정또는제스쳐를통해표시되는상대방� � 외형감정은주변환경에 따라달라질수있다.예를들어,정숙이요구되는� ��서관에서상대방이특성 감정을표현하는표정/제스쳐는주변이소란스� �운마켓에서표현하는그것과 다를수있다.이런이유로인해사용자의외형감� �만으로상대방의감정을 정확하게 인식하기곤란할수있다.

[54] 실제의상대방감정을최대한추종하는외형감정 이도출되도록,외형감정을 보정하는다양한수단이마련될수있다.

[55] 일예로,본발명의 인식장치에는상대방의목소리를수집하는수집 부 (120)가 마련될수있다.

[56] 감정 인식부 (130)는딥러닝등의목소리감정 인식모델,또는목소리의특성 분석 알고리즘등을이용해서목소리를분석하고,상� �방의소리감정을인식할 수있다.소리감정은목소리를통해 인식하거나감지할수있는감정을포함할 수있다.

[57] 감정 인식부 (130)는인식된소리감정을이용해서외형감정을� ��정할수있다. 표시부 (150)는보정된외형감정을표시할수있다.표시부 (150)는소리감정을 이용해서보정된외형감정을표시할수있다.

[58] 외형감정의보정은동일한종류의감정에 대한강도의수정을의미할수있다.

[59] 감정의강도를표시하기위해 ,표시부 (150)에는동일한종류의외형감정에 대해서감정의강약을구분해서복수의표시정보 가마련될수있다.예를들어, 기쁨의감정이라하더라도,조금기쁨,보통기쁨, 매우기쁨등으로강도가 포함되는것이유리하다.감정 인식부 (130)는상대방이미지의분석을통해외형 감정의종류를인식할수있다.감정 인식부 (130)는목소리의세기에 따라 기인식된외형감정의종류에 대한강약을판별할수있다.표시부 (150)는외형 감정의종류와강약의판별결과를함께나타내는 특정표시 정보를표시할수 있다.상대방은대화도중감정이격앙될수록목� �리의세기가세질수있다.

[6이 감정 인식부 (130)는상대방이미지를이용해기쁨,화남,슬픔� �과같은

상대방의감정종류를판별하고,판별된감정종� �에 대한강도를목소리의 세기를이용해서판별할수있다.

[61] 한편,수집부 (120)등의다른수단을통해 획득한소스를이용해서파악된

상대방의감정과외형감정이충돌할수있다.이� �,다른소스에기반하여 인식된감정에따라외형감정의종류를변경하는 것이외형감정의보정에 해당될수있다.

[62] 감정 인식부 (130)는외형감정과소리감정이서로다르고,소리 감정의 강도가 설정값을만족하면,상대방이미지의분석을통� � 인식한외형감정을수정할수 있다.예를들어,외형감정은’기쁨’으로인식� ��반면,소리감정은’슬픔’으로 인식될수있다.이 경우,소리감정의 강도,예를들어목소리의세기,데시벨, 또는음량이설정값이상이면,감정 인식부 (130)는’기쁨’의 외형감정을’슬픔’ 상태로수정할수있다.표시부 (150)는감정 인식부 (130)에 의해수정된외형 2020/175969 1 ^» （：1^1{2020/002928 감정을표시할수있다.

[63] 감정 인식부 (130)는외형감정과소리감정이동일하거나,소리 감정의강도가 설정값을만족하지못하면,기파악된외형감정� �그대로표시부 (150)에제공할 수있다.예를들어,소리감정의강도가설정값미� ��이면,감정 인식부 (130)는 소리감정을무시하고기인식된외형감정’기쁨 ’을그대로표시부 (150)에제공할 수있다.

[64] 저시력의사용자를가이드하기위해사물인식부 (170)가마련될수있다.

[65] 촬영부 (110)는주변사물을촬영할수있다.사물인식부 (170)는

촬영부 ( 0)에서촬영된주변사물을인식할수있다.표시부 (150)는사물의 인식 결과에 해당하는사물정보를음성또는진동으로표시할 수있다.사용자는 시각적으로주변사물을인지하지못하더라도,� �발명의 인식장치의도움을 받아청각또는촉각적으로주변사물을인지할수 있다.

[66] 한편,상대방의감정을정확하게파악하기 위해,인식장치는주변사물을

이용할수있다.

[67] 일예로,감정 인식부 (130)는사물중에서상대방을제외한인물 1를파악할수 있다.감정 인식부 (130)는사물에해당되는인물 1의수를분석하고,인물 1의 수가설정 개수를만족하면외형감정의강도를높게보정할 수있다.

[68] 상대방은주변에다른사람들이존재할때,외적� �정표현을자제할수있다. 예를들어,매우기쁜상황이더라도,상대방은주� ��사람들을고려해서차분하게 기쁨을표현할수있다.이와같은환경을반영하� � 위해,감정 인식부 (130)는 상대방을제외한주변인물 I의숫자를파악할수있다.파악된인물수가설정 개수를만족하면,현재파악된외형감정의 강도를높게보정할수있다.상대방 표정의분석을통해상대방의감정이’보통기쁨 ’인것으로인식될수있다.이때, 주변에다른인물 17}설정 개수에해당되는 2명이존재하는경우,감정

인식부 (130)는감정의 강도를설정 단계만큼높게보정할수있다.해당보정에 의해상대방의외형감정은’매우기쁨’으로보 정되고,표시부 (150)를통해 표시될수있다.

[69] 한편,주변인물 의수가설정 개수를만족하더라도,해당인물 의 이동여부에 따라상대방의감정표현이달라질수있다.

이 주변인물 17}상대방을기준으로이동하는상태라면,현재� �대방은행인들이 존재하는길거리등에 위치한것으로파악될수있다.이경우,행인은상� ��방의 감정표현에별다른반응을보이지 않을가능성이높다.해당사실을인지하고 있는상대방은일반적인상황과유사하게자신의 감정표현을솔직하게표현할 수있다.

1] 주변인물 171-상대방의주변에정지해 있다면,주변인물 I는상대방의감정 표현에 반응할수있다.예를들어,횡단보도에서 여러사람이 기다리는경우, 다른인물 I는상대방의격한감정표현에 반응할수있다.또는,상대방주변에 정지한다른인물 1는상대방의지인일수있다.이경우에상대방의� ��인은 2020/175969 1»（：1/10公020/002928 상대방의감정표현에 반응할수있다.해당사실을인지하고있는상대� �은 일반적인상황과비교해서자신의감정표현을차 분하게표현할수있다.이때, 외부로표현된상대방의감정은본래의감정보다 강도가약해진상태일수있다. 따라서,상대방의실제감정은외부로표현된감� �표현보다강할수있다.

는

촬영부 (:나0)에서촬영된주변사물중에서상대방을제� �한인물떠 이동여부를 분석할수있다.

[73] 감정 인식부 (130)는주변인물 1가이동하는것으로판별되면,외형감정을

그대로표시부 (150)에 제공할수있다.

감정 인식부 (130)는주변인물 I가정지한것으로판별되면,외형감정의강도를 높게보정할수있다.감정 인식부 (130)는원래의 외형감정 대신강도가높게 보정된외형감정을표시부 (150)에 제공할수있다.

[75] 본발명의 인식장치에는촬영부 ( 0)에서 촬영된문자를인식하는문자

인식부 (180)가마련될수있다.감정 인식부 (130)는촬영부 ( 0)에서촬영된 이미지에포함된문자 III의내용을분석할수있다.감정 인식부 (130)는문자 III이 의미하는내용의분석 결과에따라외형감정을보정할수있다.표시부 (150)는 내용의분석결과에 따라보정된외형감정을표시할수있다.

있다.이 경우,상대방은

주변에다른인물이존재하는여부에상관없이자 신의 현재감정을차분하게 표현할수있다.이때,상대방의실제감정은외부� ��표현된감정보다높은 강도를가질수있다.본발명의 인식장치는문자의분석을통해상대방이 표현한감정의강도보다높은강도로외형감정을 보정할수있다.

[77] 감정 인식부 (130)는이미지에포함된각종문자를분석하고,상 대방이 처한 스 환경을파악할수있다.상대방이처한환경은상� �방이 현재위치에 해당하는

21

880 ₇₈ 1 시설정보,상대방의감정에 영향을미치는책 ,편지 ,문자메시지 ,메뉴판,제품 라벨,스크린등에 대한텍스트등의 내용정보를포함할수있다.

상대방이바라보는스마트폰의문자메시지의내 용분석결과, XXX회사에 합격하셨습니다’가파악될수있다.이때,감정 인식부 (130)는상대방의 외형 정보가현재’조금기쁨’이더라도강도를높게 보정해서,’매우기쁨’으로외형 정보를수정할수있다.표시부 (150)는상대방의외형감정을’매우기쁨’으로 표시할수있다.사용자는상대방의실제감정을� �확하게파악하고상대방을 상대할수있다.

[79] 인식장치에는사물인식부 (170),문자인식부 (180),선택부 (190)가마련될수 있다.

앞에서설명된바와같이,사물인식부 (170)는촬영부 (110)에서촬영된주변 사물을인식할수있다.

[8 문자인식부 (180)는촬영부 ( 0)에서 촬영된문자 111을인식할수있다.

선택부 (190)는외형정보,사물의 인식결과,문자의 인식결과중에서 2020/175969 1»（：1^1{2020/002928 표시부 (150)를통해표시될대상을사용자의선택에 따라선정할수있다.

선택부 (190)에따르면,사용자는주변사물의 인식용도로사물인식부 (170)를 사용할수있다.또는사용자는주변문자의 인식용도로문자인식부 (180)를 사용할수있다.표시부 (150)는선택부 (190)에 의해선정된대상을표시할수 있다.

[83] 선택부 (190)에 의해외형 정보가선정되면,감정 인식부 (130)는외형감정을 인식할수있다.

[84] 선택부 (190)에 의해외형 정보가선정되면,사물인식부 (170)및문자

인식부 (180)중적어도하나는감정 인식부 (130)와함께동작하면서사물또는 문자를인식할수있다.

[85] 감정 인식부 (130)는사물인식부 (170)로부터사물의 인식결과에 해당하는

사물정보가입수되면,사물정보를이용해서 외형감정을수정할수있다.

[86] 감정 인식부 (130)는문자인식부 (180)로부터문자의 인식결과에 해당하는

문자의 내용정보가입수되면,내용정보를이용해서외� �감정을수정할수 있다.

[87] 한편,상대방을상대하고있는상태에서 ,사용자는외형감정의보정을위해 촬영부 ( 0)로다른곳을촬영하기 어려울수있다.왜냐하면,상대방이자신을 무시하는처사로오해할수있기 때문이다.

[88] 상대방에 대면할때,사용자가상대방에게만집중하는자� �를보일수있도록, 상대방의 외형감정을사전에 획득하는수단으로저장부 (140)가마련될수있다.

[89] 저장부 (140)에는촬영부 ( 0)에서촬영된촬영 이미지가설정시간동안저장될 수있다.

[9이 현재시점에서감정 인식부 (130)에상대방이미지가제공되면,사물

인식부 (170)또는문자인식부 (180)에는현재시점 이전에설정시간동안저장된 촬영 이미지가제공될수있다.

[91] 사물인식부 (170)는촬영 이미지에포함된주변사물을인식할수있다.

[92] 문자인식부 (180)는촬영 이미지에포함된문자를인식할수있다.

[93] 감정 인식부 (130)는사물인식부 (170)로부터사물인식결과에 해당하는사물 정보를제공받거나,문자인식부 (180)로부터문자인식결과에 해당하는내용 정보를제공받을수있다.

[94] 감정 인식부 (130)는사물정보또는내용정보를이용해서기인� ��된외형

감정을수정할수있다.표시부 (150)는감정 인식부 (130)에 의해수정된외형 감정을표시할수있다.

[95] 본실시예에 따르면,사용자가상대방을대면하게되면,상대� ��의 대면시점 이전에 촬영하고저장부 (140)에 저장해둔촬영 이미지에 대한분석이수행될수 있다.해당분석을통해주변사물또는문자가인� �되고,감정 인식부 (130)는 해당주변사물또는문자를이용해서 대면하고있는상대방의 외형감정을 수정할수있다. 2020/175969 1»（：1^1{2020/002928

[96] 본발명의인식장치는안경또는거치형디바이스 형태로제작되어

사용자에게착용될수있다.또는,본발명의인식� ��치는이동형디바이스 형태로제작되어사용자를따라다니거나사용자 에게착용될수있다.이때,안경 등에마련된촬영부 ( 0)는사용자의전방을촬영하도록형성될수있다. 본 실시예에따르면,상대방과대면하기시작한사� �자가상대방을지속적으로 바라보는상태에서도,기저장된주변환경을이� �해서상대방의외형감정이 정확하게보정될수있다.그결과,상대방의실제� ��정을추종하는외형감정이 사용자에게제공될수있다.상대방의실제감정� �정확하게파악한사용자는 상대방의감정에올바르게대응할수있다.

[97] 도 3은본발명의인식방법을나타낸흐름도이다.

[98] 도 3의인식방법은도 1의인식장치에의해수행될수있다.

[99] 촬영부 ( 0)는사용자가희망하는주변을촬영할수있다 510).

[10이 저장부 (140)는촬영이미지를저장할수있다 520).

[101] 감정인식부 (130)는촬영이미지를분석하고,사용자와대화하 는상대방을 추출할수있다 530).

[102] 감정인식부 (130)는상기촬영이미지로부터상대방이추출되� ��,상대방의 외형감정을인식하고보정할수있다 540).

[103] 표시부 (150)는감정인식부 (130)에의해보정된외형감정을표시할수있다 550).

[104] 외형감정을인식하고보정하는단계 540)는다음과같이세분화될수있다.

[105] 선택부 (190)는사용자의선택에따라,감정인식,사물인� �,문자인식중어느 하나를선정할수있다 541).

[106] 사물인식이선정되면 541),사물인식부 (170)는촬영부 (110)에서촬영된 주변사물을인식할수있다 543).이때,주변사물의인식은실시간으로 수행될수있다.표시부 (150)는사물인식부 (170)에서인식된주변사물의정보를 음성또는진동으로표시할수있다.

[107] 문자인식이선정되면 541),문자인식부 (180)는촬영부 (110)에서촬영된 문자를인식할수있다 544).이때,문자의인식은실시간으로수행될수있 다. 표시부 (150)는문자인식부 (180)에서인식된문자의내용정보를음성또는 진동으로표시할수있다.

[108] 감정인식이선정되면 541),감정인식부 (130)는촬영이미지에투영된

상대방의표정｛또는제스쳐 를이용해서외형감정을인식할수있다 542).

[109] 감정인식부 (130)는저장부 (140)에기저장된촬영이미지의분석을통해주변 사물을인식하거나문자를인식할수있다.감정� �식시수행되는사물의인식 또는문자의인식은실시간으로수행될수도있다 .여기에추가로감정인식시 수행되는사물또는문자의인식은저장부 (140)에기저장된촬영이미지를 대상으로하는점에서특징이있다.

[11이 감정인식부 (130)는사물의인식결과에해당하는사물정보또� ��문자의인식 2020/175969 1»（：1^1{2020/002928 결과에해당하는내용정보를이용해서외형감정 을보정할수있다.

[111] 감정인식부 (130)는사물정보또는내용정보의분석을통해조� ��한환경을 요구하는정숙도를판별하고,정숙도에비례하� �외형감정의강도를보정할수 있다.

[112] 촬영이미지에포함된문자를통해파악된해당위 치의정숙도가판별될수 있다.

[113] 일예로,촬영이미지에포함된주변인물의개수� �정숙도가설정될수있다. 주변인물의개수가 1명이면정숙도 1,주변인물의개수가 2명이면정숙도 2 등과같이설정될수있다.현재상대방의감정이� �쁨 2단계인경우,정숙도가 1이면,감정인식부 (130)는현재감정의강도를 1단계높인기쁨 3단계로외형 정보를보정할수있다.현재상대방의감정이기� � 2단계이고,정숙도가 2이면, 감정인식부 (130)는현재감정의강도를 2단계높인기쁨 4단계로외형정보를 보정할수있다.

[114] 촬영이미지에포함된문자를통해파악된현재위 치가도서관이면정숙도 5가 부여될수있다.현재위치가마켓이면정숙도 1이부여될수있다.현재 상대방의감정이기쁨 2단계인경우,정숙도가 5이면,감정인식부 (130)는현재 감정의강도를 5단계높인기쁨 7단계로외형정보를보정할수있다.현재 상대방의감정이기쁨 2단계이고,정숙도가 1이면,감정인식부 (130)는현재 감정의강도를 1단계높인기쁨 3단계로외형정보를보정할수있다.

[115] 본발명은 5개의기본감정 (예,기쁨,놀라움,슬픔,화남,두려움)에대한인� �을 수행할수있다.본발명은 17개의복합감정 (예 ,긍정과부정 ,각성과미각성 , 지배와복종의 3차원개념에따른복합감정포함,또는강도 (세기)레벨포함)에 대한인식을수행할수있다.

[116] 본발명은소통언어제시기능을가진다.구체적� �로본발명은,최대 75개의 감정 (예,활기참,멋짐,실망함,두려워함,많이놀람,� �망함,황당해함,불안함, 짜증을냄,초조해함,벗어나고싶어함,활기참,� �미있어함,부끄러워함등)에 대해인식하고표현할수있다.

[117] 감정인식과관련하여,본발명은딥러닝 (Deep Learning)인공지능기법을

적용하여표정을효과적으로인식하는방법을사 용할수있다.본발명은복합 표정에서의고차원적결합방법을사용함으로써 기존에는인식하기어려웠던 다양한복합감정을인식할수있다.

[118] 물체인식또는감정인식과관련하여,본발명은� �체수가많아지면현저히 떨어지는인식률을보완하기위해,먼저환경에� �한인식을진행하고판별된 환경내에서발견될수있는물체들로개체수를줄 여인식률을높일수있다.

[119] 본발명은표정인식기술에 있어서시퀀스영상의모션플로우를 Dictionary 학습방법에입력하고표정별 latent동작사전학습을통한인식기술을기안할수 있다.본발명은과거의표정특징추출을위한다� �한방법들 PCA(Principle Component Analysis), ICA(Independent Component Analysis), ASM( Active Shape 2020/175969 1»（：1^1{2020/002928

Model), A AM( Active Appearance Model)등과대비하여조명환경의변화, 얼굴색의차이등에강인한특징을찾을수있다.

[120] 본발명은사물인식알고리즘을사용할수있다.� �체적으로, 100여개의

실내외의분위기를알수있는사물인식및음성안 내알고리즘이사용될수 있다.

[121] 본발명은글자인식알고리즘을사용할수있다.� �체적으로,한국어,중국어, 일어,영어를포함한 102개의언어문자인식이가능한알고리즘이사용 될수 있다.

[122] 본발명은기본감정실시간인식알고리즘을사용 할수있다.구체적으로,

5개의기본감정 (예,기쁨,놀라움,슬픔,화남,두려움)에대한실� �간인식이 가능한알고리즘이사용될수있다.

[123] 본발명은 17개의복합표정및감정인식알고리즘을사용할� ��있다.

구체적으로, AU(action unit)검출및 LSTM기반의복합감정인식기능이사용될 수있다.

[124] 사물인식과관련하여，본발명은데이터수집및 데이터베이스 (Database)구축, 데이터학습및모델생성,그리고사물인식 YOLO이용을수행할수있다.

[125] 문자인식과관련하여，본발명은데이터수집및 Database구축,데이터학습및 모델생성,그리고문자인식 tesseract-ocr사용을수행할수있다.

[126] 표정인식을지원하는실시간감정분석시스템과 관련하여,본발명은

감정측정에적합한표정데이터수집및 Database구축,실시간감정분석시스템, 그리고소통언어로의전환을수행할수있다.

[127] 통합사용시스템구현과관련하여,본발명은사� �인식,문자인식,감정인식및 소통언어발화통합시스템을구현할수있다.

[128] 23가지감정변화에따른표정변화에대한특징벡� ��추출및 AU검출을

기반으로한복합표정인식알고리즘과관련하여 ,본발명은 landmark point및 LSTM기반의표정인식을위한특징추출및 AU검출방법, AU검출및 LSTM 특징기반 23가지표정인식방법,그리고표정 DB기반표정인식에최적화를 통한복합표정인식률개선방법을사용할수있다 .

[129] 본발명은복합표정인식을기반으로한정서특성 모델링을사용할수있다.

[130] 본발명은 23가지표정인식을기반으로한감정평가를위한� ��치적지표를 제공할수있다.

[131] 본발명의감정장치또는감정방법은다음과같이 감정을측정할수있다.

[132] 감정인식부 (130)는상대방이미지로부터추출된표정을이용� ��서상대방의 감정을판단또는인식또는분류할수있다.표정� �감정의 1차적판단근거가 될수있다.그러나,표정은발현이후수초이내에� ��어지는것이일반적이다. 또한,동양인의경우큰표정을짓지않아서감정� �단에적용되기어렵다.

표정을이용해서 75개감정이측정되거나분류될수있다.본발명에 서는얼굴 근육의움직임을고려하여감정을평가할수있다 .얼굴근육의움직임은 2020/175969 1»（：1^1{2020/002928 근육량,습관등에따라사람별로달라질수있으� �로,상대방적응적인

데이터가수집되고분석될필요가있다.

[133] 감정 인식부 (130)는상대방이미지로부터추출된눈빛을이용� ��서상대방의 감정을판단또는인식또는분류할수있다.눈빛� �눈동자크기,눈동자움직임, 눈동자의 방향,눈동자의움직임속도,눈근육의움직임,눈 꺼풀의 개폐정도, 응시시간,미간의간격과주름을종합하는것으� �정의될수있다.눈빛을 이용하여감정중에서 정조 (기분,취미,정서적인분위기 ,정서가더욱

발달되면서 일어나는고차원적인복잡한감정포함)가파악� �수있다.따라서 , 정서적 안정감과불안정감,열정과무관심 ,부끄럼，죄책감,혐오,호기심 ,공감과 같은감정을측정하는데눈빛이 이용될수있다.

[134] 감정 인식부 (130)는상대방이미지로부터추출된목움직임을� ��용해서

상대방의감정을판단또는인식또는분류할수있 다.목움직임은머리의 방향, 머리와목과의각도,머리와등과의각도,목의움� ��임의속도,어깨의움직임, 어깨의구부러진정도와각도를포함할수있다.� �움직임을이용하면우울감, 무기력등의감정이 정확하게측정될수있다.

[135] 감정 인식부 (130)는상대방이미지로부터추출된자세,몸짓,� �동등의

제스쳐를이용해서상대방의감정을판단또는인 식또는분류할수있다.감정 인식부 (130)는목,팔,등,다리의움직임을종합적으로판� ��하여신체적 개방성, 공격성,신체의 아픔,신나함 (고양됨),호의를측정할수있다.

[136] 감정 인식부 (130)는상대방의목소리를이용하여상대방의감� ��을판단하거나, 인식하거나,분류할수있다.목소리의높낮이,목 소리의길이,목소리의 파동, 목소리의 억양및목소리가커지고작아지는단락의 길이 ,목소리의강도에 대한 측정 및분류를통해서상대방의감정이분류될수있다 .목소리는표정

데이터가없는경우,감정 파악의주요데이터가될수있으며 ,표정과일치한 경우표정인식의정확도를높일수있다.

[137] 감정 인식부 (130)는상대방의목소리를통해분석된어휘를이� ��해서상대방의 감정을판단할수있다.감정 인식부 (130)는상대방의목소리가나타내는어휘중 감정과관련된특정 어휘를이용해서상대방의감정을판단하거나,� �식하거나, 분류할수있다.

[138] 한편,상대방의감정을파악할수있는복수의요� �가촬영부,수집부등의각종 입력수단을통해 입력될수있다.감정 인식부 (130)는복수채널을통해 입수된 요소 (감정분석정보)를다음과같이처리할수있다.

[139] 감정 인식부 (130)는상대방이미지또는상대방의목소리를통� ��상대방의

감정을파악할수있는복수의요소를추출할수있 다.해당요소는표정,눈빛, 목움직임,제스쳐,목소리,어휘등을포함할수있 다.일예로,감정 인식부는 상대방이미지의분석을통해상대방의 제스쳐，표정 ,목움직임 ,눈빛중적어도 하나를파악할수있다.감정 인식부는수집부를통해상대방의목소리, 상대방이 발성한어휘중적어도하나를파악할수있다. 2020/175969 1»（：1^1{2020/002928

[14이 감정 인식부 (130)는복수의요소중시간적으로먼저 획득된데이터를

이용해서상대방의감정을인식할수있다.또는,� ��정 인식부 (130)는각요소가 설정 강도를만족하는지 여부또는각요소가설정시간동안지속되는지 여부에 따라상대방의감정을인식하는데사용되는특정 요소를선정할수있다.

[141] 일예로,상대방과관련된표정,눈빛,목움직임,� �스쳐,목소리,어휘가

획득되면,감정 인식부 (130)는각요소의 강도를분석할수있다.예를들어표정 1레벨,눈빛 3레벨,목움직임 2레벨,제스쳐 5레벨,목소리 2레벨,어휘 0레벨인 경우를가정한다.설정강도가 3레벨로설정된상태이면,감정 인식부 (130)는 강도가 3레벨이상인눈빛,제스쳐 2가지만이용해서상대방의감정을인식할수 있다.

[142] 일예로,상대방과관련된표정 ,눈빛,목움직임 ,제스쳐 ,목소리 ,어휘가

획득되면,감정 인식부 (130)는각요소의지속시간을분석할수있다.예를 들어 표정 3초,눈빛 4초,목움직임 1초,제스쳐 2초,목소리 3초,어휘 2초인경우를 가정한다.설정시간이 3초로설정된상태이면,감정 인식부 (130)는지속시간이 3초이상인표정,눈빛,목소리만을이용해서상대 방의감정을인식/판단/분류할 수있다.

[143] 한편,동일한시간에동일한강도,동일한지속시� ��을갖는복수의요소가

촬영부또는수집부를통해 입수될수있다.이때,감정 인식부 (130)는제스쳐, 목소리,표정,어휘,목움직임의순서대로감정을 분류하는우선순위를부여할 수있다.또는,감정 인식부 (130)는제스쳐,목소리,표정,어휘,눈빛의순서대 로 감정을분류하는우선순위를부여할수있다.본� �시예에따르면,다양한복합 감정요소가파악될때,상대방의감정을정확하� �파악할수있는우선순위가 각복합감정요소에부여될수있다.

[144]

[145] 도 4는본발명의실시예에따른,컴퓨팅장치를나타� ��는도면이다.도 4의 컴퓨팅장치 (TNW0)는본명세서에서기술된장치 (예,인식장치등)일수있다.

[146] 도 4의실시예에서,컴퓨팅장치 (TNW0)는적어도하나의프로세서 (TN110), 송수신장치 (TN120),및메모리 (TN130)를포함할수있다.또한,컴퓨팅 장치 (TNW0)는저장장치 (TN140),입력 인터페이스장치 (TN150),출력 인터페이스장치 (TN160)등을더포함할수있다.컴퓨팅장치 (TNW0)에포함된 구성요소들은버스 (bus)(TN170)에의해 연결되어서로통신을수행할수있다.

[147] 프로세서 (TN110)는메모리 (TN130)및저장장치 (TN140)중에서 적어도하나에 저장된프로그램명령 (program command)을실행할수있다.프로세서 (TN110)는 중앙처리장치 (CPU: central processing unit),그래픽 처리장치 (GPU: graphics processing unit),또는본발명의실시예에 따른방법들이수행되는전용의 프로세서를의미할수있다.프로세서 (TN110)는본발명의실시예와관련하여 기술된절차,기능,및방법등을구현하도록구성� ��수있다.프로세서 (TN110)는 컴퓨팅장치 (TNW0)의각구성요소를제어할수있다. 2020/175969 1»（：1^1{2020/002928

[148] 메모리 (TN130)및저장장치 (TN140)각각은프로세서 (TN110)의동작과관련된 다양한정보를저장할수있다.메모리 (TN130)및저장장치 (TN140)각각은 휘발성저장매체및비휘발성저장매체중에서적 어도하나로구성될수있다. 예를들어,메모리 (TN130)는읽기전용메모리 (ROM: read only memory)및랜덤 액세스메모리 (RAM: random access memory)중에서적어도하나로구성될수 있다.

[149] 송수신장치 (TN120)는유선신호또는무선신호를송신또는수� �할수있다. 송수신장치 (TN120)는네트워크에연결되어통신을수행할수� �다.

[15이 한편,본발명의실시예는지금까지설명한장치� �/또는방법을통해서만

구현되는것은아니며,본발명의실시예의구성� �대응하는기능을실현하는 프로그램또는그프로그램이기록된기록매체를 통해구현될수도있으며, 이러한구현은상술한실시예의기재로부터본발 명이속하는기술분야의 통상의기술자라면쉽게구현할수있는것이다.

[151] 이상에서본발명의실시예에대하여상세하게설 명하였지만본발명의

권리범위는이에한정되는것은아니고다음의청 구범위에서정의하고있는본 발명의기본개념을이용한통상의기술자의여러 변형및개량형태또한본 발명의권리범위에속하는것이다.