facial coding and application

12
페페페 페페페 페페 이이이

Upload: jeongheon-lee

Post on 23-Jun-2015

799 views

Category:

Technology


4 download

DESCRIPTION

얼굴인식을 이용한 페이셜 코딩과 그것을 이용하여 지금 하고 있는 응용분야를 설명한다.

TRANSCRIPT

Page 1: Facial Coding and Application

페이셜 코딩과 응용

이정헌

Page 2: Facial Coding and Application

목차

감성 , 감정 , 정서 – 사전적 의미 감정측정 필요성 감정측정 방법 페이셜 코딩 페이셜 코딩 핵심감정 페이셜 코딩 분석 페이셜 코딩 응용

부주의 측정 휴먼팩터 측정

페이셜 코딩과 응용 2011-03-302

Page 3: Facial Coding and Application

감성 , 감정 , 정서 – 사전적 의미

감성 sensibility / 感性 이성 (reason / 理性 ) 또는 오성 (Verstand / 悟性 ) 과 함께하는 인간의

인식능력으로 감각기간이 외부로부터 자극을 받아 감각ㆍ지각을 생기게 하는 감수성 ( 외부의 자극을 받아들이고 느끼는 성질 ) 을 가리킨다 .

감성은 수동성을 내포하고 있다 .

감정 feeling / 感情 어떤 현상이나 사건을 접했을 때 마음에서 일어나는 느낌이나 기분을 가리킨다 . 감각은 객관적인 정보라고 한다면 감정은 주관적인 정보라 할 수 있다 ..

정서 emotion / 情緖 정서란 , 비교적 강하게 단시간 동안 계속되는

감정 (feeling / 感情 ) 을 가리킨다 . 정서는 마음이 움직이고 감동된다는 점에서 정동

( 情動 ) 이라고도 한다 .

페이셜 코딩과 응용 2011-03-303

Page 4: Facial Coding and Application

감정측정 필요성 “ 사람이 결정을 내릴 때는 두가지 이유가 존재한다 . 합당한 이유와 진짜이유가 그것이다 .”

– J.P. 모건 3 영역으로 구성된 두뇌에 담긴 구체적인 의미

감정은 생각보다 먼저 그것도 대단히 빠른 속도로 일어난다 . “ 감정과 이성의 본질적인 차이는 감정은 행동을 낳고 이성을 결론을 낳는다는 점이다 .” – 도널드 칸

(Donald Calne) 기억은 감정을 토대로 한다 . “ 편도체가 어떤 자극을 받아서 두뇌내에 감정적 회로가 만들어지면 새로운

기억이 생성된다 .”- 르두 , 1994 “ 본능적 반응은 3 초안에 일어난다 .” – 마커스 , 2002

의식적 사고가 정신활동에서 차지하는 비율은 매우 낮다 . “ 두뇌는 1 초에 4 천억바이트의 정보를

받아들이는데 그 가운데 의식적뇌가 처리하는 것은 2 천바이트에 불가하다 .”- 왓 , 2004

시각적 이미지 및 여타의 비언어적 커뮤니케이션이 더 강력한 힘을 발휘한다 . “ 커뮤니케이션의 55% 가 얼굴표정을 통해 35%

가 목소리톤에 의해 이루어지며 , 단지 7%정도만이 언어적 표현에 의해 이루어진다 .”-마라비언 ,1981

“ 기업의 수익성은 타깃 시장의 고객이 해당기업과 관련하여 경험하는 것들에서 어떤 감정을 느끼느냐에 따라 달라진다 . 따라서 , 기업의 장기적인 성공여부는 어떻게 그들의 감정을 측정하고 변화시키느냐 , 어떻게 그들의 감정에 대응하느냐에 달려있다 .” – 댄 힐 , 2011 페이셜 코딩과 응용 2011-03-304

Page 5: Facial Coding and Application

감정측정 방법

생리적 측정 방법 사람의 신체의 다양한 생리적인 신호를 측정하는 방법으로 다른 측정방법에 비해

객관적인 데이터를 얻을 수 있다 . 기능성 자기공명영상 (fMRI) 를 이용한 측정방법

사람이 의사결정 과정에서 감정이 중대한 역할을 한다는 사실을 입증하는 강력한 증거를 제공해주었다(Helliker, 2006).

피부전기반응 (EDA) 을 이용한 측정방법 피부전도반응 (SCR), 피부저항반응 (SRR), 피부잠재반응 (SPR) 등이 있다 . 피부전기반응을 이용한 연구에

서 , 사람은 주로 부정적인 감정상태에서 피부전기반응의 수치가 감소하는 것으로 밝혀졌다 .

동공크기 측정법 (Pupillometry) 동공의 크기는 즐거운 감성의 상태에서 확장되는 것으로 밝혀졌다 (Hess & Polt, 1960).

행위적 측정 방법 얼굴의 표정이나 몸짓 그리고 말과 같이 겉으로 드러나는 신체적 반응을 측정하는 방법

표정 부호화 시스템 (Facial Action Coding System, FACS) 사람의 43 개의 얼굴 근육의 움직임과 그 조합을 바탕으로 , 두려움 , 화남 , 기쁨 , 역겨움 , 슬픔과 놀람 등의

6 가지의 기본 감정을 분류 하는 방법이다 (Ekman, 1978).

근전도 (Electromyography, EMG) 측정법 무의식적인 얼굴 근육의 움직임을 분석하는 얼굴표정 분석방법 . 얼굴에 센서를 부착하여 미세한 근육의

움직임으로부터 전류를 감지한다 . 광대뼈근육의 움직임이 긍정적인 감정상태와 상관관계를 갖는 것으로 밝혀졌다 (Dimberg, 1990).

말의 특성 분석법 사람의 감성상태와 연관이 있음이 밝혀졌으며 , 감성적 반응을 측정하는데 매우 유용한 것으로 나타났다

(Banse, 1996).

페이셜 코딩과 응용 2011-03-305

Page 6: Facial Coding and Application

페이셜 코딩

페이셜 코딩의 역사 사람의 표정은 타고나는 것이며 , 얼굴이 감정을 타인에게 전달하는데

사용되는 중요한 수단이라는 사실이 밝혀졌다 . 찰스 다윈 , 1872

7 년동안 모은 얼굴 표정자료를 기초로 사람은 43 개의 안면근육과 이러한 근육들이 움직여 다양한 방식으로 조합되면 23 개의 핵심 움직임 단위(Action Unit, AU) 가 만들어지고 , 이 움직임 단위들은 감정과 관련된 모든 표정의 가장 기본적인 요소가 된다는 것이 밝혀졌다 . 캘리포니아 대학의 폴 에크먼과 의과대학의 윌리프리즌 , 2003

에크먼의 FACS 시스템을 이용하여 기업의 행동에 대한 소비자와 직원들의 실제 감정 반응을 파악해주고 기업이 그에 따라 계획을 수립할 수 있게 도와주는 페이셜 코딩을 비즈니스 세계에 접목하기 시작했다 . 센서리로직 , 2007

페이셜 코딩의 신뢰성 “ 인간은 지구상의 어떤 동물보다도 많은 안면 근육을 가지고 있다 . 이

사실만으로도 얼굴은 수많은 데이터를 얻어 낼 수 있는 정보의 보고다 .” 애크먼과 프리즌 , 2003

“ 얼굴인 신체에서 근육이 직접 피부에 붙어있는 유일한 부분이다 . 이 때문에 얼굴은 대단히 쉽게 움직이며 , 피부는 두뇌에서 오는 자극에 빠르게 반응하여 자신의 모양을 바꾼다 . 따라서 , 얼굴은 감정을 무의식적으로 가장 잘 나타내는 창이다 .” 맥닐 (McNeill), 1998

“ 얼굴 근육의 풍부한 움직임은 페이셜 코딩의 기본 토대이자 근거다 . 두뇌가 감정적인 자극을 발생시킬 때마다 , 이 자극은 모든 안면 근육과 표정을 통제하는 안면 신경을 통해 얼굴로 전달된다 .” - 댄 힐 (Dan Hill), 2011

페이셜 코딩과 응용 2011-03-306

Page 7: Facial Coding and Application

페이셜코딩 핵심감정 표정 패턴

표정은 그것이 형성되고 최고조에 이르렀다가 사라지는 형태로 존재한다 . 일반적으로 표정이 지속되는 시간은 0.5 초에서 4 초 사이이며 , 근육 움직임의 지속시간 및 유형 , 강도를 모두 종합하여 특정 감정의 강도를 측정하는 기준으로 삼는다 .

감정은 하나의 패턴으로 유지되지 않으며 , 어떠한 이벤트에도 복합적인 감정의 흐름이 단계적 변화와 혼재되어 나타난다 .

7 가지 핵심감정 행복 ( 긍정적 ), 놀라움 ( 중립적 ), 두려움 , 분노 , 슬픔 , 협오감 , 경멸감 ( 부정적 )

놀라움 두려움 분노 슬픔 협오감 경멸감 행복 ( 진짜미소 )행복 ( 사회적미

소 )

눈이 커진다 .눈썹이 올라간다 .입이 벌어진다 .

눈썹이 올라가고 미간이 좁아진다 .눈이 커진다 .턱 주변 근육이 긴장된다 .입술이 가로 방향으로 당겨진다 .턱이 벌어진다 .

눈썹 끝이 내려가고 미간이 찌푸려진다 .눈이 가늘어진다 .입술을 힘주어 오므린다 .

이마 중간에 주름이 생긴다 . 눈썹의 바깥쪽은 처지고 안쪽은 약간 올라간다 .눈가에 주름이 생긴다 .코와 윗입술 주변의 팔자 주름이 깊어진다 .입술 양끝이 처지거나 , 거꾸로 된 미소모양이 나타난다 .

코끝이 올라가고 주름이 생긴다 .윗입술이 올라가고 떄로 거꾸로 된미소모양이 약간 나타난다 .아랫입술이 처진다 .

입의 한쪽끝이 올라가면서 비웃는 듯한 분위기와 함께 얼굴의 반쪽만 표정이 바뀐다 .윗입술이 올라간다 .눈이 약간 감기거나 시선을 돌리기도 한다 .

눈 바깥쪽 피부에 새발 모양의 주름이 생긴다 .눈꺼풀의 긴장이 풀어지면서 약간처지고 , 눈아래 피부가 위쪽으로 당겨진다 .입꼬리가 크게 올라가고 빰도 위쪽으로 당겨진다 .

입꼬리와 뺨의 근육이 올라가면서 얼굴이 전체적으로 동그래진다 .반면 눈가 근육은 움직이지 않고 눈동자에도 밝은 기운이 감돌지 않는다 .

페이셜 코딩과 응용 2011-03-307

Page 8: Facial Coding and Application

페이셜코딩 감정의 다양성 7 가지 핵심감정 ( 기본감정 ) 이 결합되면 24 개의 2 차 감정이 생성된다 .

내향적 감정 해당 감정을 느끼는 사람에 의해서 유발되는 감정 또는 내면으로 향하는 감정을 말한다 . 일반적으로 이러한 감정은 자존심과 관련되거나 , 또는 우리가 갖는 기대치를 토대로 상황변화에 대한 우리의

감정을 내면화하는 방식과 관련된다 . 외향정 감정

외부 요인에 의해 유발되거나 또는 감정의 에너지나 그것이 일으키는 행동이 자신이 아닌 다른 누군가를 향한다 . 자신의 상태 및 위치에 대한 관심 , 다른 사람들의 상황이나 행운등 ( 특히 그것이 우리의 목표실현과 관련되어 있는

경우 ) 이 외향적인 감정을 일으키는 경향이 있다 .

페이셜 코딩과 응용 2011-03-308

Page 9: Facial Coding and Application

페이셜 코딩 분석 페이셜 코딩 데이터를 분석하는데 가장

중요한 데이터는 청중이 주의를 기울이느냐의 여부이다 . 그 이유는 상업적인 측면에서 사용자들에게 감정적 반응을 유발함으로써 주의를 일깨우지 않는다면 소비자들을 설득할 수 없기 때문이다 .

특정 자극에 반응할 때 , ‘ 그리고 /또는’ 질문에 답변할 때 최소한 한가지 이상의 AU 나 정확한 감정을 얼굴에 나타낸 참가자들의 퍼센티지를 조사함으로써 감정적 반응도를 파악한다 .

사람들이 감정적으로 반응하는지 여부를 알아냈다면 , 그 다음엔 반응의 종류를 파악해야 한다 . 페이셜 코딩을 이용해 기업은 긍정반응이 우세한지 부정 반응이 우세한지 판별할 수 있게 된다 .

사람들이 자극에 대한 정확한 반응을 나타내지 못하는 경우도 많기 때문에 페이셜 코딩과 함께 안구 운동 추적 방법을 병행 사용한다 . 안구 운동 추적 방법은 사람들이 보고 있는 지점 , 그들이 집중하는 지점을 알아내 기록하는 것을 말한다 . 감정 반응과 시각적 집중을 동시에 파악하는 것은 사람들의 반응을 유발하는 요인을 이해하기 위해 효과적인 방법이다 .

페이셜 코딩과 응용 2011-03-309

Page 10: Facial Coding and Application

페이셜코딩 응용 – 부주의 측정

요구사항 사용자의 집중도 측정 및 부주의 시에 주의를 상기시켜줄 수 있는 기능

적용분야 운전 부주의 알람 시스템 이러닝 교육 집중도 체크 시스템

적용기술 단일 카메라 기반 3D 얼굴 특징 요소 인식 및 추적 기술

페이셜 코딩과 응용 2011-03-3010

Page 11: Facial Coding and Application

페이셜코딩 응용 – 휴먼팩터 측정

요구사항 시청 효과 및 인터랙티브 광고를 위한 휴먼팩터 측정 기능

적용분야 인터랙티브 광고 및 광고 효과 측정 시스템 시청률 측정 및 스마트 TV 개인화 시스템 고객 분석 및 측정을 위한 비디오 마이닝 시스템

적용기술 얼굴인식 기반 거리 측정 및 성별 , 나이 인식 및 분석 기술

페이셜 코딩과 응용 2011-03-3011

Page 12: Facial Coding and Application

감사합니다감사합니다 ..

[email protected] [email protected]

페이셜 코딩과 응용 2011-03-3012