iot/웨어러블 디바이스에서의 동작인식 기술 및 활용분야(윤훈주, 2014년)

IoT/웨어러블 디바이스에서의

동작인식 기술 및 활용 분야

윤 훈 주유비유넷 대표

[email protected]://www.facebook.com/firehj

유비유넷 페이스북 그룹 http://www.facebook.com/groups/ubiunet/

2014. 7. 26

1/81 동작인식 기술 및 활용 분야

들어가며

영화 “마이너리 리포트”의 동작인식 아날로그를 디지털화


동작 인식 분류

손에 디바이스를 들고움직임

몸에 디바이스를 착용하고움직임

디바이스 위에서 움직임

사람의 움직임을 관찰

Hand held형

Wearable형

체중계형

거치형

몸동작

손동작

얼굴동작

가속도센서자이로 센서

카메라(빛)

전파

음파

스마트폰리모컨

스마트워치스마트안경스마트반지스마트신발

키넥트

Wii fit

<제품군><사용형태> <사용자 동작> <센싱기술> <인식 대상>

압력


동작인식의 특징

평면적제어

손가락접촉

몰입감부족

실감나게 직관적

Handsfree즉시적

동작인식은 게임분야에서 몰입감 향상을 위해 대중화되었으며, 기기 제어를 직관적이고 편리하게 하기 위한 용도로 활용분야가 확대되고 있음

입체적제어

X, Y X, Y, Z

IOT 디바이스


<PC> <스마트폰> <타블릿>

<스마트 TV/가전>

• LTE

• 고성능 AP (quad à octa)

• 센서: 가속,지자기,각속도, 압력

• 고해상도/대화면 디스플레이

• 고해상도 카메라(전면, 후면)

• 대용량 배터리

• 음성인식/얼굴인식/동작인식

• 펜입력

• 클라우드

• 슬림

• 디자인

• 타블릿 기능

다양한 디지털 기기에 스마트 기능이 적용되고 있으며, 기존 사물도 스마트해져 가고 있음

<스마트 자동차>

스마트 기능의 확대

<웨어러블> <M2M/IoT>


스마트폰의 입력 기능 확장

<애플><구글>

<MS> <아마존>


스마트폰이 가지지 못했던 센서들을 주변기기를 통해 확장

<신용카드 결제> <체중계>

스마트폰의 센싱 기능 확장

<헬스케어 센서 케이스>

<풍속 감지><알코올 측정> <체온 측정> <웨어러블 연동>


초소형 /저가 HW 플랫폼

10만원 이하의 저가 컴퓨터의 등장으로 다양한 응용제품의 활성화 기대

25달러/35달러

<구글 크롬 캐스트>

< 라즈베리파이>

<인텔 에디슨>

<로쿠>

<델>


3D 프린터

100만원대의 저가 3D프린터로 인하여 초소형 컴퓨터 보드와 결합한 다양한 맞춤형 IT기기의 등장 예상


<모형제작>

< 로봇>< 사물기기> < 기념품>

< 플렉서블 제품>

<금속 부품>

3D 프린터의 활용분야

< 레고블럭>


모듈러 디바이스


위치 및 거리 기반 서비스


생활 습관 분석


운동 측정


환경 센싱


편리한 사용


IoT 서비스

IoT는 궁극적으로 사용자에게 필요한 서비스를 제공하기 위해 위한 것이며,직간접적으로 사용자와 인터랙션이 발생하게 됨

사용 방식별동작인식 제품 및 기술

- Hand Held 형- 웨어러블- 체중계 형- 거치형

Hand held형동작인식


스마트폰

• 가속도

• 자이로

스마트폰에 내장된 센서로 사용자의 움직임을 인식하여 게임 및 화면제어를 자연스럽게 처리함

< 동작 센서> <카메라 센서>

• 아마존 파이어폰

• 4개의 카메라

• Face tracking


<닌텐도 Wii> <소니 Playstation Move>

게임기

센서바

카메라

게임 전용 디바이스를 손에 들고 몸을 움직이며 게임을 즐김


스마트TV 리모컨

TV의 기능이 복잡해짐에 따라 동작인식을 통해 스마트 TV 메뉴를 선택하고 제어

<스마트 TV> <리모컨의 진화> S사

웨어러블형동작인식 고개 움직임

팔의 움직임

발의 움직임

손가락의 움직임

몸의 움직임


웨어러블에서 패션은 기본


디스플레이 전력 소모 절약을 위해 평소에는 절전모드 à 손을 들었을때는 자동으로 화면 밝게

손목 시계

<제스처로 화면 켜기> <저전력 디스플레이>- 퀄컴 미라솔 디스플레이

- E ink 디스플레이


운동이나 게임용 제품

손목 밴드


팔뚝 밴드

<Myo> < 골프 스윙 분석>

팔에 밴드를 착용하여 근육이나 팔의 각도를 감지함


장갑

<카메라 시스템 + 적외선 반사체><장갑형 컨트롤러>

장갑을 착용하여 사용자의 손동작을 인식함

- 가속도 센서, 자이로 센서, 구부림 센서 - 실내 공간에 설치된 카메라로 장갑에 반사된표식을 추적하여 동작인식을 함


반지

NodFin Logbar

반지를 착용하여 손가락 제스처로 정보 입력 및 주변기기 제어

글자 입력, 픽토그램 입력터치 패드


이어셋

사용자 얼굴의 움직임에 따라 아바타, 지도, 사운드와 같은 콘텐츠를 자연스럽고 현장감 있게 제어

http://pltlabs.com/concepts/


HMD

사용자가 바라보는 사물 및 손동작을 인식하여 직관적 제어가 가능함

<손동작 인식><바라보는 사물 인식>

<가상현실 및 외부 영상 보여주기>


신발/깔창

걸음걸이, 체중의 쏠림 등을 감지하여 운동량이나 건강상태를 분석

<일상생활의 건강관리><운동선수>

길안내를 진동으로 전달걸음/체중 분석

체중계형 동작인식


<댄스 게임기> <닌텐도 Wii Fit>

몸무게를 이용한 게임

몸무게를 이용하여 게임을 실감나게 즐김

거치형 동작인식- 음파- 전파- 카메라


소리를 이용한 동작 인식

사용자의 움직임에 따라 소리의 반사 특성(도플러효과)이 달라지는 것을 통해 사용자의 동작을 감지

<Sound wave> <진동을 악기의 소리로 변환>


전파를 이용한 동작인식

사람의 움직임에 따라 반사되는 전파의 주파수 성분이 변화하는 것을 감지하여 동작인식을 구현

<동작원리> <가전 제어> <장애물 투과>


적외선 센서 어레이

평면적인 키보드를 입체적인 제어가 가능하도록 함


Single 카메라 방식

기기에 탑재된 기존 카메라를 이용한 동작인식

à 추가적인 하드웨어 없이 소프트웨어로만 구동하며, 방향 이동 정도의 인식 수준

<스마트폰> <타블릿> <노트북>


스테레오 카메라 방식

2대의 카메라로 바라보는 영상의 차이를 이용하여 거리 측정

< 아마존 fire phone>

< leap motion>

- 4개의 전면카메라

- 세로 및 가로 모드 지원


아마존 fire phone

<얼굴까지의 거리 측정><광각 렌즈> <Face tracking>

가로 및 세로 모드를 지원하기 위해4개의 적외선 카메라를 배치함

스테레오 카메라 방식

아마존의 파이어 폰은 스테레오 카메라를 스마트폰에 적용한 제품임


Structured light 방식


Structured-light 방식

물체에 맺힌 패턴을 분석하여 거리 측정

Depth Camera640x48030fps

RGB Camera640x480(30fps)1280x960(12fps)


<격자 패턴>

점 형태의 코드화된 적외선 패턴을 사용하며, 거리에 따라 패턴이 맺히는 위치가 달라짐

키넥트에 적용된 적외선 dot 패턴

거리에 따라IR패턴이 맺히는위치가 달라짐


키넥트의 작동 범위

0.8미터

1.2미터

3.5미터

4미터

<일반모드> <근거리모드>

0.4미터

0.8미터

2.5미터

3미터

- 키넥트 for Xbox360: 2명 동시 트래킹

- 키넥트 for Windows: 근거리 모드 지원(0.4m~3m)- 키넥트 for Xbox one: 6명 동시 트래킹, ToF 방식

27도

수평각도 57.5도

27도

43.도


ToF(Time of Flight) 방식


적외선 조명을 비추어 빛이 물체에 반사되어 돌아오는 시간을 측정하여 거리 계산

<파나소닉의 D-imager>

ToF( Time of Flight) 방식

사용거리: 1.2m~9m각도: 수평60도, 수직 44도거리오차: 2~3cm


키넥트 for Xbox one

1080P HD RGB Camera

30FPS

Time of Flight(TOF)

Microphone Arrays

키넥트2에는 ToF센서를 탑재하였으며, 키넥트1보다 정교한 동작인식 가능


칼라영상 일체형 ToF 센서

칼라 카메라 센서에 거리를 측정할 수 있는 픽셀을 삽입하여 하나의 센서로 칼라영상과 depth영상 동시 획득

Samsung


< SoftKinetic DepthSense>

<FOTONIC>

<PMD CamCube >

<MESA Imaging SwissRanger> <IEE S.A. 3D MLI Sensor> <ARTTS camera>

<PMD CamBoard> <real.IZ 2+3D™>

ToF 카메라 제품

ToF 센서 제품 출시가 확대되고 있음

3D 스캐너


구글 탱고

- 3D depth sensor를 소형화하여 스마트폰에 탑재

- 실내 네비게이션 및 3D프린터 시장확대에도 기여예상


3D 스캐너 제품

Hand held 형 타블릿 스마트폰 거치형 독립장비

동작인식에 적용되는 depth camera기술은 3D스캐너에도 활용

구글 탱고 타블릿 구글 탱고 스마트폰


3D 스캐너 활용분야

공간 기록/실내 네비게이션 문화재/유적 인물

동작인식Tracking 기술


동작인식에서 3D depth의 의미

거리 정보에 기반하여 배경과 사람을 분리함으로써 동작인식 처리가 용이해짐


Body Tracking


Body Tracking

골격을 기반으로 하여 사람의 동작을 표준화함

<멀티 트래킹>

<인식 모드>

Standing: 20 JointSeating: 10 Joint

<키넥트1과 키넥트2비교>

20개 joint, 2명 동시 트래킹 25개 joint, 6명 동시 트래킹


Body Gesture

키넥트에서의 Body gesture


주요 Body Gesture 소프트웨어

NITE애플인수

인텔 인수


Hand Tracking


Hand Tracking

<Omek의 grasp> <Softkinetic의 iisu>- 손을 22개의 관절로 분석

<Leapmotion>


Hand Tracking 제품

<3D모델링에 활용>

<leap motion> 저가 및 높은 정밀도의 동작인식 시스템

<수화 통역>

HP 키보드HP 노트북


Face/Eye Tracking


Face tracking

<미소를 지으면 열리는 냉장고 >

<얼굴 모델링> <가상 소셜 네트워크>

얼굴의 움직임, 표정을 추적함으로써 가상 아바타와 연동할수 있고, 기기를 제어할 수 있음

<스마트폰 3D effect >


Eye Tracking

<스마트폰> <노트북> <게임기>

<매장 조사>

<Tobii>

매장에서의 소비자 관심 사항 조사 및 시선의 위치대로 스마트 기기의 화면을 선택하거나 변경할 수 있음

동작인식 활용분야홈 업무 상점


동작인식의 적용 사례

<셀카 촬영> <로봇> <CCTV>

<자동차>

<상점> <방송>

<촬영> <재활훈련>

<프리젠테이션>


즐거움 및 재미

몸을 움직이는 몰입감


몰입감 높은 게임

<방송 캐릭터와 커뮤니케이션>

온몸을 자유롭게 움직임으로서 게임의 몰입감을 높힘

<대결 게임>

<격투 게임><스포츠 게임> <댄스 게임>

<머신 게임>


실감나는 체험

<모래성 쌓기>

<테마파크>

<증강현실> <당구 게임>

눈으로만 보는게 아니라 몸을 움직이며 적절한 시각적, 청각적 피드백을 받음으로써 몰입감 증대

<3D view>


가상의 악기를 연주하는 퍼포먼스

<지휘>

<바이얼린 연주>

<드럼 퍼포먼스>

<기타 연주>

악기가 없어도 내 몸의 움직임이 악기처럼 반응함으로써 기존에 경험하지 못했던 즐거움 제공

<하프 연주>


<헬스클럽 코칭>

나의 동작을 교정해주는 코칭

<골프 스윙 코칭><Nike+ Kinect Training>

<노인 재활훈련><게임형 재활훈련>

옆에서 가르쳐 주는 사람이 없어도 나의 동작에 대해 코칭을 해주는 서비스를 제공

<제스처 스킬 코칭>


직관적 제어의 편리함

별도의 기기를 손에 들지 않아도 되는 편의성


<TV 제어>

멀리 떨어진 화면을 동작인식으로 제어

<수술시 의료정보 검색>

<자동차 네비게이션>

<실습 수업>

<주방> <자동차>


프리젠테이션

<증강현실 방송> <강연>

<회의 발표>


로봇 및 장난감의 쉬운 제어

<Drone>

<장애인>

<로봇> <게임기기>

로봇의 복잡한 움직임 제어를 쉽게 할 수 있음


즉석 동작인식으로 마케팅에 활용

<나를 따라하는 로봇PC>

<행인을 따라가는 광고><쇼윈도우>

<가상 드레스룸>

<지도 검색>

지나가던 사람의 관심을 끌 수 있는 마케팅 서비스 제공을 위한 동작인식


빔 프로젝터에서의 입력 수단

<홀로그램> <테이블 투사 프로젝터> <웨어러블 프로젝터>

별도의 터치 스크린이 없는 빔 프로젝터 방식 디스플레이에서의 입력 수단

<바닥투사 프로젝터>


마무리하며

동작인식은 IoT/웨어러블 디바이스를 생활속에서 자연스럽게 사용하기 위한

Natural User Interface로 더욱 중요해질것으로 예상

감사합니다

윤훈주유비유넷 대표

[email protected]://www.facebook.com/firehj

iot/웨어러블 디바이스에서의 동작인식 기술 및 활용분야(윤훈주, 2014년)

Technology