kinect and its application movement research lab kyungyong yang
TRANSCRIPT
Kinect and its Application
Movement Research Lab
Kyungyong Yang
Overview Kinect
Kinect in Research
Kinect in Medical
Controllers
XBOX 360 Kinect
Kinect Commercial http://www.youtube.com/watch?v=T_QLg
uHvACs
Issues
ActionObject
Real World
Recognize
Computer
How to 3D Motion Capture
3D Surface Scan
Depth Camera
Etc…
Depth Camera
Depth Image RGB Image
How Kinect Works
• Evaluate near-infrared reflection time• Create accurate depth map
Depth Cube Display
Human Body Depth Image
• Can you recognize each body parts?• Is it possible to computer?
Human Pose Recognition
Kinect Mainstream
Body Part Recognition 다양한 체형과 자세로 선행 학습
Human Joint Estimation 선행 학습한 데이터를 이용 새로 입력되는 데이터로 human pose 생성
Overview Kinect
Kinect in Research
Kinect in Medical
Research Issue
잘 동작하게 하기 위해서 많은 예제를 사전학습 해야 한다 .
데이터를 무한정 늘릴 수 없으므로 선정이 중요하다 .
중복되지 않으면서 부족한 예제가 없도록 만들자 Data 의 uniform sampling 이 필요
Research 앉는 동작 선행 학습
선 동작 선행 학습
Research Labeling issue
Research Joint estimation issue
Labeling 에 많은 noise 가 있을 경우 일부 body part 가 없을 수 있다 .
Labeling 에 실패한 body part 에 대한 처리 과정 필요
Research Use bayesian estimation P(X|Z) = max( P(X|X’)P(X’|Z’) ) P(Z|X)
P(X)
P(X|Z) : Joint estimation X probability with given labeling Z
P(X|X’) : Transition probability from X’ to X P(X’|Z’) : Last joint estimation probability P(Z|X) : Labeling probability with given joint esti-
mation X P(X) : Joint estimation X probability with given
model
Overview Kinect
Kinect in Research
Kinect in Medical
Touchless Controller http://www.youtube.com/watch?v=M-wL
OfjVfVc
Medical Application 수술실에서 오염되지 않고 기기를 자유롭게 제어할
수 있다 .
스페인 Tedesys 수술실 의사들이 손 동작을 통해 MRI 및 CAT 스캔 영상 제어 .
Kinect in Operation Room http://www.youtube.com/watch?v=ZEQcO
ydY2k8
Fitness Trainer Application http://
www.youtube.com/watch?v=2tSNsb7l0AM
홈 재활운동 트레이너 꾸준한 재활 운동이 필요한 환자
매일 의사나 전문가가 체크하기 어려움
Kinect 를 이용한 자가 재활운동
Conclusion At the research viewport
Kinect is very strong depth input device.
At the development viewport Kinect is very strong motion controller.
At the medical viewport Kinect is some aid.
Q/A
Thank You!