영상처리를영상처리를이용한이용한로봇로봇주행주행및및...

2009-03-16

2008년 항우기 종합설계로봇시스템제어연구실(RSCL)로봇시스템제어연구실(RSCL)

영상처리를영상처리를 이용한이용한 로봇로봇 주행주행 및및장애물장애물 회피회피 기법기법 연구연구

영상처리를영상처리를 이용한이용한 로봇로봇 주행주행 및및장애물장애물 회피회피 기법기법 연구연구장애물장애물 회피회피 기법기법 연구연구장애물장애물 회피회피 기법기법 연구연구

항공우주 및 기계공학부

이 석 진 이 영 식 김 인 후

((지도교수지도교수: : 권권 상상 주주))

연구 배경연구 배경

로봇 주행 시뮬레이션 연구실제 로봇 메커니즘을 구현하기 전에 동일한 조건 하의 가상 시뮬레이션실제 로봇 메커니즘을 구현하기 전에 동일한 조건 하의 가상 시뮬레이션

실제 시스템에서 발생할 수 있는 문제점을 파악하고 해결하여 개발 과정에 적용

로봇 Localization을위한영상처리연구

명판, 표지판등을이용한간접적인로봇명판, 지판등을이용한간접적인 봇자기위치파악기법모바일로봇에장착된웹캠입력영상을알고리즘을이용하여처리함으로써주위환경의특징을파악하고이를이용하여간접적으로로봇의위치를파악함

무선영상전송연구TCP/IP 무선원격통신을이용하여원격지의HOST PC에영상을전송

로봇주행상황과주위환경을원격으로모니터링

ROBOT SYSTEM CONTROL LAB.2

로봇주행상황과주위환경을원격으로모니터링

Two-wheeled Balancing Robot

로봇로봇주행주행시뮬레이션시뮬레이션연구연구Two wheeled Balancing Robot

두 바퀴의 모터를 구동하여 로봇이 쓰러지지두 바퀴의 모터를 구동하여 로봇이 러지지않게 균형을 잡으면서 주행하는 로봇

Brain Module

Vision(webcam)

Sensor Module

Mobile Module

Laser

Accelerometer

Gyro


Accelerometer

로봇 시뮬레이션 소프트웨어(MRS)를

로봇로봇주행주행시뮬레이션시뮬레이션연구연구로봇 시뮬레이션 소프트웨어(MRS)를이용한 로봇 모델링


MRS를 이용한 로봇 주행 환경 및 센서

로봇로봇주행주행시뮬레이션시뮬레이션연구연구

MRS를 이용한 로봇 주행 환경 및 센서(레이저 센서, 자이로) 모델링

(기계관 4층 복도)


거리센서 모델을 이용한 로봇 주행 알고리즘

로봇로봇주행주행시뮬레이션시뮬레이션연구연구

직선 주행시 커브 주행시

양쪽의 거리센서2개 이용

벽과 1.1m이하 근접시

전방의 거리센서를 이용

2.3m이하로 전방 장애물과 근접시

모터 각속도 조절을 이용해 통로 가운데 주행

좌측 우측 모두 150degree/s

모터의 각속도 조절을 통한 커브주행

(좌측 모터 50degree/s

우측 모터 -50degree/s)


한쪽 모터를 149degree/s

명패 숫자 인식을 이용한 Localization

영상처리영상처리연구연구명패 숫자 인식을 이용한

로봇의측면에 C 을달아로봇의측면에 Cam을달아

복도중앙을주행하면서측

면영상을획득면영상을획득

로봇은수평자세와일정속

도를유지하면서이동도를유지하면서이동

Cam을통해벽에부착된각

호실의명판영상을입력받호실의명판영상을입력받

고영상처리기법을적용하

여로봇의위치를간접적으여로봇의위치를간접적으

로파악.


영상처리 흐름도영상처리영상처리연구연구

로봇로봇 복도복도이동이동

ImageImageProcessing Processing 알고리즘알고리즘적용적용 로봇로봇웹웹캠을캠을

숫자인식숫자인식및및간접적인간접적인로봇로봇위치위치파악파악

영상영상처리처리

알고리즘알고리즘적용적용 로봇로봇웹웹캠을캠을이용하여이용하여복도복도벽에벽에부착된부착된명패의명패의영상을영상을획득획득


위치위치파악파악 획득획득

방방 호수호수 인식을인식을 위한위한 Image Processing Image Processing 절차절차

영상처리영상처리연구연구방방 수수 인식을인식을 위한위한 g gg g 절차절차

1. 1. 영상입력영상입력 2. 2. 이진화이진화 3. 3. 라벨링라벨링 4. 4. 노이즈노이즈제거제거

8. 8. 숫자영역숫자영역 추출추출 11

5. 5. 관심영역추출관심영역추출 6. 6. 관심영역관심영역정규화정규화

7. 7. 기울기에기울기에 의한의한왜곡보정왜곡보정

9. 9. 숫자영역숫자영역 추출추출 22


숫자숫자 인식을인식을 위한위한 Template MatchingTemplate Matching

영상처리영상처리연구연구숫자숫자 인식을인식을 위한위한 p gp g

<매칭실험결과><매칭실험결과>명패의종류에따라 6군데숫자영역을찾아매칭함.숫자가영역내에잘들어온다면 90% 이상신뢰구간에부합하는결과를보임 로봇위치파악가능!


부합하는결과를보임. 로봇위치파악가능!

영상획득 및 압축

영상전송영상전송연구연구영상획득 및 압축

영상획득(VFW)

영상압축(JPEG)

영상전송(TCP/IP)

카메라를통하여입력된영상을저장함.

JPEG 포맷으로영상압축JPEG 포맷으로영상압축현대의많은프로그램들의지원을받는정지화상압축법

카메라가개별이미지를약 30장촬영하고연속적인이미지흐름으로이용함

장점 : 높은압축율, 영상움직임감지나물체추적과같은이미지처리에적합, 단점 : 저화질

영상획득및전송을위해MS Visual C++ MFC 내의 VFW (Video For Window) 프로그래밍을이용


VFW를 이용한 영상 획득 순서

영상전송영상전송연구연구

VFW를 이용한 영상 획득 순서

①캡처된화면을보여줄윈도우영역지정 ⑤콜백함수의호환을위해서비디오포

m_HostVideo.GetWindowRect(),

ScreenToClient()

②비디오캡처윈도우를지정된영역에생

맷설정 capSetVideoFormat()

⑥캡처되는이미지의정보를얻어냄capGetVideoFormat()②비디오캡처윈도우를지정된영역에생

성 capCreateCaptureWindow();

③캡처윈도우와드라이버연결

capDriverConnect()

⑦콜백함수를지정capSetCallbackOnVideoStream()

⑧캡처에필요한정보를세팅후저장capDriverConnect()

④캡처윈도우에프리뷰모드로보여줌

capPreview(), capPreviewRate(),

P i S l ()

capCaptureSetSetup()

⑨캡처링을실시capCaptureSequenceNoFile()

capPreviewScale()

위과정을통해호스트화면에카 위과정을거쳐 CallBack함메라를통한캡쳐된이미지를디스플레이함

위과정을거쳐 CallBack 함수를통한실시간이미지전송기반이마련됨


TCP/IP를 통한 원격 영상 전송

영상전송영상전송연구연구TCP/IP를 통한 원격 영상 전송

영상획득 영상압축 TCP/IP 영상확인

Server Client

Server(로봇)에서영상을획득하고압축함

Socket()

Bind()

Socket()

SERVER CLIENT

득하고압축함.

TCP/IP를통해패킷을전송함.

Client(원격지 PC)에서는영

nd()

Accept()

Listen() Connect()연결요청

Client(원격지 PC)에서는영상을모니터링.Read()&write()

Close()

Read()&write()

Close()

데이터 송수신

연결종료


영상전송 실험 결과

영상전송영상전송연구연구영상전송 실험 결과

클라이언트(원격지 PC)

서버(로봇)에서는원영상을재생하고클라이언트(원격

서버(로봇)클라이언트(원격지 PC)

서버(로봇)에서는원영상을재생하고클라이언트(원격지 PC)에서는수신한영상을재생


결 론

로봇 주행 시뮬레이션 연구

Two‐wheeled robot을모델링을하고실제상황과같은경로Two‐wheeled robot을모델링을하고실제상황과같은경로를지정하여장애물회피시뮬레이션을수행하였음.

MRS Tool을이용하여로봇에사용되는센서와모터제어알MRS Tool을이용하여로봇에사용되는센서와 터제어알고리즘을구현하였음.

실내명패인식을위한영상처리연구

숫자영역이잘들어오는경우에 90% 이상의매칭률을보임.

노이즈가심한경우는인식률이떨어져이에대한추가연구이 가 우 식 이 어져이에대 추가 구가필요함.

영상원격전송연구

10~15프레임으로영상을전송할경우원할한전송가능.

양방향영상및데이터송수신을위한추가연구필요.


영상처리를영상처리를이용한이용한로봇로봇주행주행및및...

Documents