compath:인터랙티브맵인터페이스 기반의음악작곡환경 · related works...

11
COMPath : 인터랙티브 맵 인터페이스 기반의 음악 작곡 환경 박시화, 김승훈, 이사무엘 M.S candidates AIM(Audio & Interactive Media) LAB GSCT, KAIST 2009.12.18 2011년 3월 25일 금요일

Upload: others

Post on 24-Jul-2020

2 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: COMPath:인터랙티브맵인터페이스 기반의음악작곡환경 · Related Works •평면데이터공간에서의시각적정보들을sonification을 통해표현하기위한연구-waveterrainsynthesis,UPIC

COMPath����������� ������������������  :����������� ������������������  인터랙티브����������� ������������������  맵����������� ������������������  인터페이스����������� ������������������  기반의����������� ������������������  음악����������� ������������������  작곡����������� ������������������  환경

박시화, 김승훈, 이사무엘M.S candidates

AIM(Audio & Interactive Media) LABGSCT, KAIST

2009.12.18

2011년 3월 25일 금요일

Page 2: COMPath:인터랙티브맵인터페이스 기반의음악작곡환경 · Related Works •평면데이터공간에서의시각적정보들을sonification을 통해표현하기위한연구-waveterrainsynthesis,UPIC

COMPath

•인터넷����������� ������������������  맵����������� ������������������  인터페이스를����������� ������������������  통해����������� ������������������  지리학적인����������� ������������������  데이터를����������� ������������������  sonification

•지도상에서����������� ������������������  지정된����������� ������������������  경로의����������� ������������������  교통량,����������� ������������������  기온,����������� ������������������  풍속,����������� ������������������  문화����������� ������������������  행사����������� ������������������  등의����������� ������������������  정보를����������� ������������������  소리����������� ������������������  혹은����������� ������������������  음악으로����������� ������������������  바꿀����������� ������������������  수����������� ������������������  있다

•경로를����������� ������������������  지정하는����������� ������������������  것이����������� ������������������  음악을����������� ������������������  작곡하는����������� ������������������  형태����������� ������������������  -����������� ������������������  음악����������� ������������������  창작을����������� ������������������  위한����������� ������������������  비����������� ������������������  전통적����������� ������������������  인터페이스

2011년 3월 25일 금요일

Page 3: COMPath:인터랙티브맵인터페이스 기반의음악작곡환경 · Related Works •평면데이터공간에서의시각적정보들을sonification을 통해표현하기위한연구-waveterrainsynthesis,UPIC

Related Works

•평면����������� ������������������  데이터����������� ������������������  공간에서의����������� ������������������  시각적����������� ������������������  정보들을����������� ������������������  sonification을����������� ������������������  통해����������� ������������������  표현하기����������� ������������������  위한����������� ������������������  연구����������� ������������������  -����������� ������������������  wave����������� ������������������  terrain����������� ������������������  synthesis,����������� ������������������  UPIC����������� ������������������  system,����������� ������������������  Metasynth,����������� ������������������  vOICe����������� ������������������  method,����������� ������������������  Rasterpiece����������� ������������������  

•Sonification을����������� ������������������  통한����������� ������������������  그래프����������� ������������������  인지����������� ������������������  연구����������� ������������������  -����������� ������������������  Alty,����������� ������������������  Rigas,����������� ������������������  Brown,����������� ������������������  Brewster

•지리학적����������� ������������������  통계����������� ������������������  데이터의����������� ������������������  sonification을����������� ������������������  통해����������� ������������������  분포����������� ������������������  인지����������� ������������������  -����������� ������������������  Zhao,����������� ������������������  Ramloll

•모바일����������� ������������������  네비게이션을����������� ������������������  위한����������� ������������������  sonification����������� ������������������  -����������� ������������������  Ontrack,����������� ������������������  Strachan

2011년 3월 25일 금요일

Page 4: COMPath:인터랙티브맵인터페이스 기반의음악작곡환경 · Related Works •평면데이터공간에서의시각적정보들을sonification을 통해표현하기위한연구-waveterrainsynthesis,UPIC

COMPath의 특징• Sonification된����������� ������������������  결과들은����������� ������������������  네비게이션의����������� ������������������  목적이����������� ������������������  아님����������� ������������������  

����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  =>����������� ������������������  지도����������� ������������������  자체를����������� ������������������  소리의����������� ������������������  구조화����������� ������������������  및����������� ������������������  작곡을����������� ������������������  위한����������� ������������������  인터페이스로����������� ������������������  고려

•모바일����������� ������������������  디바이스를����������� ������������������  인터페이스로����������� ������������������  활용한����������� ������������������  연구와����������� ������������������  차이

����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  =>����������� ������������������  인터넷����������� ������������������  지도(Google����������� ������������������  Map)를����������� ������������������  인터페이스로����������� ������������������  사용,����������� ������������������  음악적인����������� ������������������  이벤트들로����������� ������������������  매핑될����������� ������������������  정보의����������� ������������������  선택����������� ������������������  

•인터넷����������� ������������������  맵����������� ������������������  인터페이스를����������� ������������������  통해����������� ������������������  음악����������� ������������������  작곡����������� ������������������  환경����������� ������������������  제공����������� ������������������  

����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  =>����������� ������������������  경로를����������� ������������������  그리므로써����������� ������������������  음악의����������� ������������������  부분으로����������� ������������������  변환될����������� ������������������  다양한����������� ������������������  이벤트들을����������� ������������������  수집����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  =>����������� ������������������  결과적으로����������� ������������������  서로����������� ������������������  다른����������� ������������������  경로는����������� ������������������  서로����������� ������������������  다른����������� ������������������  음악을����������� ������������������  생성

•지도와����������� ������������������  Open����������� ������������������  Source를����������� ������������������  이용한����������� ������������������  풍부한����������� ������������������  정보

����������� ������������������  ����������� ������������������  ����������� ������������������  ����������� ������������������  =>����������� ������������������  작곡을����������� ������������������  위한����������� ������������������  가상의����������� ������������������  무한한����������� ������������������  자원을����������� ������������������  제공

2011년 3월 25일 금요일

Page 5: COMPath:인터랙티브맵인터페이스 기반의음악작곡환경 · Related Works •평면데이터공간에서의시각적정보들을sonification을 통해표현하기위한연구-waveterrainsynthesis,UPIC

System Architecture

사용자����������� ������������������  인터페이스,����������� ������������������  데이타����������� ������������������  매쉬업,����������� ������������������  사운드����������� ������������������  엔진으로����������� ������������������  구성

Logic

2011년 3월 25일 금요일

Page 6: COMPath:인터랙티브맵인터페이스 기반의음악작곡환경 · Related Works •평면데이터공간에서의시각적정보들을sonification을 통해표현하기위한연구-waveterrainsynthesis,UPIC

Mapping Procedure

1.����������� ������������������  경로����������� ������������������  설정

•구글맵����������� ������������������  API����������� ������������������  -����������� ������������������  마우스����������� ������������������  만으로����������� ������������������  사용����������� ������������������  가능

•어떤����������� ������������������  지점을����������� ������������������  지정하면����������� ������������������  마커가����������� ������������������  생성

•마커����������� ������������������  사이에����������� ������������������  녹색����������� ������������������  선을����������� ������������������  통해����������� ������������������  경로를����������� ������������������  표시

•탐색을����������� ������������������  시작하면����������� ������������������  COMPath는����������� ������������������  경로����������� ������������������  주변의����������� ������������������  교통,����������� ������������������  날씨,����������� ������������������  기온,����������� ������������������  지역����������� ������������������  뉴스����������� ������������������  등의����������� ������������������  정보를����������� ������������������  얻기����������� ������������������  위해����������� ������������������  쿼리를����������� ������������������  보냄.

•실시간����������� ������������������  정보들은����������� ������������������  다양한����������� ������������������  색상과����������� ������������������  크기의����������� ������������������  마커로����������� ������������������  지도상에����������� ������������������  표시

•탐색이����������� ������������������  끝나면����������� ������������������  COMPath는����������� ������������������  데이터를����������� ������������������  sonification

•현재����������� ������������������  sonification이����������� ������������������  진행되고����������� ������������������  있는����������� ������������������  지점은����������� ������������������  아이콘을����������� ������������������  통해����������� ������������������  표시

2011년 3월 25일 금요일

Page 7: COMPath:인터랙티브맵인터페이스 기반의음악작곡환경 · Related Works •평면데이터공간에서의시각적정보들을sonification을 통해표현하기위한연구-waveterrainsynthesis,UPIC

Mapping Procedure

2.����������� ������������������  Mashup

• Google����������� ������������������  Map����������� ������������������  API를����������� ������������������  통해����������� ������������������  위치����������� ������������������  정보����������� ������������������  확인

• 위치����������� ������������������  정보를����������� ������������������  바탕으로����������� ������������������  원하는����������� ������������������  정보를����������� ������������������  얻기����������� ������������������  위하여����������� ������������������  OpenAPI를����������� ������������������  통해����������� ������������������  매쉬업����������� ������������������  작업����������� ������������������  실행

• Yahoo����������� ������������������  traffic:����������� ������������������  실시간����������� ������������������  교통����������� ������������������  경고����������� ������������������  정보

• Flickr����������� ������������������  :����������� ������������������  위치태그(geotag)를����������� ������������������  기반으로����������� ������������������  ����������� ������������������  사진의����������� ������������������  위치����������� ������������������  정보

• NOAA(National����������� ������������������  Oceanic����������� ������������������  and����������� ������������������  Atmospheric����������� ������������������  Administration)����������� ������������������  :����������� ������������������  특정����������� ������������������  위치에서의����������� ������������������  최대����������� ������������������  기온,����������� ������������������  최저����������� ������������������  기온,����������� ������������������  풍향,����������� ������������������  풍속����������� ������������������  등과����������� ������������������  같은����������� ������������������  날씨����������� ������������������  정보����������� ������������������  

• Eventful����������� ������������������  :����������� ������������������  문화����������� ������������������  행사����������� ������������������  정보

• Outside.in����������� ������������������  :����������� ������������������  지역����������� ������������������  뉴스의����������� ������������������  발생����������� ������������������  위치����������� ������������������  

• Socialight����������� ������������������  :����������� ������������������  리뷰나����������� ������������������  코멘트가����������� ������������������  남겨진����������� ������������������  위치

• OpenAPI의����������� ������������������  쿼리����������� ������������������  결과����������� ������������������  정보는����������� ������������������  모두����������� ������������������  XML(extensible����������� ������������������  markup����������� ������������������  language)����������� ������������������  형태로����������� ������������������  제공

2011년 3월 25일 금요일

Page 8: COMPath:인터랙티브맵인터페이스 기반의음악작곡환경 · Related Works •평면데이터공간에서의시각적정보들을sonification을 통해표현하기위한연구-waveterrainsynthesis,UPIC

Mapping Procedure

3.����������� ������������������  Sonification����������� ������������������  Mapping

• 정보의����������� ������������������  차원이나����������� ������������������  특성에����������� ������������������  따라����������� ������������������  구분

• 1)����������� ������������������  거리,����������� ������������������  위치,����������� ������������������  온도����������� ������������������  :����������� ������������������  지정된����������� ������������������  지역에서����������� ������������������  정해진����������� ������������������  숫자����������� ������������������  표현

• 신호의����������� ������������������  간격����������� ������������������  시간,����������� ������������������  재생����������� ������������������  속도,����������� ������������������  고정적으로����������� ������������������  발생되는����������� ������������������  소리의����������� ������������������  음조����������� ������������������  등으로����������� ������������������  활용

• 2)����������� ������������������  교통량,����������� ������������������  이벤트,����������� ������������������  장소����������� ������������������  :����������� ������������������  지정한����������� ������������������  위치의����������� ������������������  주변에서����������� ������������������  발생

• 사용자가����������� ������������������  지정한����������� ������������������  위치와의����������� ������������������  거리를����������� ������������������  바탕으로����������� ������������������  여러����������� ������������������  개의����������� ������������������  부분으로����������� ������������������  나눌����������� ������������������  수����������� ������������������  있음

• 구분된����������� ������������������  지역이����������� ������������������  하나의����������� ������������������  음의����������� ������������������  역할

2011년 3월 25일 금요일

Page 9: COMPath:인터랙티브맵인터페이스 기반의음악작곡환경 · Related Works •평면데이터공간에서의시각적정보들을sonification을 통해표현하기위한연구-waveterrainsynthesis,UPIC

Mapping Procedure

• 정보의����������� ������������������  특성을����������� ������������������  기반으로����������� ������������������  세가지����������� ������������������  방법을����������� ������������������  시도

• 1)����������� ������������������  정보의����������� ������������������  종류를����������� ������������������  소리의����������� ������������������  파라미터와����������� ������������������  연관

• 거리에����������� ������������������  따라����������� ������������������  지역을����������� ������������������  구분하고,����������� ������������������  구분된����������� ������������������  지역에서����������� ������������������  각����������� ������������������  정보마다����������� ������������������  서로����������� ������������������  다른����������� ������������������  ����������� ������������������  pitch����������� ������������������  를����������� ������������������  가지며����������� ������������������  각����������� ������������������  정보의����������� ������������������  발생����������� ������������������  갯수가����������� ������������������  소리의����������� ������������������  크기를����������� ������������������  결정

• 2)����������� ������������������  각����������� ������������������  정보를����������� ������������������  서로����������� ������������������  다른����������� ������������������  악기나����������� ������������������  샘플과����������� ������������������  연결

• 거리에����������� ������������������  따라����������� ������������������  지역을����������� ������������������  구분하고,����������� ������������������  각����������� ������������������  지역의����������� ������������������  정보들의����������� ������������������  합이����������� ������������������  note를����������� ������������������  결정

• 구분된����������� ������������������  지역에서����������� ������������������  각각의����������� ������������������  정보는����������� ������������������  서로����������� ������������������  다른����������� ������������������  악기나����������� ������������������  샘플에����������� ������������������  매핑

• 온도나����������� ������������������  위도,����������� ������������������  경도와����������� ������������������  같이����������� ������������������  고정적인����������� ������������������  값들은����������� ������������������  재생����������� ������������������  속도를����������� ������������������  결정

• 3)����������� ������������������  지도상의����������� ������������������  거리����������� ������������������  정보가����������� ������������������  음을����������� ������������������  결정

• 정보의����������� ������������������  종류에����������� ������������������  따라����������� ������������������  악기를����������� ������������������  매핑

• 사용자가����������� ������������������  지정한����������� ������������������  지역으로부터����������� ������������������  발생된����������� ������������������  각����������� ������������������  정보들의����������� ������������������  평균����������� ������������������  거리가����������� ������������������  note를����������� ������������������  결정

• 재생����������� ������������������  속도는����������� ������������������  온도나����������� ������������������  위도,����������� ������������������  경도와����������� ������������������  같은����������� ������������������  고정적인����������� ������������������  값들에����������� ������������������  의해����������� ������������������  결정

2011년 3월 25일 금요일

Page 10: COMPath:인터랙티브맵인터페이스 기반의음악작곡환경 · Related Works •평면데이터공간에서의시각적정보들을sonification을 통해표현하기위한연구-waveterrainsynthesis,UPIC

Demo

2011년 3월 25일 금요일

Page 11: COMPath:인터랙티브맵인터페이스 기반의음악작곡환경 · Related Works •평면데이터공간에서의시각적정보들을sonification을 통해표현하기위한연구-waveterrainsynthesis,UPIC

Future work

•일회성으로����������� ������������������  음의����������� ������������������  연주가����������� ������������������  끝나는����������� ������������������  문제����������� ������������������  =>����������� ������������������  경로����������� ������������������  탐색이����������� ������������������  계속����������� ������������������  반복될����������� ������������������  수����������� ������������������  있도록����������� ������������������  변경

•OpenAPI의����������� ������������������  긴����������� ������������������  로딩����������� ������������������  시간����������� ������������������  문제����������� ������������������  해결

•음악적����������� ������������������  매핑에����������� ������������������  대한����������� ������������������  다양한����������� ������������������  컨트롤����������� ������������������  옵션을����������� ������������������  지원

•여러����������� ������������������  경로를����������� ������������������  동시에����������� ������������������  탐색하여����������� ������������������  동시에����������� ������������������  여러����������� ������������������  음이����������� ������������������  연주될����������� ������������������  수����������� ������������������  있도록����������� ������������������  연구����������� ������������������  필요

•지속적인����������� ������������������  사용자����������� ������������������  평가����������� ������������������  테스트를����������� ������������������  통해����������� ������������������  음악����������� ������������������  작곡����������� ������������������  툴로서����������� ������������������  COMPath의����������� ������������������  가능성����������� ������������������  검증

•지도상의����������� ������������������  정보를����������� ������������������  음악으로����������� ������������������  매핑하는����������� ������������������  방법에����������� ������������������  대한����������� ������������������  추가적인����������� ������������������  연구����������� ������������������  필요

2011년 3월 25일 금요일