kgc2015 vr 게임사운드의 믹싱을 위한 준비
TRANSCRIPT
‘VR 게임 사운드의 믹싱’을 위한 준비
(Audio Mixing Preparation for Virtual Reality)
장규식
Sound Director, 멀티미디스튜디오 실장 Facebook: kyusik.chang [email protected]
더욱 현실감있는 ~
개 요
• 3D 게임사운드에서 보다 진화된 현실성(Reality)을 요구하는
가상현실(Virtual Reality) 공간에 대하여 어떠한 이해를 갖고 적응, 개발 하여야 할 것인가에 대한 조사
2
은유적 < 현실적 Metaphor < Realistic
Cinematic
I am ..
3
• 멀티미디스튜디오 실장 (Sound Director, Designer)
• 서울예술대학교, 호서예술전문학교 출강
• 2011~2014 아바, 메트로컨플릭트 前 ㈜레드덕 수석사운드디렉터
• NDC2014, 총소리의 진실과 거짓
• KGC2014, AAA게임들로 살펴본 글로벌 게임사운드의 현재
• KGC2014, 소규모 게임제작자를 위한 게임사운드 개발 방향
• KGC2013, 아바(AVA)의 트레일러, 협업을 통한 사운드 스토리텔링
• KGC2012, 총기 사운드 녹음 및 프로덕션 과정 연구
• KGC2011, FPS 게임의 라우드니스 문제와 표준화의 필요성
• KGC2010, 레이싱게임의 상호작용적인 엔진 사운드 디자인
• 95 ~ 2012, 가요, 광고, 게임사운드 컨설팅 및 외주제작 등
Contents
1. What is Mixing?
2. Perception
3. Distance, Attenuation, Radius & Reverb.
4. Localization
5. Database for HRTF
6. Summary
6
7
믹싱이란 무엇인가?
과일을 믹스할 때
8
1. Mixing
• 이미 무엇을 믹스 할 것인가 정했을 때
• 어느 정도의 양을 섞을 것인가 정했을 때
• 모든 과일이 모였을 때
• 얼마나 오랫동안 버튼을 누르고 있는가?
= 얼마나 잘게 믹스 하는 가?
• ……
• ….
• ...
음악을 믹싱 할 때
9
Sources: commons.wikimedia.org
1. Mixing
10
믹스별 비교
11
재료 과일 음악 게임
어떤 쥬스를 ? 단일종료 or 혼합 팝 or 오케스트라 어떤 전투상태?
품질 (Quality) 최고 품질 좋은편곡
좋은연주자 과연 좋은 샘플?
양 (Amount) 믹서통의 크기 최대음량
(예측가능)
최대음량
(예측불가능)
…. …. …. ….
과일 믹스 < 음악 믹스 < 게임 믹스
1. Mixing
믹싱의 시작되는 시점
12
• ‘모든 것이 모였을 때’
But, Impossible
• 작업 단계별 Mix 필요
• Character Motion, Voice, …..
• Weapons, …..
• Skills, ….
• Maps, ….
• Builds, ….
1. Mixing
Why is Audio Important ?
13
•
– George Lucas
2. Perception
Sound enhances the Perception of
14
• Size, Space and Distance
• Smooth Object Motion
• 소리의 3 요소 – 크기 Loudness: dB
– 주파수 Frequency
– 음색 Timbre
가상의 공간 안에서 구현 • 공간의 잔향은 Reverb Type
2. Perception
15
3. Distance, Attenuation Algorithm
Linear Logarithmic
LogReverse Inverse
Distance & Attenuation
16
Near Medium Far
Distance
0
Max volume
17
3. Distance, Attenuation Algorithm
Linear Logarithmic
LogReverse
Min.
Max
Attenuation Sphere
Radius
18
Reverb
19
20
4. Localization
21
• The ability to predect the position of a virtual sound
source based on nothing but audio.
Interaural time difference (ITD)
Interaural level difference (ILD)
22
• Azimuth Cues
• Elevation Cues
• Range Cues
4. Localization
http://interface.cipic.ucdavis.edu/sound/tutorial/psych.html
Perception of Differences
HRTF (Head-Related Transfer Function)
23
4. Localization, Spatialization
24
• 무향실
• 더미헤드
(Dummy Head)
• Binaural Recording
• Impulse Response
• Database
• HRTF
5. Database
for HRTF
3rd Party HRTF Plug-ins
25
• Oculus Audio
– RealSpace3D, University of Maryland
– HRTF spatialization and integrated reverberation algorithms.
• 3Dception from Two Big Ears
• AstoundSound RTI from GenAudio
• Phonon 3D from Impulsonic
• RealSpace 3D from VisiSonics
3rd Party HRTF Plug-ins
26
• All 3D audio plugins do the same thing
• Several factors to consider when choosing tool
– Ease of use
– Performance
– Sound quality
– Level of customization
HRTF의 문제점
27
• 사람마다 청각의 차이
– 청력의 차이
– 귀의 shape의 차이 등..
• Binaural Recording 이 Dummy Head 기준
• HRTF Impulse Response dB의 값은 연구소 마다 다름
• 사용자 Headphone에 따라서도 다름
• 3rd Party Plug-in 제작사도 모든 DB가 다르며 비공개
5. Database for HRTF
VR Audio Mixing 의 도전
28
• Avoid listener fatigue
• Slower sounds have fewer artifacts
↔ Latency or Loss
• Audio should match visuals
• Not everything needs spatialiation
• Static ambient sounds that aren’t positional
• In-head (Narration, Music, UI)
• Low frequency rumbles
Footstep - Distance
29
Footstep - Direction
30
요 약
31
• Advanced 3D Audio
• Deeply Understand HRTF Mix parameters • Immersive Environment
• Audio is fundamental part of VR immersion.
• High quality sound in integral to the VR experience.
