l03 generisanje i percepcija govora
TRANSCRIPT
-
7/25/2019 L03 Generisanje i Percepcija Govora
1/100
G G
P. V DP. V D
FTN N SFTN N S
-
7/25/2019 L03 Generisanje i Percepcija Govora
2/100
T T
A :
()
A :
,
A :
,
2ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
3/100
3ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
4/100
P ( )P ( )
. K ?
K ?
K ? K ?
K () ?
P , ? U ?
K ?
U : , , , .
U , .
://..//.4ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
5/100
P ( )P ( ) K ?
P ?
K , ?
G :
P ? K ?
K ?
?K ?
K .
5ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
6/100
M:M: M M
P : P
O ,
()
6ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
7/100
U VT U VT
P
.
. D ?
K ?
K ?
?
://..//D//.A 7ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
8/100
A A
D D :
V
G
M
R
U P
N ( ) /
A 8ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
9/100
Vm =
xSV =)(xpt )( xxpt +
xx +x
F S
l
2
22
2
2p
cp
=
Sxx
pp tt
+
Spt
f
cx =
-
7/25/2019 L03 Generisanje i Percepcija Govora
10/100
S S
D (. )
, f S
V ( )
pritsak
pritsak
pritsak
zatvoren krajotvoren kraj
...,3,2,1,4
)12( === nL
cn
cf
n
n
...,,,,4
== nn
A 10ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
11/100
U U
N ?
K ?
( 2,5 ) :
34 H 12 B
Hz3400cm5,24
sm3404
1 =
==l
cf
D 17 .U ?
17 :
A ?
Hz500cm174
sm340
41 === l
c
f
A 11ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
12/100
P P
ASR TTS ::: G 12A
-
7/25/2019 L03 Generisanje i Percepcija Govora
13/100
G G
28
8
12
12
=
=
AA
LL
2.112 =LL 2 1
1
cm6.17=L
F1 F2 F3 F4
F1 F2 F3 F4
F1 F2 F3 F4
320 1200 2300 3430
500 1500 2500 3500
a12 =
8
1
12
12
=
=
AA
LL
8/1
3/1
12
12
=
=
AA
LL
8
5.1
12
12
=
=
AA
LL
2
2
2 1
1
1
cm5.1421 =+LL
cm6.1721 =+LL
F1 F2 F3 F4
F1 F2 F3 F4
F1 F2 F3 F4
220 1800 3800
630 1770 3240
260 1990 3050 4130
2280
2230[i]
A 13ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
14/100
K
M
M M
O
F M L A
14ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
15/100
EE
t
iLx
u
=
'
iu 1
tv
xp
=
vc
p =
2
up
iv
=
=
xCt
=
'xt
'
12
Cc
'
'
C
L
i
uZc ==cv
p
Zsc ==
A 15ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
16/100
A A P
v q=v/S A
( )
22' c
Sl
c
V
lCC aa ===
A ()
,
S
llLm aa
== '
A 16ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
17/100
A A Ra 1
, 1 . ,
( )
()
4
8
a
Ra =
a 1
,
, ,
A 17ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
18/100
DD
artikulacioni organi
fonatorni organi
respiratorni organi
A 18ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
19/100
M M
N LC .O
( ) .
A 19ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
20/100
MM
P
V
:
0 125 225 300
0 80 150 200
0 200 350 500
A 20ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
21/100
L L
V E
IMPULSE TRAINGENERATOR I(z)
Pitch Period
AV
Vocal TractParameters
GLOTTAL PULSEMODEL G(z)
U E
VOCAL TRACTMODEL V(z)
RADIATIONMODEL R(z)
RANDOM NOISEGENERATOR N(z)
Voiced/UnvoicedSwitch
AN
uG(n)
pL(n)
A 21ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
22/100
IMPULSE TRAINGENERATOR I(z)
Pitch Period
AV
Vocal TractParameters
GLOTTAL PULSEMODEL G(z)
1/F0
TF.F0 2F0 ...
12 B/
I(F)G(F)
=
L L
VOCAL TRACTMODEL V(z)
RADIATIONMODEL R(z)
RANDOM NOISEGENERATOR N(z)
Voiced/UnvoicedSwitch
AN
uG(n)
pL(n)
A 22ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
23/100
IMPULSE TRAINGENERATOR I(z)
Pitch Period
AV
Vocal TractParameters
GLOTTAL PULSEMODEL G(z)
L L
VOCAL TRACTMODEL V(z)
RADIATIONMODEL R(z)
RANDOM NOISEGENERATOR N(z)
Voiced/UnvoicedSwitch
AN
uG(n)
pL(n)
T
=
F
N(F)
A 23ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
24/100
IMPULSE TRAINGENERATOR I(z)
Pitch Period
AV
Vocal TractParameters
GLOTTAL PULSEMODEL G(z)
+6 B/
V(F) R(F)
L L
VOCAL TRACTMODEL V(z)
RADIATIONMODEL R(z)
RANDOM NOISEGENERATOR N(z)
Voiced/UnvoicedSwitch
AN
uG(n)
pL(n)
1
( )
1
Nk
k
k
GV z
z
=
=
FF
A 24ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
25/100
IMPULSE TRAINGENERATOR I(z)
Pitch Period
AV
Vocal TractParameters
GLOTTAL PULSEMODEL G(z)
+6 B/
1/F0
TF.F0 2F0 ...
12 B/
V(F) R(F)
I(F)G(F)
=
L L
VOCAL TRACTMODEL V(z)
RADIATIONMODEL R(z)
RANDOM NOISE
GENERATOR N(z)
Voiced/UnvoicedSwitch
AN
uG(n)
pL(n)
1
( )
1
Nk
k
k
GV z
z
=
=
FF
T
=
F
N(F)
A 25ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
26/100
M M
M
P
A 26ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
27/100
F F
F0
( ) ( )
A 27ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
28/100
O O
ASR TTS ::: G 28A
-
7/25/2019 L03 Generisanje i Percepcija Govora
29/100
U U
A 29ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
30/100
P P VT VT
A 30ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
31/100
M M
A 31ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
32/100
M:M: M M
ASR SLU ()
P : T U
O
M , ,
32ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
33/100
D D
Slune
koice
Puasto telo
Una
koljka
Sluni kanal
Bubna opna
Presek kroz uho
2.5 0.4 2
A 33ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
34/100
K ?K ?
Spoljanjeuho
zvuk16 kHz
Frekvencija
0
20
-20
-40
Amplitudad
B
Srednjeuho
Kohlearni fluidiUnutranjetrepljaste
elije
50 Hz
35 mm0 Poloaj0 1 2 3 4-
60
Frekvencija kHz
A 34ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
35/100
F F
ASR TTS ::: G 35A
P P
-
7/25/2019 L03 Generisanje i Percepcija Govora
36/100
P P
A 36ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
37/100
O O
nefekvencije
850
32 37 .
M . H : 500 H
Uhu
primetnepro
m
M .
R
100 .
A 37ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
38/100
U U
T f
%
N
P
A
38ASR TTS ::: G
V V
-
7/25/2019 L03 Generisanje i Percepcija Govora
39/100
V V
U 0
K 212, 3122 4132
Izvorni zvuni signalFiltriranje (uklanjanje
prva tri harmonika)
Spektar ostatka
A
39ASR TTS ::: G
S ( )S ( )
-
7/25/2019 L03 Generisanje i Percepcija Govora
40/100
S ()S ()
T = ( )
P
150 300 H V
MH H
V 1000 = 1000 H 60 B
A
40ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
41/100
A
41ASR TTS ::: G
P P
-
7/25/2019 L03 Generisanje i Percepcija Govora
42/100
P P
V 100 200
K 3 15 B
P P (515 )
A
42ASR TTS ::: G
K K
-
7/25/2019 L03 Generisanje i Percepcija Govora
43/100
U
P
K K
O
A
43ASR TTS ::: G
M M
-
7/25/2019 L03 Generisanje i Percepcija Govora
44/100
M M
A
44ASR TTS ::: G
M M
-
7/25/2019 L03 Generisanje i Percepcija Govora
45/100
M M
A
45ASR TTS ::: G
K K
-
7/25/2019 L03 Generisanje i Percepcija Govora
46/100
D CNS?
E: M
,
K
K K
. I?
A
46ASR TTS ::: G
B B
-
7/25/2019 L03 Generisanje i Percepcija Govora
47/100
V
1 H
R
1 H
B B
A
47ASR TTS ::: G
-
7/25/2019 L03 Generisanje i Percepcija Govora
48/100
P , A
1
E
A
48ASR TTS ::: G
F F
-
7/25/2019 L03 Generisanje i Percepcija Govora
49/100
F F
N
2030
.
R 50 ()
A
49ASR TTS ::: G
O ()O ()
-
7/25/2019 L03 Generisanje i Percepcija Govora
50/100
O ()O ()
A
()
P ()
35 50
,
,.
A
50ASR TTS ::: G
J J
-
7/25/2019 L03 Generisanje i Percepcija Govora
51/100
K ?
K ?
K ?
S/ /
J J
ASR TTS ::: A 51
K (0) (0) ?
A
P P
-
7/25/2019 L03 Generisanje i Percepcija Govora
52/100
P P
52ASR TTS ::: A
A
-
7/25/2019 L03 Generisanje i Percepcija Govora
53/100
A
53ASR TTS ::: A
-
7/25/2019 L03 Generisanje i Percepcija Govora
54/100
A
54ASR TTS ::: A
? ?
-
7/25/2019 L03 Generisanje i Percepcija Govora
55/100
? ?
snaga signala
osnovni harmonikoblik obvojnice spektra
55
, ,
.
A
ASR TTS ::: A
S S
-
7/25/2019 L03 Generisanje i Percepcija Govora
56/100
PP 0( )
1H
1H
MM
M M
0
S S
)700]Hz[1ln(1127]mel[ ff +=
ASR TTS ::: A 56
.
A
S S
-
7/25/2019 L03 Generisanje i Percepcija Govora
57/100
Nain Nivo
Max 88dBA
Shout 82dBA
vLoud 74dBA
Raised 65dBA
Normal 57dBA
Relaxed 50dBA
Whisper 40dBA
1m, anechoic
A
57ASR TTS ::: A
P ()P ()
-
7/25/2019 L03 Generisanje i Percepcija Govora
58/100
( ) ( )
A
58ASR TTS ::: A
O O
-
7/25/2019 L03 Generisanje i Percepcija Govora
59/100
59ASR TTS ::: A
A
-
7/25/2019 L03 Generisanje i Percepcija Govora
60/100
G
ASR TTS ::: A 60
A
.
-
7/25/2019 L03 Generisanje i Percepcija Govora
61/100
G
ASR TTS ::: A 61
A
.
D D
-
7/25/2019 L03 Generisanje i Percepcija Govora
62/100
1.
K ?
?
O
2.
K ? K
?
K SNR?
: 8 16 H
D ?
()?
ASR TTS ::: A 62
A
F F
-
7/25/2019 L03 Generisanje i Percepcija Govora
63/100
F
50100 1020
U ( ) :2030
s=
( ) !
( ) ( )
()
A
63ASR TTS ::: A
P P
-
7/25/2019 L03 Generisanje i Percepcija Govora
64/100
P
()
(13B)
K
H, H, B, K
40 B 30 B (+12,18)
A , . 10 .
A
64ASR TTS ::: A
S S
-
7/25/2019 L03 Generisanje i Percepcija Govora
65/100
65ASR TTS ::: A
A
F F
-
7/25/2019 L03 Generisanje i Percepcija Govora
66/100
ASR TTS ::: A 66
A
S S
-
7/25/2019 L03 Generisanje i Percepcija Govora
67/100
ASR TTS ::: A 67
A
T T
-
7/25/2019 L03 Generisanje i Percepcija Govora
68/100
ASR TTS ::: A 68
A
-
7/25/2019 L03 Generisanje i Percepcija Govora
69/100
ASR TTS ::: A 69
T A
U U
-
7/25/2019 L03 Generisanje i Percepcija Govora
70/100
ASR TTS ::: A 70
T A
UU
-
7/25/2019 L03 Generisanje i Percepcija Govora
71/100
ASR TTS ::: A 71
A
B
-
7/25/2019 L03 Generisanje i Percepcija Govora
72/100
A
72
P
M
M
ASR TTS ::: A
P
-
7/25/2019 L03 Generisanje i Percepcija Govora
73/100
P
S
A
73
H
K
P
ASR TTS ::: A
PP
-
7/25/2019 L03 Generisanje i Percepcija Govora
74/100
U
6 B/
74
P (VF )
6 B/
11)(
= zzVF
)1()()( = nsnsns ininout
ASR TTS ::: A
E
PP
-
7/25/2019 L03 Generisanje i Percepcija Govora
75/100
75ASR TTS ::: A
E
PP
-
7/25/2019 L03 Generisanje i Percepcija Govora
76/100
F 2030
P 1015
I ?
ASR TTS ::: A 76
E
S S
-
7/25/2019 L03 Generisanje i Percepcija Govora
77/100
T (H, H)
(30 B)
ASR TTS ::: A 77
E
A A
-
7/25/2019 L03 Generisanje i Percepcija Govora
78/100
s(t) s(t)
x(n) TA
20 30
, . 10
OT
OT1
OT2
O4
O3
O2
O1
78
...C
8
C2
1
10 30
ASR TTS ::: A
E
-
7/25/2019 L03 Generisanje i Percepcija Govora
79/100
D
R
P
J a
=4
max24 r
PJ ar
=
( )
Pa
A
( )
DD
-
7/25/2019 L03 Generisanje i Percepcija Govora
80/100
80
90
100
40
50
60
70
1 2 4 8 16 32 64 128 256
r (m)
p(d
B)
R R
-
7/25/2019 L03 Generisanje i Percepcija Govora
81/100
O P P
( . )
Arh
4
1=
V
D/R D/B
A A
-
7/25/2019 L03 Generisanje i Percepcija Govora
82/100
P
K
JJJ rd +=
V
U
K (K ())
-
7/25/2019 L03 Generisanje i Percepcija Govora
83/100
()
(r)
+=
+=
J
J
J
J
JJJ
dd
r
rd
1
.
+=r1
I I
-
7/25/2019 L03 Generisanje i Percepcija Govora
84/100
R
R (,. )
()
R ()R ()
-
7/25/2019 L03 Generisanje i Percepcija Govora
85/100
U 20
I
( B)
.
V V RTRT6060
-
7/25/2019 L03 Generisanje i Percepcija Govora
86/100
V 60 B
-
7/25/2019 L03 Generisanje i Percepcija Govora
87/100
B
D 30B 12B
18B 100%
R SNR B
: 20B
87
PP
-
7/25/2019 L03 Generisanje i Percepcija Govora
88/100
Effort Level
Max 88dBA
88
vLoud 74dBA
Raised 65dBA
Normal 57dBA
Relaxed 50dBA
Whisper 40dBA
1m, anechoic
-
7/25/2019 L03 Generisanje i Percepcija Govora
89/100
ASR TTS ::: G 89
M M
-
7/25/2019 L03 Generisanje i Percepcija Govora
90/100
65%
75%
60% >90%
90
M O S (MOS)M O S (MOS)
-
7/25/2019 L03 Generisanje i Percepcija Govora
91/100
N
P
M
S
V
91
U U
-
7/25/2019 L03 Generisanje i Percepcija Govora
92/100
92
G G
-
7/25/2019 L03 Generisanje i Percepcija Govora
93/100
()
.
50 55
70
( )
75
(
)
93
U U
-
7/25/2019 L03 Generisanje i Percepcija Govora
94/100
()
( )
( )
4045 5 10
4550 2,5 5
5060 1 2
6065 0,70 1,20
70 0,40 0,80
75 0,22 0,4580 0,13 0,25
85 0,07 0,14
90 0,08
70 B(A) .P 75 B(A) .
94
S S
N 64B 1
-
7/25/2019 L03 Generisanje i Percepcija Govora
95/100
N 64B 1 (+12B) (18B)
ASR TTS ::: G 95
R NF
U U
-
7/25/2019 L03 Generisanje i Percepcija Govora
96/100
R J
NF VF
ASR TTS ::: G 96
U U
-
7/25/2019 L03 Generisanje i Percepcija Govora
97/100
ASR TTS ::: G 97
U U
L
-
7/25/2019 L03 Generisanje i Percepcija Govora
98/100
L L
ASR TTS ::: G 98
U U
P
-
7/25/2019 L03 Generisanje i Percepcija Govora
99/100
P () TR60 = 5
() TR60 = 1
ASR TTS ::: G 99
U U
R
-
7/25/2019 L03 Generisanje i Percepcija Govora
100/100
R
ASR TTS ::: G 100