ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα 2

42
1 ΗΥ430 Ψηφιακες Επικοινωνιες Μαθημα 2 Περιληψη Θεωριας Πιθανοτητων

Upload: tamesis-tanith

Post on 03-Jan-2016

47 views

Category:

Documents


4 download

DESCRIPTION

ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα 2. Περιληψη Θεωριας Πιθανοτητων. Σπουδαιοτητα των στοχαστικων διαδικασιων. Οι τυχαιες διαδικασιες και μεταβλητες μας επιτρεπουν να χειριζομαστε ποσοτητες και σηματα που δεν τα ξερουμε εκ των προτερων - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

1

ΗΥ430 Ψηφιακες ΕπικοινωνιεςΜαθημα 2

Περιληψη Θεωριας Πιθανοτητων

Page 2: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

2

Σπουδαιοτητα των στοχαστικων διαδικασιων

• Οι τυχαιες διαδικασιες και μεταβλητες μας επιτρεπουν να χειριζομαστε ποσοτητες και σηματα που δεν τα ξερουμε εκ των προτερων

• Τα δεδομενα και τα σηματα που μεταδιδονται μεσα απο τα τηλεπικοινωνιακα συστηματα θεωρουνται τυχαια.

• Ο θορυβος, οι παρεμβολες, οι παραμορφωσεις και οι διαλειψεις (fading) που εισαγονται απο το καναλι επισης προσομοιωνονται με στοχαστικες διαδικασιες.

• Ακομα και το κριτηριο αξιοπιστιας μεταδοσης (BER- Bit Error Rate ή πιθανοτητα σφαλματος bit) εκφραζεται με πιθανο-θεωρητικους ορους

Page 3: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

3

Τυχαια γεγονοτα

• Οταν εκτελουμε ενα τυχαιο πειραμα, μπορουμε να χρησιμοποιη-σουμε συμβολα της θεωριας συνολων για να περιγραψουμε τα δυνατα αποτελεσματα.

• Παραδειγμα: Ριχνουμε ενα ζαρι.

Δυνατα αποτελεσματα S = {1,2,3,4,5,6}

• Γεγονος ειναι καθε υποσυνολο δυνατων αποτελεσματων: Α={1,2}

• Συμπληρωματικο γεγονος του Α ειναι το: = S –A = {3,4,5,6}

• Το συνολο ολων των αποτελεσματων ειναι το σιγουρο γεγονος S

ή ο χώρος αποτελεσμάτων ή ο χωρος δειγματων

• Το κενο γεγονος ειναι το:

• Η μεταδοση ενος bit, π.χ., ειναι ενα τυχαιο πειραμα

A

Page 4: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

4

Πιθανοτητα

• Η πιθανοτητα P(A) ειναι ενας αριθμος ο οποιος μετρα την πιθανοφανεια του γεγονοτος Α.

– Στον χωρο δειγματων S={1,2,3,4,5,6} του προηγουμενου παραδειγματος αν Α={1,2} τοτε Ρ(Α) = 1/3 και

Ρ({αρτιο αποτελεσμα})=1/2Αξιωματα της θεωριας πιθανοτητων

• Ουδεν γεγονος εχει αρνητικη πιθανοτητα: P(A)0• P(A)1 και { P(A) = 1 A = S}.• Αν Α και Β ειναι δυο ξενα γεγονοτα δηλ. αν ΑΒ=

τοτε P(A B) = P(A) + P(B).

• Oλες οι αλλες ιδιοτητες των πιθανοτητων ειναι απόρροια αυτων των αξιωματων

Page 5: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

5

Διαγραμματα Venn

Page 6: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

6

Σχεσεις μεταξυ τυχαιων γεγονοτων

• Η απο κοινου πιθανοτητα των Α και Β ειναι η πιθανοτητα να συμβουν και τα δυο γεγονοτα: P(A,B) = P(A B)

• Υπο συνθηκη πιθανοτητα P(A|B) = P(A,B) / P(B) Είναι η πιθανοτητα οτι θα συμβει το Α δεδομενου οτι συνέβη το Β

• Ετσι P(A,B) = P(A|)P(B) = P(Β|Α)P(Α)

• Στατιστικη ανεξαρτησια:– Τα γεγονοτα Α και Β ειναι στατιστικα ανεξαρτητα αν:

P(A,B) = P(A) P(B)

– Αν τα Α και Β ειναι ανεξαρτητα τοτε:

P(A|B) = P(A) και P(B|A) = P(B)

Παραδειγμα: Τα αποτελεσματα της ριψης δυο ζαριων ή τα αποτελεσματα της ριψης του ιδιου ζαριου δυο φορες (εκτος αν είναι

πειραγμενο…)

Page 7: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

7

Παραδειγμα στατιστικης εξαρτησης

• Εστω S o χωρος αποτελεσματων του πειραματος ριψης του ζαριου. Θεωρειστε τα γεγονοτα Α={3} και Β={1,2,3,6}

• Ρ(Α)=1/3 και Ρ(Β)=4/6=2/3• Ρ(Α|Β) = 1/4 = Ρ(Α,Β)/Ρ(Β) = Ρ(Α,Β)/(2/3) Ρ(Α,Β) = (1/4)(2/3) = 1/6 Οποτε Ρ(Α)Ρ(Β) = (1/3)(2/3) = 2/9 1/6 = Ρ(Α,Β)• Δηλαδη τα γεγονοτα Α και Β είναι εξαρτημενα• Ποση ειναι η Ρ(Β|Α) ??• Τι εξαρτηση εχουν τα γεγονοτα Γ={4} και Β ?

Page 8: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

8

1ο Παραδειγμα στατιστικης ανεξαρτησιας

• Θεωρειστε τον χωρο Ω που αποτελειται απο τα 52 αποτελεσματα του τυχαιου πειραματος που ειναι η επιλογη ενος φυλλου μιας τραπουλας .

• Τα γεγονοτα Α={επιλογη νταμας} και Β={επιλογη κοκκινου φυλλου} ειναι ανεξαρτητα διοτι:

• Ρ(Α)=4/52=1/13, Ρ(Β) = 26/52=1/2

• Ρ(Α,Β) = Ρ(επιλογη κοκκινης νταμας) = 2/52 =1/26

οποτε Ρ(Α,Β) = Ρ(Α)Ρ(Β)

• Επισης Ρ(Α|Β)=2/26=1/13=Ρ(Α), και Ρ(Β|Α)=2/4=1/2=Ρ(Β)

Page 9: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

9

2ο Παραδειγμα στατιστικης ανεξαρτησιας

• Στον χωρο S = {1,2,3,4,5,6} των αποτελεσματων της ριψης ζαριου οριζουμε τα γεγονοτα Α={i < 3} και Β= {i = αρτιος}.

• Ειναι Ρ(Α)=2/6=1/3 και Ρ(Β)=3/6 = 1/2

• Η Ρ(Α,Β) = Ρ(i=2) = 1/6 = Ρ(Α) Ρ(Β)

• Επισης Ρ(Α|Β)= 1/3 =Ρ(Α) και Ρ(Β|Α) = 1/2 = Ρ(Β)

• Σημειωτεον οτι το γεγονος Γ = {i 3} δεν ειναι ανεξαρτητο του Β (γιατι??)

Page 10: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

10

Θεωρημα Ολικης Πιθανοτητας

• Αν τα γεγονοτα Εi, i=1,2,…n αποτελουν ένα διαμερισμο του χωρου αποτελεσματων S, δηλαδη αν:

• ΚΑΙ, αν για το γεγονος Α εχουμε τις υπο συνθηκη πιθανοτητες Ρ(Α|Εi), i=1,2,…,n τοτε μπορουμε να βρουμε την πιθανοτητα Ρ(Α) μεσω του θεωρηματος της ολικης πιθανοτητας

1 και ( , ) ,

n

i i j i ji

E S E E E E i j

1

( ) ( ) ( | )n

i ii

P A P E P A E

Page 11: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

11

Παραδειγμα εφαρμογης του Θεωρηματος της Ολικης Πιθανοτητας

• Θεωρειστε τον χωρο αποτελεσματων S που προκυπτει από το ρίξιμο ενός ζαριου, και τα γεγονοτα Εi ={i}.

• Τα Εi αποτελουν ένα διαμερισμο του χωρου S

• Θεωρειστε το γεγονος Α={αρτιο αποτελεσμα} και εστω Q το αποτελεσμα ενός πειραματος. Η Ρ(Α) βρισκεται ως εξης:

n

i=1

( ) ( αρτιος αριθμος)= ( ) ( | )

( 2) ( αρτιος αριθμος|Q=2)+ ( 4) ( αρτιος αριθμος|Q=4)+

1 1 1 1+ ( 6) ( αρτιος αριθμος|Q=6)= 1 1 1

6 6 6 2

i iP A P Q P E P A E

P Q P Q P Q P Q

P Q P Q

Page 12: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

12

Κανονας του Bayes• Ο κανονας του Bayes δινει την υπο συνθηκη πιθανοτητα

Ρ(Εi|Α) αν ξερουμε τις υπο συνθηκη πιθανοτητες Ρ(Α|Εi) μεσω της σχεσης:

• Παραδειγμα: Για το προηγουμενο παραδειγμα βρισκουμε την Ρ(Ε2|Α) ως εξης

1

( ) ( | ) ( ) ( | )( | )

( )( ) ( | )

i i i ii n

j jj

P E P A E P E P A EP E A

P AP E P A E

2 22

11( ) ( | ) 16( | )

1( ) 32

P E P A EP E A

P A

Page 13: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

13

Ασκηση

• Σε μια πολη τρεις μαρκες αυτοκινητων, A, B and C κατεχουν το 20%, 30% και 50% της αγορας, αντιστοιχα.

• Η πιθανοτητα να χρειασθει ενα αμαξι επισκευη τον πρωτο χρονο κυκλοφοριας του ειναι 5%, 10% και 15%, αντιστοιχα.

• (a) Ποια ειναι η πιθανοτητα επισκευης ενος αμαξιου τον πρωτο χρονο κυκλοφοριας του??

• (b) Αν ενα αμαξι εχει αναγκη επισκευης τον πρωτο χρονο ποια ειναι η πιθανοτητα να ειναι μαρκας Α?

Page 14: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

14

Απαντηση

Page 15: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

15

Εφαρμογη στις επικοινωνιες

• Μεταδιδονται σηματα Εi με πιθανοτητες P(Ei).

• Στον Δεκτη λαμβανεται το σημα R.

• Απο μετρησεις εχουμε βρει τις πιθανοτητες Ρ(R|Ei).

• Μας ενδιαφερουν οι πιθανοτητες P(Ei|R).

• Πως βρισκουμε τις P(Ei|R)??

• Κανονας Bayes

( | ) ( ) ( | ) ( )( | )

( ) ( | ) ( )i i i i

ij j

j

P R E P E P R E P EP E R

P R P R E P E

Page 16: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

16

Τυχαιες Μεταβλητες (rv - random variables)

• Μια τυχαια μεταβλητη X(s) ειναι μια πραγματικη συναρτηση με πεδιο ορισμου τον χωρο των γεγονοτων S, s S.

• Μια τυχαια μεταβλητη μπορει να ειναι:– Διακριτη, ή– Συνεχης

• Μια τυχαια μεταβλητη μπορει να περιγραφεί:– Με το συμβολο της, π.χ. το Χ (παντοτε κεφαλαίο)– Με την περιοχη τιμων της: π.χ. Χ – Με την περιγραφη της κατανομης των τιμων της x (οι τιμες που

παιρνει η μεταβλητη συμβολιζονται με μικρο γραμμα)

• Η σχεση Χ=x συμβολιζει το ότι η τυχαια μεταβλητη Χ πηρε την τιμη x

Page 17: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

17

Συναρτηση κατανομης πιθανοτητας (PDF)

• Ονομαζεται και συναρτηση αθροιστικης κατανομης (Cumulative Distribution Function – CDF)

• Ορισμος: FX(x) = F(x) = P(X x) = P[sS: X(s)x]

• Ιδιοτητες:

– Η F(x) ειναι μονοτονα μη αυξανομενη

δηλαδη F(a)≤ F(b) αν a ≤ b

– F(-) = 0

– F() = 1

– P(a < X b) = F(b) – F(a)

• Μολονοτι η CDF περιγραφει πληρως την κατανομη τιμων μιας τυχαιας μεταβλητης, χρησιμοποιειται συνηθεστερα η pdf ή pmf

Page 18: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

18

Συναρτηση Πυκνοτητας Πιθανοτητας (pdf)

• Ορισμος: fX(x) = dFX(x) /dx ή f(x) = dF(x) /dx • Η pdf παριστανει τον ρυθμο αυξησης της CDF ή το ποσο πιθανο

ειναι να λαβει η X την τιμη x• Ιδιοτητες:

– f(x) 0 – f(x)dx = 1, - b

– P(a < X b) = f(x)dx = F(b) – F(a) x a

– F(x) = f(s)ds -∞

Page 19: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

19

Αναμενόμενες τιμες (Expected values)

• Οι αναμενόμενες τιμες ειναι ενας συντομος τροπος (μερικης) περιγραφης μιας τυχαιας μεταβλητης X

• Οι πιο σπουδαιες ειναι:

– Η μεση τιμη: Ε(Χ) = mX = xf(x)dx -

– H μεταβλητοτητα σΧ2 = E([X – mX ]2) = (x – mX )2 f(x)dx

- – H σΧ ονομαζεται τυπικη αποκλιση

• Ο υπολογισμος της αναμενομενης τιμης γινεται με αναλογο τροπο και για οποιαδηποτε συναρτηση g(X) της Χ Ε[g(X)] = g(x)f(x)dx -

Page 20: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

20

Ιδιοτητες μεσης τιμης και μεταβλητοτητας

• Η μεση τιμη είναι ένα συνηθως ένα μετρο της μεσης τιμης των τιμων που παρνει η r.v. σε μεγαλο αριθμο πειραματων– Ε[cX] = cE[X]

– E[c] = c

– E[X+c] = E[X]+c οπου c = σταθερα

• H μεταβλητοτητα είναι ένα μετρο της διασπορας των τιμων της r.v. γυρω από την μεση τιμη

– σΧ2 = VAR[X] = Ε[(Χ – mX)2]

– VAR(cX) = c2 VAR(X)

– VAR(c) = 0

– VAR(X+c) = VAR (X)

Page 21: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

21

Ανισοτητα Chebyshev

• Εστω Χ τυχαια μεταβλητη με μεση τιμη mX και μεταβλητοτητα σΧ

2

• Τοτε για καθε δ, P(|X - mX | δ) σΧ2 / δ2

• Το μεγεθος της μεταβλητοτητας καθοριζει το τροπο που κατανεμονται οι τιμες της γυρω απο την μεση τιμη της

• Το οριο που καθοριζεται απο την ανισοτητα Chebyshev χρησιμοποιειται για τον προσδιορισμο των διαστηματων εμπιστοσυνης στις τιμες μιας προσομοιωσης.

Page 22: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

22

1ο Παραδειγμα: Ομοιομορφη κατανομη

0.1, 0 x 10

f(x) =

0, αλλου

f(x)

x0 10

0.1

Μια συνεχης τυχαια μεταβλητη εχει ομοιομορφη κατανομη μεταξυ a και b, αν παιρνει τιμες με ιση πιθανοτητα σε διαστηματα με ισο μηκος.

Με τη μεταβλητη αυτή παριστανουμε την αγνωστη φαση ενός ημιτονοειδους σηματος μεταξυ 0 και 2πή –π και π

Page 23: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

23

1o Παραδειγμα (συνεχεια)

• Μεση τιμη

1010 10 2

0 0 0

1( ) 5

10 20X

xm xf x dx x dx

• Μεταβλητοτητα

102 2 2

0

1 5( 5) ( ) ( 5)

10 6X x f x dx x dx

• Υπολογισμος πιθανοτητας:

9 9

6 6

1(6 9) ( ) 0.3

10P x f x dx dx

Page 24: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

24

2ο Παραδειγμα: Gaussian pdfΚανονικη κατανομη

2

2

( )

2

2

1( )

2

X

X

x m

X

p x e

Μια Gaussian τυχαια μεταβλητη καθοριζεται πληρως απο την μεση τιμη και την μεταβλητοτητα της (ή την τυπικη αποκλιση).

N(mX, σΧ2)

N(0,1)

Η πιο σπουδαια και κοινηrv. Ο θερμικος θορυβοςεχει κανονικη κατανομη

σ

Page 25: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

25

Ενα τηλεπικοινωνιακο συστημα με Gaussian θορυβο

Η πιθανοτητα να κανει σφαλμα ο δεκτης όταν στελνεται το S=-a (οποτε το λαμβανομενο σημα είναι το R=-a+N το οποιο εχει κατανομη Ν(-a,σn) ) ειναι:

Πομπος + Δεκτης

S {a} R=S+N

N= Ν(0,σ2)

2

2

( )

2

20

1( 0 | )

2n

x a

nn

aP R S a e dx Q

R 0??<>

Page 26: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

26

Η συναρτηση σφαλματος Q-function

• Η συναρτηση σφαλματος ειναι ο τυπικος τροπος εκφρασης της πιθανοτητας σφαλματος σε κλειστη μορφη

2

21 1

( )22 2

u

x

xQ x e du erfc

• Aριθμητικος υπολογισμος της συναρτησης Q:2

22 4 2

1 1 1 3 ( 1) 1 3 ... (2 1)( ) 1 ...

2

x n

n

nQ x e

x x xx

2

21

,2

x

ex

για x 3

N(0,1)

Page 27: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

27

Η συναρτηση Q και η προσέγγιση της

x

Page 28: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

28

3ο Παραδειγμα- Rayleigh pdf

• Εστω 2 2R X Y

οπου οι Χ και Υ ειναι Gaussian r.v. με μεση τιμη 0 και μεταβλητοτητα σ2

• H R ειναι μια τυχαια μεταβλητη με κατανομη Rayleigh

2 2( / 2 )2

( ) rR

rp r e

• H Rayleigh pdf χρησιμοποιειται συχνα για την προσομοιωση του φαινομενου των διαλειψεων (fading) οταν δεν εχουμε σημα οπτικης επαφης σε μια ασυρματη συνδεση αλλα σηματα απο πολλαπλες διοδευσεις

Page 29: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

29

Η Rayleigh pdf

Page 30: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

30

Συναρτησεις μαζας πιθανοτηταςProbability Mass Functions (pmf)

• Μια διακριτη τυχαια μεταβλητη μπορει να περιγραφεί με pdf αν επιτρεψουμε την χρηση κρουστικων συναρτησεων

• Συνηθως ομως χρησιμοποιουμε τις συναρτησεις μαζας πιθανοτητας (pmf):

p(x) = P(X = x)• Εχει ιδιοτητες αντιστοιχες της pdf, δηλ.

– p(x) 0

– Σ p(x) =1

– P(a X b) = ( )b

a

p x

Page 31: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

31

Μεσες τιμες διακριτων τυχαιων μεταβλητων

• Για τις διακριτες τυχαιες μεταβλητες εχουμε:

2 2 2Χ

[ ] ( )

και

[ ( )] ( ) ( )

Ετσι:

VAR(X)=σ [( ) ] ( ) ( )

i i Xi

i ii

X i X ii

E X x P X x m

E g X g x P X x

m x m P X x

Page 32: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

32

Παραδειγμα #1: Δυαδικη κατανομη

• Χρησιμοποιειται συχνοτατα για την παρασταση δυαδικων δεδομενων

• Μεση τιμη:

• Μεταβλητοτητα:

• Αν οι Χ και Υ ειναι ανεξαρτητες δυαδικες τυχαιες μεταβλητες,

τοτε pXY(0,0) = pX(0) pY(0) = ½ ½ =1/4

1/ 2, 01/ 2, 1( ) x

xp x

1 1 1( ) 0 12 2 2Xx

m x p x

2 2 2 2( ) ( ) ( 1 2) 1 2 (1 2) 1 2 1 4X Xx

x m p x

Page 33: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

33

Παραδειγμα #2: Δυωνυμικη κατανομή

• Αν 1

n

ii

Y X

οπου οι {Χi, i=1,2,…,n} ειναι ανεξαρτητες

δυαδικες τυχαιες μεταβλητες με: 1 , 0, 1( ) p x

X p xp x

• τοτε η κατανομη της Y ειναι

!( ) (1 ) ,

!( )!n y n y n

Y y y

np y p p

y n y

• Μεση τιμη: mY = n p

• Μεταβλητοτητα: 2 (1 )n p p

Page 34: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

34

Παραδειγμα #2: Δυωνυμικη κατανομή (2)

• Υποθεστε οτι εκπεμπουμε μια ακολουθια απο 31 bits κωδικοποιημενη με κωδικα διορθωσης εως και 3 λαθων

• Αν η πιθανοτητα σφαλματος ενος bit ειναι p=0.001 ποια ειναι η πιθανοτητα να ληφθεί η ακολουθια με σφαλμα??

• P(εσφαλμενη ακολουθια) = 1- P(ορθη ληψη ακολουθιας)=

3

31 31 8

0

1 (0.999) (0.001) 3 10i ii

i

• Αν δεν χρησιμοποιηθει ο κωδικας διορθωσης λαθων η πιθανοτητα σφαλματος ειναι: 1 – (1-0.001)31 = 0.0305 = 3 10-2

Page 35: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

35

Πολλαπλες τυχαιες μεταβλητες

• Εστωσαν οι r.v. Χ και Y που οριζονται στον ιδιο χωρο δειγματων S. H από κοινου αθροιστικη συναρτηση κατανομης (joint cdf) οριζεται ως:

FX,Y(x,y) = P(X ≤ x, Y ≤ y)

= Ρ{s S | X(s) ≤ x, Y(s) ≤ y}• ενώ η από κοινου συναρτηση κατανομης πιθανοτητας

(joint pdf) οριζεται ως:2

, ,( , ) ( , )X Y X Yf x y F x yx y

Page 36: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

36

Πολλαπλες τυχαιες μεταβλητες (συνεχ.)

• Οι οριακες (marginal) CDFs και pdfs των Χ και Y είναι οι:

• Μπορουμε επισης να ορισουμε την υπο συνθηκη (conditional) pdf fX|Y(x|y) = fX,Y(x,y)/fΥ(y) ενώ για στατιστικα ανεξαρτητες r.v. εχουμε fX,Y(x,y) = fX(x) fY(y)

• Ομοιως μπορουμε να ορισουμε συναρτησεις των δυο μεταβλητων g(Χ,Υ) και να υπολογισουμε τις μεσες τιμες τους, όπως είναι η συμμεταβλητοτητα (covariance)

COV(X,Y) = σΧ,Υ2 = Ε[(Χ-mX)(Y-mY)] = Ε[ΧΥ]-mXmY

• Αν οι Χ και Υ ειναι ανεξαρτητες τοτε σΧ,Υ2 = 0

• To αντιστροφο δεν ισχυει παρα μονο για Gaussian r.v.

, ,

, ,

( ) ( , ), ( ) ( , )

( ) ( , ) , ( ) ( , )

X X Y Y X Y

X X Y Y X Y

F x F x F y F y

f x f x y dy f y f x y dx

Page 37: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

37

Από κοινου Gaussian μεταβλητες

• Η από κοινου pdf δυο από κοινου Gaussian μεταβλητων είναι η:

• οπου σΧ,Υ2 = Ε[(Χ-mX)(Y-mY)]

• αν σΧ,Υ = 0 τοτε fX,Y(x,y) = fX(x)fY(y) => X,Y ανεξαρτητες

δηλ. για Gaussian r.v ανεξαρτησια μηδενικη συσχετιση• Ο τυπος μπορει να επεκταθει σε n από κοινου Gaussian μεταβλητες

2 2,

2 2 2,

2 ( )( )( ) ( )1 2(1 )1

( , ), 22 1 ,

X YX Y

Y Y

x m y mx m y m

f x yX Y e

Page 38: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

38

Αθροισματα τυχαιων μεταβλητων

• Αν εχουμε μια ακολουθια n τυχαιων μεταβλητων (Χ1, Χ2,…,Χn) με βασικα τις ιδιες ιδιοτητες, το μεσο αθροισμα τους αναμενεται να εχει λιγωτερο τυχαια συμπεριφορα από την κάθε μεταβλητη.

• Ο Νομος των Μεγαλων Αριθμων και το Κεντρικο Οριακο Θεωρημα αποτελουν τηνν μαθηματικη διατυπωση αυτου του γεγονοτος.

Page 39: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

39

Ασθενης Νομος των Μεγαλων Αριθμων

• Αν οι τυχαιες μεταβλητες Χ1, Χ2,…,Χn είναι ασυσχετιστες με μεσες τιμες ισες με mX και μεταβλητοτητες ισες με σΧ

2 <∞ τοτε για κάθε ε > 0 εχουμε

• Δηλαδη ο μεσος ορος του αθροισματος των μεταβλητων συγκλινει (ως προς την πιθανοτητα) στην κοινη μεση τιμη

1

1lim (| | ) 0 οπου

n

X in

i

P Y m Y Xn

Page 40: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

40

Κεντρικο οριακο θεωρημα

• Το Κεντρικο Οριακο Θεωρημα (Central Limit Theorem – CLT) περιγραφει την κατανομη της μεσης τιμης του αθροισματος μεγαλου πληθους τυχαιων μεταβλητων.

• Οι ανεξαρτητες τυχαιες μεταβλητες Χ1, Χ2,..., ΧΝ εχουν την ιδια pdf με μεση τιμη 0 και μεταβλητοτητα σ

• Οριζουμε την r.v.

• Καθως το Ν η κατανομη της Υ τεινει προς την κανονικη (Gaussian) κατανομη Ν(0,σ2/Ν))

• Στην πραξη, το φαινομενο γινεται εμφανες ακομα και για Ν=10• Ο θερμικος θορυβος προκαλειται απο την τυχαια κινηση των (σχεδον

απειρων το πληθος) ηλεκτρονιων. Κατα συνεπεια μπορει να θεωρηθει με μεγαλη ακριβεια οτι η κατανομη του θερμικου θορυβου ειναι Gaussian.

1

1 N

iY XN

Page 41: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

41

Παραδειγμα για το κεντρικο οριακο θεωρημα

Ν=10N=10

μ=0, σ=1 Ν=2

Ν=5

Page 42: ΗΥ 4 30 Ψηφιακες Επικοινωνιες Μαθημα  2

42

Παραδειγμα

• http://www.jhu.edu/virtlab/stats/Stats.html