többváltozós statisztikai módszerek (elektronikus...

Többváltozós statisztikai módszerek

(elektronikus tananyag)

Bolla Marianna, Krámli András, Nagy-György Judit

Tartalomjegyzék

1. El®ismeretek 1.: valószín¶sgelmélet 91.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.1.1. Valószín¶ségelméleti alapismeretek . . . . . . . . . . . . . 91.1.2. Feltételes várható érték . . . . . . . . . . . . . . . . . . . 121.1.3. A normális eloszlásból származtatott eloszlások . . . . . . 151.1.4. Többváltozós ismeretek . . . . . . . . . . . . . . . . . . . 18

1.2. Feladatok . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201.3. Tesztek . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28

2. El®ismeretek 2.: statisztikai alapok 312.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

2.1.1. Az egyváltozós statisztika alapfogalmai . . . . . . . . . . . 312.1.2. Becsléselmélet . . . . . . . . . . . . . . . . . . . . . . . . . 392.1.3. Hipotézisvizsgálat . . . . . . . . . . . . . . . . . . . . . . 45


3. A többdimenziós normális eloszlás, Wishart eloszlás 813.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

3.1.1. Többdimenziós normális eloszlás . . . . . . . . . . . . . . 813.1.2. Wishart eloszlás . . . . . . . . . . . . . . . . . . . . . . . 86


4. Paraméterbecslés és hiptézisvizsgálat többdimenziós normális modellben 994.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

4.1.1. Paraméterbecslés többdimenziós normális modellben . . . 994.1.2. Hipotézisvizsgálat többdimenziós normális modellben . . 101


5. Lineáris módszerek 1.: f®komponensanalízis, faktoranalízis 1095.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109

5.1.1. F®komponensanalízis . . . . . . . . . . . . . . . . . . . . . 109

3

4 TARTALOMJEGYZÉK

5.1.2. Faktoranalízis . . . . . . . . . . . . . . . . . . . . . . . . . 1135.2. Feladatok . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1165.3. Tesztek . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

6. Lineáris módszerek 2.: regresszióanalízis, a legkisebb négyzetek módszere1216.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

6.1.1. Regresszióanalízis . . . . . . . . . . . . . . . . . . . . . . . 1216.1.2. Legkisebb négyzetek módszere . . . . . . . . . . . . . . . 123


7. Lineáris módszerek 3.: Egy- és többszempontos varianciaanalízis1357.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135

7.1.1. Egyszempontos varianciaanalízis . . . . . . . . . . . . . . 1357.1.2. Többszempontos varianciaanalízis interakcióval . . . . . . 140


8. Kontingenciatáblák elemzése: diszkriminanciaanalízis, korrespondenciaanalízis, információelmélet1478.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147

8.1.1. Diszkriminanciaanalízis . . . . . . . . . . . . . . . . . . . 1478.1.2. Korrespondanciaanalízis . . . . . . . . . . . . . . . . . . . 1538.1.3. Információelméleti módszerek . . . . . . . . . . . . . . . . 1568.1.4. Az I-vetület numerikus meghatározása . . . . . . . . . . 164


9. Klaszteranalízis, többdimenziós skálázás 1699.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169

9.1.1. Klaszteranalízis . . . . . . . . . . . . . . . . . . . . . . . . 1699.1.2. Többdimenziós skálázás . . . . . . . . . . . . . . . . . . . 172


10.Többváltozós küszöbmodellek, logit, probit 17910.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17910.2. Feladatok . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17910.3. Tesztek . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

11.Randomizált módszerek nagyméret¶ problémákra 18111.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18111.2. Feladatok . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18211.3. Tesztek . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

TARTALOMJEGYZÉK 5

12.Algoritmikus modellek 18312.1. Elméleti háttér . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183

12.1.1. ACE-algoritmus (általánosított regresszióra) . . . . . . . . 18312.1.2. Jackknife eljárás . . . . . . . . . . . . . . . . . . . . . . . 18712.1.3. Bootstrap eljárás . . . . . . . . . . . . . . . . . . . . . . . 189

12.2. Feladatok . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19112.3. Útmutatások . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19312.4. Végeredmények . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193

13.Függelék 19513.1. Lineáris algebra . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19513.2. Függelék 2: Valószín¶ségelméleti képletgy¶jtemény . . . . . . . . 201

13.2.1. Kolmogorov axiómái: . . . . . . . . . . . . . . . . . . . . . 20113.2.2. Szitaformula: . . . . . . . . . . . . . . . . . . . . . . . . . 20113.2.3. Események függetlensége, feltételes valószín¶ség . . . . . . 20113.2.4. Valószín¶ségi változó . . . . . . . . . . . . . . . . . . . . . 20213.2.5. Valószín¶ségi változó momentumai: . . . . . . . . . . . . . 20313.2.6. A generátorfüggvény: . . . . . . . . . . . . . . . . . . . . 20413.2.7. A karakterisztikus függvény: . . . . . . . . . . . . . . . . . 20413.2.8. Nevezetes diszkrét eloszlások: . . . . . . . . . . . . . . . . 20513.2.9. Nevezetes abszolút folytonos eloszlások: . . . . . . . . . . 20513.2.10.Sztochasztikus konvergencia, majdnem biztos konvergencia:20613.2.11.Nevezetes összefüggések . . . . . . . . . . . . . . . . . . . 20713.2.12.Spektrálel®állítási tétel . . . . . . . . . . . . . . . . . . . . 207

6 TARTALOMJEGYZÉK

Annotáció

Jelen elektronikus tananyag els®sorban alkalmazott matematikus szakos hall-gatók számára készült, de mindazok számára hasznos segédanyag, akik valame-lyik természettudományi szakot hallgatják, vagy már elvégezték azt, rendelkezneka középiskolai tanyagot jelent®sen nem meghaladó matematikai m¶veltséggel(a dierenciál- és integrálszámítás elemeivel), munkájuk során szembetalaláljákmagukat statisztikai problémákkal, és ambícionálják az általuk használt statisztikaiprogramcsomagok mögött álló elmélet alapelveinek megértését.

Bevezetés

Jelen elektronikus Tananyag célja a többváltozós statisztikai módszerek bemu-tatása, illusztrálása statikus ábrákkal és animációkkal, valamint számos amegértést segít® és ellen®rz® feladattal.

A többváltozós statisztikai módszereket természetesen nem lehet megértenia matematikai statisztika alapfogalmainak és a valószín¶ségszámítás elemeinekismerete nélkül. A tananyag felhsználói munkájának megkönnyítése céljából azel®zetes tudnivalókat függelékben valamint részletes fogalom- és képletgy¶jtemény-ben összefoglaltuk. Az általános statisztikai tudnivalókat is illusztráltuk ábrákkal,és számos e tárgykörbe tartozó feladatot is kit¶ztünk.

A Tananyag összeállítása során szembesültünk azzal a ténnyel, hogy olyanlátszólag nyilvánvaló fogalomnak mint pl. a marginális eloszlás kett®nél többvalószín¶ségi változó együttes eloszlása esetén az egzakt deniciója már reményte-lenül bonyolult. Ilyenkor az ábra sem segít: számpéldákkal illusztráltuk a fogal-mat.

A többváltozós statisztika klasszikus módszereit (ilyenek a regresszióanalízis,a legkisebb négyzetek módszere, a varianciaanalízis és a diszkriminanciaanalízis)együttesen normális (Gauss) eloszlású valószín¶ségi változókra dolgozták ki aXX. század els® felében.

Ezek a módszerek er®sen építenek a lineáris algebrának azon eredményeire,amelyek talán látszólagos egyszer¶ségük miatt kisebb hangsúlyt kapnak a matem-atikai képzésben, pedig a legkiválóbb matematikusok is komoly munkát fek-tetnek a lineáris algebra modern módszereinek tankönyvekben való feldolgo-zására; csak egy példa a sok közül: Lax Péter Abel-díjas matematikus rend-kívül élvezetes, és számos új matematikai eredményt tartalmazó, magyarul isolvasható könyvet írt e témakörr®l, A Tananyag feladatai között is számosstatisztikai eredet¶, a lineáris algebra segítségével megoldható feladat van. Máritt gyelmeztetjük a felhasználót, hogy ezen feladatok megoldásához fejlett térszem-léletre van szükség.

A modern módszerek (pl. a klaszteranalízis) inkább épülnek a heurisztikára,noha ezek elméleti megalapozásának is nagy és mély matematikai eszköztáratigényl® irodalma van. Éppen emiatt ebben a tárgykörben gyakorlatilag nemlehet vonzó és elemi eszközökkel megoldható feladatokat kit¶zni.

TARTALOMJEGYZÉK 7

Vannak olyan új módszerek, amelyekkel jelen sorok írója nem tud mit kez-deni, ilyen a gyakoriságtáblák közelítése alacsonyabb rangú mátrixokkal (korre-spondenciaanalízis), ugyanis a lineáris algebra módszereit mechanikusan alka-lmazva negatív valószín¶ségeket is kaphatunk eredményként. Ugyanakkor szá-mos statisztikus sikerrel alkalmazza ezt a módszert, mi sem hagyhattuk ki aTananyagból.

Ezzel szemben a gyakoriságtáblák elemzésének információelméleti módsz-ereit, amelyeknek a kidolgozásában nagy szerepe van a magyar matematikusok-nak els®sorban Csiszár Imrének részletesen ismertetjük, és ebben a tárgykör-ben feladatokat is kit¶zünk.

Egy másik általunk csak érintett módszer a rendkívül nagyméret¶ mátrixokkalkapcsolatas (spektrálfelbontási) feladatok véletlen kiválasztással történ® közelítése.Itt az a probléma, hogy kisméret¶ bemutatható példát nem találtunk.

Zárszóként két megjegyzés:

1. A statisztika legnevesebb m¶vel®i, Kolmogorovtól a vezet® magyar statisztiku-sokig egybehangzóan állítják, hogy vakon nem lehet statisztikát csinálni,azaz az adatok kritikus megszemlélése nélkül már értelmes hipotézist semlehet föltenni. Erre nyújt lehet®séget az ún. többdimenziós skálázás, azazaz adatok optimalis beágyazása lehet®leg minél kisebb dimenziós euk-lideszi térbe.

2. Bármilyen látványos is egy elektronikus tananyag, csupán a képerny® nézésévelés kattintásokkal nem lehet elmélyülni egyetlen tudományágban sem. Aznem várható el egy felhasználótól, hogy az elmélet részleteit megjegyezze,de nem hagyható ki a papírral-ceruzával, ha úgy nem megy kalkulátorral,esetleg formulakezel® programok használatával történ® aktív részvétel atanulási folyamatban.

Végül néhány szó a Tananyag forrásairól. A közvetlen statisztikai ismeretekforrása a két szerz® (Bolla Marianna és Krámli András, A statisztikaikövetkeztetések elmélete, Typotex 2005) könyve, valamint az irodalom-jegyzékben idézett néhány eredeti folyóiratcikk. Innen csak az alapvet®deníciókat és tételeket vettük át, a hangsúly a feladatokon és az illusztá-ciókon van. A feladatok nagy részét a harmadik szerz® (Nagy-GyörgyJudit) t¶zte ki a gyakorlatokon. A teljes ábra- és animacióanyagot is® készítette. Ezek jelent®s része ma már közkinccsé vált eredményeketilusztrál, néhány bonyolultabb ábra Bolla Marianna javaslatára készült,az eredeti dolgozatok alapján újraszerkesztve.

Az el®szóhoz tartozik két videó is, az els®n látható animáció a GlivenkoCantelli tételt(a matematikai statisztika alaptételét) szemlélteti, a másodikon felrajzolt ábrapedig a MarcsenkoPasztur-tételben szerepl® függvényt ábrázolja.

Szeged, 2012. december 17. Krámli András

8 TARTALOMJEGYZÉK

1. fejezet

El®ismeretek 1.:valószín¶sgelmélet

1.1. Elméleti háttér

1.1.1. Valószín¶ségelméleti alapismeretek

Ebben a paragrafusban a valószín¶ségelméletKolmogorov-féle felépítését ismertetjük,különös kiemelve a feltéles várható érték Kolmogorov-féle denícióját és annaka statisztikában használatos tulajdonságait. Hangsúlyozzuk, hogy a feltételesvárható érték (és a feltételes valószín¶ség is) valószín¶ségi változó, amely bi-zonyos optimum tulajdonsággal rendelkezik. A nem matematikus szakos hall-gatóknak elegend® annyit tudni az alábbi absztrakt deníciók nagy részér®l,hogy léteznek. Az alkalmazó természettudományi hallgatók számára is feltétlenültudnivaló deníciókat és állításokat *-gal megjelöljük.

Mindenek el®tt vezessük be a valószín¶ségimez® Kolmogorov féle denícióját.

1. Deníció (Kolmogorov-féle (Ω,A,P) valószín¶ségi mez®). .

(i) Adva van egy nem üres Ω halmaz (eseménytér), Ω elemeit elemi eseményekneknevezzük, és ω-val jelöljük.

(ii) Ki van tüntetve az Ω részhalmazainak egy A algebrája (Ω ∈ A, A ∈ A ⇒Ω \A ∈ A, A ∈ A B ∈ A ⇒ A ∪B ∈ A.)

(iii) A σ-algebra, azaz Ak ∈ A (k = 1, 2, . . . ) ⇒ ∪∞k=1 ∈ A.

(iv) minden A ∈ A eseményhez hozzá van rendelve egy P(A) nemnegatív szám,az A esemény valószín¶sége.

(v) P(Ω) = 1.

(vi) Ha Ak ∈ A, páronkent egymást kizáró események, akkor P(∪∞k=1) =

∑∞k=1 P(Ak).

9

10 FEJEZET 1. ELISMERETEK 1.: VALÓSZÍNSGELMÉLET

2. Állítás (szita-formula*).

P(A1 ∪ · · · ∪An) =n∑k=1

(−1)k−1S(n)k ,

n ≥ k ésS(n)k :=

∑1≤i1<···<ik≤n

P(Ai1 ∩ · · · ∩Aik).

3. Deníció (események függetlensége*). Az A1, . . . , An események páronként(illetve teljesen) függetlenek, ha minden 1 ≤ j < k ≤ n párra P(Aj ∩ Ak) =P(Aj) · P(Ak) (illetve minden 1 ≤ k ≤ n egészre és i1 < · · · < ikε ≤ n idex-sorozatra P(Ai1∩· · ·∩Aik) = P(Ai1)·· · ··P(Aik)). A teljes függtelenség implikáljaa páronkénti függetlenséget. Fordítva ez nem igaz!

4. Deníció (feltételes valószín¶ség*).

P(A|B) :=P(A ∩B)

P(B),

ha P(B) > 0.

5. Deníció (teljes eseményrendszer*). A1, . . . , An ∈ A,P(Ai ∩ Aj) = 0,ha P(B) > 0.

6. Állítás (Bayes tétele*). Ha A1, . . . , An teljes eseményrendszer és P(B) >0, akkor

P(Aj |B) =P(B|Aj) · P(Aj)∑nk=1 P(B|Ak) · P(Ak)

7. Deníció (valószín¶ségi változó*). Az Ω halmazon értelmezett olyan X(ω)valós érték¶ függvény, amelyre ω : X(ω) ≤ x minden valós x-re esemény. HaX értékkészlete megszámlálható halmaz, akkor diszkrét valószín¶ségi változórólbeszélünk.

8. Deníció (valószín¶ségi változók függetlensége*). Az X1, . . . , Xn valószín¶ségiváltozók páronként (illetve teljesen) függetlenek, ha az X1(ω) ≤ x1, . . . , Xn(ω) ≤xn események páronként (illetve teljesen) függetlenek, x1, . . . , xn minden értékére.

9. Deníció (valószín¶ségi változók eloszlásfüggvénye*). Az X valószín¶ségiváltozó eloszlásfüggvénye FX(x) := P(X ≤ x). FX(x) monoton nemcsökken®,jobbról folytonos függvény.

limn→−∞

FX(x) = 0 limn→∞

FX(x) = 1.

(i) Diszkrét eset. Ha az X valószín¶ségi változó értékkészlete x0, x1, . . . ,akkor eloszlása:

pj := P(xj)

1.1. ELMÉLETI HÁTTÉR 11

(ii) Abszolút folytonos eset. Ha van olyan f(t) függvény amelyre FX(x) =∫ x−∞ f(t)dt. Ekkor az f(t) függvényt az X valószín¶ségi változó s¶r¶ségfüg-gvényének nevezzük.

10. Deníció (valószín¶ségi változó momentumai, absztrakt deníció).Az X valószín¶ségi változó várható értéke E(X) :=

∫ΩX(ω)dP, ha ez az integrál

létezik.Az X valószín¶ségi változó n-edik momentuma (abszolút) monteuma Mn :=∫

ΩX(ω)ndP, (:=

∫Ω|X(ω)|ndP), ha a fenti integrálok léteznek.

Ha Ψ(x) tetsz®leges Borel-mérhet® valós függvény (azaz a x : Ψ(x) ≤ yhalmaz minden y ∈ R-re Borel-mérhet®), akkor E(Ψ(X)) :=

∫ΩΨ(X(ω))dP.

Az X valószín¶ségi változó D2 szórásnégyzete D2 := E[(X − E(X))2] =E(X2)− [E(X)]2.

11. Deníció (kovariancia, korreláció, absztrakt deníció). Két valószín¶ségiváltozó, X és Y kovarianciája:

Cov(X,Y ) := E[(X − E(X))(Y − E(Y ))].

Két valószín¶ségi változó, X és Y korrelációja:

rX,Y :=Cov(X,Y )

D(X) · D(Y )

12. Deníció (valószín¶ségi változó várható értékének kiszámítása*).

(i) Diszkrét eset. Ha az X valószín¶ségi változó értékkészlete x0, x1, . . . ,akkor várhtó értéke:

E(X) :=∞∑j=0

xjP(xj) =∞∑j=0

xjpj ,

amennyiben a fenti sor abszolút konvergens

(ii) Abszolút folytonos eset. Ha az X valószín¶ségi változó s¶r¶ségfüggvényef(t) akkor várhtó értéke:

E(X) :=

∫ ∞

−∞xf(x)dx

amennyiben a fenti integrál létezik.

Ha ismerjük a várható érték kiszámítási módját, a magasabb momentumok ésszórásnégyzet kiszámítási módja már könnyen adódik:

(i) n-edik momentum: Mn := E(Mn),

(ii) szórásnégyzet: D2 := E(X2)− [E(X)]2.

Hasonlóan számítható ki két valószín¶ségi változó kovarianciája és korrelá-ciója.

Ez természetesen nem azt jelenti, hogy a tényleges számolás elvégzése iskönny¶.


1.1.2. Feltételes várható érték

A fent ismertetett valószín¶ségelmélet alapismeretek már elegend®ek a feltételesvárható érték fogalmának bevezetéséhez, tulajdonságaik, valamint diszkrét ésabszolút folytonos esetben kiszámítási módjuk ismertetéséhez.

13. Deníció (egy σ-algebrára nézve vett feltételes várható érték). AzX valószín¶ségi változónak az A1 ⊆ A σ-algebrára nézve akkor vehet® az X1 :=E(X|A1) feltételes várható értéke, ha E(X) létezik. X1-et az alábbi két tulajdon-ság deniálja.

1. X1 A1-mérhet®, azaz minden valós x-re ω : X1 ≤ x ∈ A1.

2. Minden A ∈ A1 halmazra E(1A · X) = E(1A · X1) vagy másképpen írva∫AXdP =

∫AX1dP, ahol 1A jelenti az A halmaz indikátorfüggvényét.

Bebizonyítható, hogy 1. es 2. feltételek teljesíthet®k, és X1 majdnem biztosanegyértelm¶.

14. Megjegyzés. Ha A1 valamely Y valószín¶ségi változóY (ω) ≤ x x ∈ Rnívóhalmazai által generált σ-algebra, akkor van értelme az E(X|Y ) feltételesvárható értéknek.

15. Állítás. Felsoroljuk a feltételes várható érték alapvet® tulajdonságait.

1. A feltételes várható érték vétel lineáris operáció, azaz

E((a ·X + b · Y )|A1) = a · E(X|A1) + b · E(Y |A1).

2. Ha az Y valószín¶ségi változó A1-mérhet®, akkor

E(Y ·X|A1) = Y E(X|A1).

3. Ha az X valószín¶ségi változó független Y -tól, akkor

E(X|Y ) = E(X).

4. Toronyszabály: E(Y ) = E[E(Y |X)].

A statisztika egyik alapvet® feladata az ún. regresszió, azaz egyY valószín¶ségiváltozó egy X valószín¶ségi változó valamilyen Borel-mérhet® f(x) valós füg-gvényével való optimális közelítése (az optimális szó jelentése különböz® es-etekben más és más lehet). Az alábbi állítás alapvet® jelent®sg¶ ennek a célnaka megvalósítása szempontjából.

16. Állítás. Ha létezik E(Y ) és Y mérhet® az X valószín¶ségi változó X(ω) ≤x x ∈ R nívóhalmazai által generált Ax σ-algebrára, akkor akkor van olyanBorel-mérhet® t(x) valós függvény, hogy

P(Y (ω)) = t(X(ω)) = 1


A 16. Állítás egy közvetlen alkalmazása a következ®

17. Állítás. Ha E(Y 2) <∞, akkor

mint : tA-mérhet®

E(Y − t(X))2 = E(Y − E(Y |X))2,

azaz az Y valószín¶ségi változó legjobb közelítése X Borel-mérhet® függvényeiveléppen E(Y |X).

Most rátérünk a feltételes eloszlás (diszkrét eset), feltételes s¶r¶ségfüggvény,valamint a feltételes várható érték kiszámítási módjára.

18. Deníció (feltételes eloszlás). Legyen az X és Y valószín¶ségi változókértékkészlete x1, . . . , xm, illetve y1, . . . , yn, együttes eloszlásuk (pij), az X, illetveY perem- (vagy marginális) eloszlásai legyenek pi· =

∑nj=1 pij, illetve p·j =∑m

i=1 pij. Ekkor a feltételes valószín¶ségdeníciója alapján az Y valószín¶ségiváltozó X = xi melletti feltételes eloszlása:

pj|i =pijpi·, j = 1, . . . , n.

19. Deníció (feltételes várható érték, diszkrét eset). A fenti jelölésekkelaz Y valószín¶ségi változó X = xi melletti feltételes várható értéke:

E(Y |X = xi) =n∑j=1

yj · pj|i =1

pi.

n∑j=1

yj · pij .

20. Megjegyzés. Vegyük észre, hogy sem a (pj|i) feltételes eloszlás, sem azE(Y |X = xi) feltételes várható érték nem függ az xi konkrét értékt®l!

21. Deníció (feltételes s¶r¶ségfüggvény). Legyen f(x, y) az X és Y valószín¶-ségi változók együttes s¶r¶ségfüggvénye, f1(x) :=

∫∞−∞ f(x, y)dy pedig az X

valószín¶ségi változó perem- (vagy marginális) s¶r¶sége. Az Y valószín¶ségi vál-tozó X = x feltétel melletti feltételes s¶r¶sége:

f2|1(y|x) = lim∆x→0∆y→0

P(X ∈ [x, x+∆x), Y ∈ [y, y +∆y))

P(X ∈ [x, x+∆x)) ·∆y=

= lim∆x→0∆y→0

P(X ∈ [x, x+∆x), Y ∈ [y, y +∆y))P(Y ∈[x,x+∆x))

∆x ·∆x ·∆y=

=f(x, y)

f1(x).

(1.1)

Most megfogalmazzuk a Bayes-tételnek a statisztikában rendkívül hasznos,abszolút folytonos eloszlásra érvényes alakját.

22. Tétel (Bayes-tétel). Legyenek X, Y , f(x, y), f1(x) és f2|1(y|x) ugyana-zok, mint a fenti denícióban. Ekkor

f1|2(x|y) =f2|1(y|x)f1(x)∫∞

−∞ f2|1(y|x)f1(x)dx.


23. Deníció (feltételes várható érték, abszolút folytonos eset). A fentijelölésekkel az Y valószín¶ségi változó X = x feltétel melletti feltételes várhatóértéke:

E(Y |X = x) =

∫ ∞

−∞y · f2|1(y|x)dx =

1

f1(x)

∫ ∞

−∞y · f(x, y)dy. (1.2)

Az E(Y |X = x) feltételes várható érték ellentétben a diszkrét esettel függaz x értékt®l; jelölje ezt a függést t(x). A feltételes várható érték szemléletesjelentése: Az E(Y |X) nem más, mint az Y valószín¶ségi változó integrálközepeaz X valószín¶ségi változó nívóhalmazain.

Végül deniáljuk a feltételes szórásnégyzetet, kovarianciát, és az ún. parciáliskorrelációt.

24. Deníció (feltételes szórásnégyzet). Az Y valószín¶ségi változó feltéte-les szórásnégyzete az X valószín¶ségi változóra nézve:

D2(Y |X) := E[Y − E(Y |X)2|X].

25. Deníció (feltételes kovariancia). Az Y és Z valószín¶ségi változók feltéte-les kovarianciája az X valószín¶ségi változóra nézve:

Cov(Y, Z|X) := Cov(Y − E(Y |X), Z − E(Z|X)).

26. Deníció (parciális korreláció). Az Y és Z valószín¶ségi változók feltéte-les kovarianciája az X valószín¶ségi változóra nézve:

rY,Y |X :=Cov(Y, Z|X)

D(Y − E(Y |X)) · D(Z − E(Y |Z)).

Vegyük észre, hogy míg a feltételes szórásnégyzet és a feltételes kovarian-cia valószín¶ségi változók, amelyek függenek a feltételt®l, a parciális korrelációszám, ami csak rY,Z-t®l, rY,X -t®l és rZ,X -t®l függ; igaz az alábbi állítás.

27. Állítás.

rY,Z|X :=rY,Z − rY,X · rZ,X√(1− r2Y,X)(1− r2Z,X)

.

A parciális korreláció szemléletesen azt a jelenséget írja le, hogy két valószín¶ségiváltozó (Y és Z) azért korreláltak er®sen, mert mindketten er®sen korreláltak egyharmadik valószín¶ségi változóval, nevezetesenX-szel. A fenti állítás bizonyításaazon az alapvet® tényen múlik, hogy két valószín¶ségi változó kovarianciája kétvektor skaláris szorzatának tekinthet®, és ha ez a kovariancia zérus, akkor a kétvalószín¶ségi változó mint vektor mer®leges egymásra.


1.1.3. A normális eloszlásból származtatott eloszlások

28. Deníció (normális eloszlás). Az m várható érték¶ és σ2 szórásnégyzet¶X valószín¶ségi változó s¶r¶ségfüggvénye

f(x) :=1√2πσ

exp− (x−m)2

2. (1.3)

A Φ(x) :=∫ x−∞ f(s)ds eloszlásfügvény nem fejezhet® ki elemi függvényekkel.

Azm várható érték¶ és σ2 szórásnégyzet¶ normális eloszlás jelölése:N (m,σ2).Az alábbi ábra mutatja a standard normális eloszláshoz, azaz N (0, 1)-hez

tartozó s¶r¶ségfüggvényt.

1.1. ábra. ϕ(x)

29. Deníció (n szabadságfokú χ2 eloszlás). Ha X1, . . . , Xn független N (m,σ2)valószín¶ségi változók, az

Yn := X21 + · · ·+X2

n

valószín¶ségi változó deníció szerint Yn szabadságfokú centrált χ2-eloszlású:Yn ∼ χ2(n), melynek s¶r¶ségfüggvénye

fn(x) =xn/2−1e−x/2

2n/2Γ(n/2), ha x > 0.

ahol Γ(α) :=∫∞0xα−1e−x. Megjegyezzük, hogy Γ(α+1) = αΓ(α), Γ(n) = (n−1)!

és Gamma(1/2) =√π


1. Az χ2(n)-eloszlás G(n/2, 1/2) Gamma-eloszlás.

2. A χ2(n) eloszlás tetsz®leges momentuma meghatározható, a számolás vis-szavezethet® a normális eloszlás páros momentumainak meghatározására:E(Yn) = n, D2(Yn) = 2n.

3. Ha X ∼ N (0, σ2), akkor minden n természetes számra

E(X2n) =n−1∏j=0

(2j + 1)σ2n (1.4)

4. Ha n→ ∞, Yn eloszlása N (n, 2n)-nel közelíthet®.

Az alábbi ábrák mutatják az 1, 2, 3, 4, és 5 szabadságfokú χ2 eloszlásokhoztartozó s¶r¶ségfüggvényeket.

1.2. ábra. χ2 (1-5) s¶r¶ségek

30. Deníció (n szabadságfokú Student-féle eloszlás (t-eloszlás)). Ha Xstandard normális eloszlású valószín¶ségi változó, és Yn ∼ χ(n) független X-t®l,akkor

Zn :=√n · X√

Yn=

X√Yn/n

deníció szerint n szabadsági fokú standard Student-eloszlású valószín¶ségi vál-tozó: Zn ∼ t(n)

31. Állítás. A t(n) eloszlás s¶r¶ségfüggvénye:

gn(z) =2

√π nΓ(n2 )

(1 + z2

n

)n+12

∫ ∞

0

tn−12 e−tdt =

=1√π n

Γ(n+12 )

Γ(n2 )

(1 +

z2

n

)−n+12

.

(1.5)


1.3. ábra. t(1) és t(5) s¶r¶ségek

Az alábbi ábrák mutatják az 1, és 5 szabadságfokú Student eloszlásokhoztartozó s¶r¶ségfüggvényeket.

A s¶r¶ségfüggvény (1.5) alakjából leolvasható, hogy a Zn eloszlásban tart astandard normális eloszláshoz, ha n→ ∞. Ezt az alábbi animáció szemlélteti.

Ugyancsak (1.5)-b®l látható az is, hogy Zn-nek csak n−1 momentuma véges.Az 1 szabadságfokú t-eloszlás a Cauchy-eloszlás.

32. Deníció ((n,m) szabadságfokú F -eloszlás). Ha Xn ∼ χ2(n) és és Ym ∼χ2(m), akkor a

Zn,m :=Xn

nYm

m

valószín¶ségi változó (n,m) szabadságfokú F -eloszlású: Zn,m ∼ F(n,m).

Zn,m változó s¶r¶ségfüggvénye

fn,m(z) =nΓ(n+m

2

)mΓ

(n2

)Γ(m2

) (nmz)n

2 −1(1 + n

mz)n+m

2

.

Az alábbi ábrák mutatják az (1,1), (1,2), (1,3), (1,9), (2,1), (2,2), (2,3), (2,9),(3,1), (3,2), (3,3), (3,9), (9,1), (9,2), (9,3) és (9,9) szabadságfokú F eloszlásokhoztartozó s¶r¶ségfüggvényeket.

33. Deníció (Béta-eloszlás). Ha X1, . . . , Xn, . . . , Xn+m független N (0, 1)-változók, akkor a

Zn,m =

∑ni=1X

2i∑n+m

i=1 X2i

valószín¶ségi változó B(n/2,m/2)-eloszlású: Zn,m ∼ B(n/2,m/2).

A Zn,m változó fZn,m(z) s¶r¶ségfüggvénye

fZm,n(z) =

Γ(n+m

2

)Γ(n2

)Γ(m2

)z n2 −1(1− z)

m2 −1, ha 0 < z < 1.


· · ·

· · ·

· · ·...

· · ·

1.4. ábra. F s¶r¶ségek

A fenti képletnek akkor is van értelme, ha a kitev®ben szerepl® n2 illetve

m2 helyett tetsz®leges a illetve b pozitív számok állnak. Ez az (a, b)-rend¶béta-eloszlás s¶r¶ségfüggvénye:

fa,b(z) =1

B(a, b)· za−1(1− z)b−1, ha 0 < z < 1.

Vegyük észre, hogy a B(1, 1)-eloszlás megegyezik a [0, 1] intervallumon egyen-letes U(0, 1)-eloszlással!

1.1.4. Többváltozós ismeretek

Eddig X1, . . . , Xn független N (θ, σ2) valószín¶ségi változókat jelentettek. Mostkimondunk egy állítást megkönnyíti a normális eloszlású valószín¶ségi változókfüggetlenségenek ellen®rzését.

34. Állítás. Ha Y1, . . . , Ym az X1, . . . , Xn független N (θ, σ2) valószín¶ségi vál-tozók lineáris kombinációi, akkor Cov(Yi, Yj) = δij maga után vonja az Y1, . . . , Ymváltozók (teljes!) függetlenségét.

Most már minden ismeret rendelkezésünkre áll ahhoz, hogy megfogalmaz-zunk egy, a becsléselméletben és a hipotézisvizsgálatban gyakran használt tételt,ami Lukács Jen® tételének speciális esete (l. [21]).

35. Tétel (Lukács Jen®). Legyenek X1, . . . Xn független N (θ, σ2) valószín¶ségiváltozók, legyen továbbá X := 1

n

∑ni=1Xi, S∗2

n := 1n−1

∑ni=1(Xi − X)2.


1. X ∼ N (θ, σ2/n),

2. (n− 1)S∗2n /σ

2 ∼ χ2(n− 1),

3. X és S∗2n függetlenek.

36. Következmény.

Y =

√n(X − θ)√

S∗2n

∼ t(n− 1) .

37. Tétel. Ha X1, . . . , Xn független N(0, ϑ) valószín¶ségi változók, akkor

Z ′ :=

√n · X√∑nj=1X

2j

és S2(X) :=n∑j=1

X2j

függetlenek.

38. Következmény. A

T =

√nX√S∗2n

Student-statisztika is független S2-t®l, ugyanis egyszer¶ számolással adódik, hogyZ ′ a T monoton függvénye: Z ′ = T√

T 2+n−1.

(X és S∗n denícióit l. 35. tételben.)

A varianciaanalízis alapvet® eszköze a következ® meglep® tétel, amely a 35.tétel általánosításának is tekinthet®.

39. Tétel (FisherCochran-tétel). LegyenX = (X1, . . . , Xn)T ∼ Nn(O, In)

véletlen vektor (komponensei független N (0, 1)-változók) és legyenek a Q =XT InX = XTX =

∑ni=1X

2i és a Qj = XTAjX (j = 1, . . . , k) X-szel és a

szimmetrikus, n × n-es Aj mátrixokkal (j = 1, . . . , k ≤ n) képzett kvadratikusalakok olyanok, hogy rájuk

Q = Q1 +Q2 + · · ·+Qk

teljesül. Legyen Qj rangja: rk(Aj) = nj. A Q1, Q2, . . . , Qk kvadratikus alakokpontosan akkor független χ2-eloszlásúak n1, n2, . . . , nk szabadságfokkal, ha

k∑j=1

nj = n.

A FisherCochran-tétel fontossága miatt kivételesen közöljük annak egy el-emi bizonyítását. Az egyik irány a χ2-eloszlás denícójanak egyszer¶ következménye,a másik meglep® irány az alábbi lineáris algebrai állításból adódik.


40. Állítás. Ha az n-dimenziós egységmátrix

In = A1 + · · ·+Ak (1.6)

alakú, ahol az A1, . . . ,Ak valós szimmetrikus mátrixok és

rang(A1) + · · ·+ rang(Ak) = n, (1.7)

akkor ezen mátrixok rang(A1), . . . , rang(Ak) dimenziós ortogonális alterekre valóortogonális projekciók mátrixai.

Az alábbi megjegyzés segít abban, hogy bonyolult számítások elvegzése nélkülis alkalmazzuk a FisherCochran tételt.

41. Megjegyzés. A kvadratikus alakok rangját az alábbi heurisztikus formulá-val számolhatjuk (Q itt is a kvadratikus alak rövidítése):

rang(Q) =a Q-ban szerepl® független azonos eloszlású valószín¶ségi változók

száma mínuszaz ugyanezen valószín¶ségi változók alapján

függetlenül becsült paraméterek száma.

Végül kimondunk egy tételt, ami bizonyos értelemben indokolja, hogy els®közelítésben miért veszünk mindig lineáris regressziót.

42. Állítás. Legyenek Y,X1, . . . , Xn együttesen normális eloszlású valószín¶ségiváltozók. Az Y := E(Y |X1, . . . , Xn) feltételes várható érték az X1, . . . , Xn valószín¶ségiváltozók lineáris függvénye.

Mivel a 17. állítás szerint Y feltételes várható értéke azX1, . . . , Xn valószín¶ségiváltozókra éppen a négyzetes középben való legjobb közelítés a fenti állítás sze-rint ez a közelítés az X1, . . . , Xn valószín¶ségi változók lineáris függvénye.

1.2. Feladatok

1. Számítsuk ki a λ paraméter¶ Poisson eloszlás els® négy momentumát!

Tipp: Alkalmazzuk a momentumoknak a generátorfüggvény deriváltjaialapján történ® kiszámítási módját.

Válasz: M1 = λ,M2 = λ2+λ,M3 = λ3+3λ2+λ,M4 = λ4+6λ3+7λ2+λ.

2. Legyen X egy (r, p) paraméter¶ (r > 1) negatív binomiális eloszlásúvalószín¶ségi változó. Számítsuk ki E( 1

X−1 ) várható értéket!

Tipp: Használjuk a deníciót képletgy¶jtemény.

Válasz: A deníció alapján pr−1 .

3. Számoljuk ki az n-edrend¶ λ paraméter¶ Gamma eloszlás −k-adik mo-mentumát, ahol k < n.

Tipp: deníciót képletgy¶jtemény.

Válasz: A deníció alapján λk(n−k−1)!(n−1)! .

1.2. FELADATOK 21

4. LegyenekX,Y független, azonos eloszlású, véges várható érték¶ valószín¶ségiváltozók. Határozzuk meg E(X + Y |X) és E(X|X + Y ) feltételes várhatóértékeket!

Tipp: Alkalmazzuk feltételes várható érték tulajdonságait, és vegyük észre,hogy X és Y szerepe szimmetrikus!

Válasz: X + E(Y ) ill. X+Y2 .

5. LegyenX és Y két független, 1/2 paraméter¶ Bernoulli-eloszlású valószín¶ségiváltozó. Adjuk meg E(X|X +Y ) által generált σ-algebrát és E(X|X +Y )eloszlását!

Tipp: X + Y által generált σ-algebrát.

Válasz: Z := E(X|X+Y ), P (Z = 0) = 1/4, P (Z = 1/2) = 1/2, P (Z =1) = 1/4.

6. Legyen X nemnegatív valószín¶ségi változó. Tegyük fel, hogy léteznek azE(X2) és E( 1

X ) várható értékek!

(a) Határozzuk meg E(X2|X)-et!

(b) Határozzuk meg E( 1X |X)-et!

Tipp: Egy X valószín¶ségi változó f(X) függvényének feltételes várhatóértéke X-re f(X), ha ez utóbbi várható értéke létezik.

Válasz:

(a) X2,

(b) 1X .

7. Legyen X a [−1, 1] intervallumon egyenletes eloszlású valószín¶ségi vál-tozó. Határozzuk meg E(X|X2)-t!

Tipp: Használjuk a deníciót és a feltételes várható érték tulajdonságait.

Válasz: A deníció alapján: 0.

8. LegyenekX1, X2 a [0, 1] intervallumon egyenletes eloszlású független valószín¶ségiváltozók, továbbá Y := minX1, X2, valamint Z := maxX1, X2. Határoz-zuk meg

(a) E(Y |Z),(b) E(Z|Y ),

(c) E(X1|Z)

feltételes várható értékeket!

Tipp: Használjuk a feltételes várható érték denícióját! Használjuk kiX1 és X2 szimmetriáját, valamint azt, hogy X1 +X2 = Y + Z !

Válasz:


(a) Z/2,

(b) (Y + 1)/2,

(c) 34Z.

9. LegyenekX,Y ∼ N (0, 1) független valószín¶ségi változók, továbbá a, b, c ∈R.

(a) Milyen eloszlású aX + bY + c?

(b) Adjuk meg |X| s¶r¶ségfüggvényét!

(c) Határozzuk meg X2 s¶r¶ségfüggvényét! Milyen eloszlást követ X2?

(d) Milyen eloszlású X2 + Y 2?

Tipp: (c) Alkalmazzuk a képletgy¶jtemény valószín¶ségi változó füg-gvénye eloszlására vonatkozó képletét, valamint a nevezetes abszolút folytonoseloszlások felsorolását.

Válasz:

(a) N (c, a2 + b2),

(b) 2√2π

exp(−x2

2 ) ha x ≥ 0 és 0 egyébként,

(c) x−1/2 exp(−x/2)√2π

, azaz χ2(1)

(d) χ2(2), ami megegyezik a λ = 1/2 paraméter¶ Exp(1/2) exponenciáliseloszlással.

10. Legyenek X,Y ∼ Exp(λ) független valószín¶ségi változók.

(a) Milyen eloszlású X + Y ?

(b) Adjuk meg Z = XY s¶r¶ségfüggvényét!

Tipp:

(a) Alkalmazzuk a képletgy¶jtemény nevezetes abszolút folytonos elos-zlások felsorolásását.

(b) Alkalmazzuk a képletgy¶jtemény 2 valószín¶ségi változó hányadosá-nak s¶r¶ségfüggvényére eloszlására vonatkozó képletét, valamint anevezetes abszolút folytonos eloszlások felsorolását.

Válasz:

(a) G(2, λ).

(b) 2(1+z)2 , ha X ≥ 0 azaz F(2, 2)

1.2. FELADATOK 23

11. * Legyenek N,X1, X2 . . . független valószín¶ségi változók, ahol N egy pparaméter¶ geometriai eloszlású, X1, X2, . . . pedig λ paraméter¶ exponen-ciális eloszlásúak. Milyen eloszlású lesz

∑Ni=1Xi?

Tipp: Alkalmazzuk a képletgy¶jtemény megfelel® formuláit és írjuk be azexponenciális eloszlás karakterisztikus függvényét az 1, 2, . . . értékkészlet¶geometriai eloszlás generátorfüggvényébe.

Válasz: Exp(pλ)

12. Mi a kapcsolat az alábbi eloszlásseregek között?

(a) Bernoulli, binomiális és Poisson;

(b) geometriai és negatív binomiális;

(c) exponenciális, χ2 és Gamma;

(d) Student és Cauchy.

Tipp: Alkalmazzuk a képletgy¶jteményt, és keressük meg hogy a fel-soroltak között melyik eloszlás speciális esete, ill. határesete egy másikeloszlásnak.

Válasz:

(a) Bernoulli ⊂ binomiális: a Poisson határesete;

(b) geometriai ⊂ negatív binomiális;

(c) exponenciális: χ2(2) ⊂ Gamma;

(d) Cauchy: t(1).

13. LegyenX egy (α, λ), Y pedig (β, λ) paraméter¶ Gamma eloszlású, egymástólfüggetlen valószín¶ségi változó. Igaz-e, hogy X/Y egy (α, β) paraméter¶másodfajú Béta eloszlású valószín¶ségi változó, amely s¶r¶ségfüggvénye

f(x) =Γ(α+ β)

Γ(α)Γ(β)· xα−1

(x+ 1)α+β.

Tipp: képletgy¶jtemény 2 valószín¶ségi változó hányadosának s¶r¶ségfüg-gvényére eloszlására vonatkozó képletét, valamint a nevezetes abszolútfolytonos eloszlások felsorolását.

Válasz: Igaz.

14. * Legyen X egy (α, β) paraméter¶ másodfajú Béta eloszlású valószín¶ségiváltozó. Igazoljuk, hogy

(a) 1X valószín¶ségi változó (β, α) paraméter¶ másodfajú Béta eloszlású!

(b) X1+X valószín¶ségi változó (α, β) paraméter¶ Béta eloszlású!

(c) 11+X valószín¶ségi változó (β, α) paraméter¶ Béta eloszlású!


Tipp: Keressük meg a képletgy¶jteményben a Fischer-féle F eloszlás ké-pletét, vegyük észre, hogy az n/2 m/2 paraméter¶ másodfajú Béta elos-zlású valószín¶ségi változó az n, m szabadságfokokkal normált χ2 elos-zlású valószín¶ségi változók hányadosa. Továbbá alkalmazzuk a képletgy¶jteményvalószín¶ségi változó függvényének illetve valószín¶ségi változók hánya-dosának s¶r¶ségére vonatkozó képletet.

Válasz: L. Tipp.

15. Legyen X1, . . . , Xn, Xn+1, . . . , Xn+m ∼ Exp(λ) független azonos eloszlásúvalószín¶ségi változók.

(a) Milyen eloszlású∑ni=1Xi?

(b) Igazoljuk, hogy

Z =

∑ni=1Xi∑n+m

i=n+1Xi

statisztika (n,m) paraméter¶ másodfajú Béta eloszlású!

(c) Igazoljuk, hogy ∑ni=1Xi∑n+mi=1 Xi

=1

1 + 1/Z∼ Beta(n,m).

Tipp:

(a) Keressük meg a képletgy¶jteményben a megfelel® eloszlásokat.

(b) Alkalmazzuk a képletgy¶jtemény valószín¶ségi változók hányodosá-nak eloszlására vonatkozó képletét.

(c) Alkalmazzuk a képletgy¶jtemény valószín¶ségi változók hányodosá-nak eloszlására vonatkozó képletét.

Válasz:

(a) G(n, λ).(b) L. Tipp.

(c) L. Tipp.

16. Mi a kapcsolat a Student, F és Béta eloszlásseregek között?

Tipp: Alkalmazzuk a képletgy¶jteményt, és keressük meg, hogy a fel-soroltak között melyik eloszlás speciális esete, ill. melyik eloszláshoz tar-tozó valószín¶ségi változó függvénye egy másik eloszláshoz tartozó valószín¶ségiváltozónak.

Válasz: Ha X ∼ t(n), akkor X2 ∼ F(1, n)

Ha Zm,n ∼ F(m,n), akkor Y =Zm,n

1+Zm,n∼ B(m/2− 1, n/2− 1)

1.2. FELADATOK 25

17. Legyenek X1, . . . , Xn ∼ Exp(λ) független azonos eloszlású valószín¶ségiváltozók. Deniáljuk Y1, . . . , Yn valószín¶ségi változóket a következ® mó-don:

Y1 = X1, Y2 = X1 +X2, . . . , Yn−1 = X1 + · · ·+Xn−1.

(a) Legyen Z = X1+· · ·+Xn. Határozzuk meg az Y1, . . . , Yn valószín¶ségiváltozók együttes feltételes s¶r¶ségfüggvényét a Z = z feltétel mel-lett.

(b) Határozzuk meg az Y1/Z, . . . , Yn−1/Z valószín¶ségi változók együttess¶r¶ségfüggvényét!

Tipp:

(a) Alkalmazzuk a képletgy¶jtemény valószín¶ségi változó függvénye elos-zlására vonatkozó képletét, kihasznalva, hogy azX és Y valószín¶ségiváltozók közötti összefüggés lineáris és a Jakobi determináns értéke1!

(b) Alkalmazzuk az el®z® alfeladat eredményét!

Válasz:

(a) 1(n−1!)z

n−1 , azaz n−1 darab független azonos eloszlású a [0, z] inter-vallumon egyenletes eloszlású valószín¶ségi változó együttes s¶r¶ségfüg-gvénye.

(b) n−1 darab független azonos eloszlású a [0, 1] intervallumon egyenleteseloszlású valószín¶ségi változó együttes s¶r¶ségfüggvénye.

18. Legyenek X1, . . . , Xn ∼ N (0, 1) és Y1, . . . , Ym ∼ N (0, 1) független vál-tozók, továbbá T 2

n := X21 + . . .+X2

n és T 2m := Y 2

1 + . . .+ Y 2m.

(a) Alkalmazzuk a képletgy¶jtemény valószín¶ségi változó függvénye elos-zlására vonatkozó képletét!

(b) Alkalmazzuk az el®z® pont eredményét és a képletgy¶jteménybentalálható abszolút folytonos eloszlások felsorolását.

(c) Alkalmazzuk az el®z® két pont eredményét és a képletgy¶jteménybentalálható abszolút folytonos eloszlások felsorolását.

(d) Alkalmazzuk a képletgy¶jteményben található abszolút folytonos elos-zlások felsorolását.

Tipp:

Válasz:

19. Legyen X1, . . . , Xn+1 ∼ N (0, 1) független minta, továbbá legyen Yn :=X2

1 + . . .+X2n.

(a) Határozzuk meg X21 s¶r¶ségfüggvényét!


(b) Milyen eloszlású a T 2n valószín¶ségi változó ?

(c) Milyen eloszlású a

Zn :=Y1√T 2n/n

valószín¶ségi változó ?

(d) Milyen eloszlású a

Zn,m :=mT 2

n

nT 2m

valószín¶ségi változó ?

Tipp:

(a) Alkalmazzuk a képletgy¶jtemény egy valószín¶ségi változó függvényeeloszlásának kiszamítására vonatkozó formuláját.

(b) Alkalmazzuk az el®z® pont eredményét és a képletgy¶jteménybentalálható abszolút folytonos eloszlások felsorolását.

(c) Alkalmazzuk az el®z® két pont eredményét és a képletgy¶jteménybentalálható abszolút folytonos eloszlások felsorolását.

(d) Alkalmazzuk képletgy¶jteményben található abszolút folytonos elos-zlások felsorolását.

Válasz:

(a) χ2(1)

(b) n szabadságfokú Student (t(n)) eloszlású.

(c) (n,m) szabadságfokú F eloszlású.

20. Legyen X1, . . . , Xn+1 ∼ N (0, 1) független minta, továbbá legyen Yn =X2

2 + · · ·+X2n+1 Milyen eloszlású a Zn =

√nX1

√Yn valószín¶ségi változó

Tipp: Alkalmazzuk a képletgy¶jteményben található abszolút folytonoseloszlások felsorolását.

Válasz: n szabadságfokú Student (t(n)) eloszlású.

21. Legyenek Xn ∼ chi2(n) és Ym ∼ χ2(m) független valószín¶ségi változók.Milyen eloszlású a

Zn,m :=mXn

nYm

valószín¶ségi változó (n/2,m/2) paraméter¶ béta eloszlású!

Tipp: Alkalmazzuk a képletgy¶jteményben a két valószín¶ségi változóhányadosa eloszlására vonatkozó képletet és az abszolút folytonos eloszlá-sok felsorolását.

Válasz: (n/2,m/2)-paraméter¶ béta eloszlású.

1.2. FELADATOK 27

22. Legyen X1, . . . , Xn+m független standard normális eloszlású változók. Mi-lyen eloszlású a

Zn,m :=

∑ni=1X

2i∑n+m

i=1 X2i

valószín¶ségi változó (n/2,m/2) paraméter¶ béta eloszlású!

Tipp: Alkalmazzuk a képletgy¶jteményben a két valószín¶ségi változóhányadosa eloszlására vonatkozó képletet és az abszolút folytonos eloszlá-sok felsorolását.

Válasz: (n,m)-paraméter¶ F eloszlású.

23. Adjuk meg Xn határeloszlását (n → ∞), ha Xn egy n szabadságfokúStundent eloszlású valószín¶ségi változó!

Tipp: Elemi analízis.

Válasz: N (0, 1)

24. Adjuk meg Xn−n√n

határeloszlását (n → ∞), ha Xn egy n szabadságfokú

χ2 eloszlású valószín¶ségi változó.

Tipp: Alkalmazzuk a centrális határeloszlás-tételt! A szórásnégyzet kiszámításáhozalkalmazzuk a képletgy¶jteményben a normális eloszlás páros momentu-maira adott formulát.

Válasz: N (0, 2)

25. Legyen X1, . . . , Xn ∼ N (0, 1) független azonos eloszlású változók, továbbáT :=

√X2

1 + . . .+X2n.

(a) Legyen Z1 := X1/T . Bizonyítsuk be, hogy Z21 és T 2 is függetlenek!

(b) Legyen Z := X/T . Bizonyítsuk be, hogy Z és T 2 is függetlenek!

Tipp:

(a) A számoláshoz a Bayes-tételt alkalmazzuk. El®ször meghatározzuka T 2 statisztika f(t|y) feltételes s¶r¶ségfüggvényét adott Y 2

1 = yesetén. Ez nem más, mint a χ2(n − 1) eloszlás s¶r¶ségfüggvénye at− y helyen.Bayes tétele alapján határozzuk meg az Y 2

1 valószín¶ségi változóg(y|t) s¶r¶ségfüggvényét adott T 2 = t helyen!Vegyük észre, hogy a nevez®ben a χ2(n − 1) és a χ2(1) eloszláss¶r¶ségfüggvényeinek a konvolúciója áll, ami a χ2(n) eloszlás s¶r¶ségfüg-gvénye. Így adódik a

g(y|t) = C · (t− y)n−12 −1y−

12

tn2 −1

összefüggés (C normáló tényez®).


A Z21 tört h(y|t) feltételes s¶r¶ségfüggvénye adott T 2 = t helyen:

h(y|t) = t · g(ty|t) = C · (1− y)n−12 −1y−

12 ,

ami éppen a B(1/2, n/2)-eloszlású Z2 valószín¶ségi változó feltételnélküli s¶r¶ségfüggvénye.

(b) El®ször bizonyítsuk be hogy Z2 és T 2 függetlenek! Vezessünk be újváltozókat: Y 2

1 = n(X)2, Y 22 , . . . , Y

2n valószín¶ségi változókat úgy,

hogy Y 21 , . . . , Y

2n független∼ χ2(1) eloszlásúak legyenek és az Y 2

1 , . . . , Y2n =

Z21 , . . . , Z

2n egyenl®ség teljesüljön. Ez mindig megtehet® az

Y2 =

n∑j=1

u2jXj , Y3 =

n∑j=1

u3jXj , . . . Yn =

n∑j=1

unjXj

választással, ahol az uij valós számok ortonormált és az azonosan 1sorvektorra ortogonális sorvektorok koordinátái. Ezután alkalmazzukaz el®z® feladat eredményétVégül a Z2 és T 2 valószín¶ségi változók függetlenségb®l kovetkezteth-etünk Z és T valószín¶ségi változók függetlenségére, felhasználvahogy a számláló s¶r¶ségfüggvénye páros.

Válasz: A fenti számolások valójában fölöslegesek, ha gyelembe vesszüka többdimenziós Ip kovariancia mátrixú normális eloszlás szimmetriatula-jdonságát (l. többdimenziós normális eloszlás)

1.3. Tesztek

1. Határozzuk meg E(1/X|X)-et, ha X tetsz®leges véletlen változó és a szük-séges várható értékek léteznek.

(a) Nem feltétlenül létezik.

(b) X

(c) 1/X

(d) −1/X

Válasz: (c)

2. Határozzuk meg E(X2|X)-et, ha X tetsz®leges véletlen változó és a szük-séges várható értékek léteznek.

(a) Nem feltétlenül létezik.

(b)√X

(c) X

(d) X2

1.3. TESZTEK 29

Válasz: (d)

3. Ha X és Y független változók, akkor (ha a szükséges várható értékekléteznek) E(X + Y |X) =

(a) X + Y .

(b) E(X + Y ).

(c) E(X) + Y .

(d) X + E(Y ).

Válasz: (d)

4. Legyenek X1, . . . , Xn független standard normális eloszlású változók. Mi-lyen eloszlású X1 + . . .+Xn?

(a) standard normális

(b) N(0, n)

(c) N(0, n2)

(d) t(n)

Válasz: (b)

5. Legyenek X1, . . . , Xn független χ2(m) eloszlású változók. Milyen eloszlásúX1 + . . .+Xn?

(a) F(n,m)

(b) F(m,n)

(c) χ2(mn)

(d) χ2(n+m)

Válasz: (c)

6. Legyenek X1, . . . , Xn független λ paraméter¶ exponenciális eloszlású vál-tozók. Milyen eloszlású X1 + . . .+Xn?

(a) exp(nλ)

(b) Gamma(n, λ)

(c) Béta(n,λ)

(d) másodfajú Béta(n,λ)

Válasz: (b)

7. Melyik igaz?

(a) A különböz® szabadságfokú χ2 eloszlások családja (röviden χ2 elos-zlássereg) és exponenciális eloszlássereg a különböz® α, λ paraméter¶Gamma eloszlások családja (röviden Gamma eloszlássereg) részei.


(b) A Gamma és χ2 eloszlásseregek az exponenciális eloszláscsalád részei.

(c) Az exponenciális és Gamma eloszlásseregek a χ2 eloszlássereg részei.

(d) Egyik eloszlássereg sem része a többi.

Válasz: (a)

2. fejezet

El®ismeretek 2.: statisztikaialapok


2.1.1. Az egyváltozós statisztika alapfogalmai

Az alábbiakban röviden összefoglaljuk az egyváltozós statisztikai módszerekneka Tananyagban használt alapfogalmait.

Az egyváltozós statisztikai feladatokat kissé mesterségesen szokás becslése-leméletre és hipotézisvizsgálatra osztani. Mindkét feladatkörben megkülönböztet-nek paraméteres és nemparaméteres módszereket. A Tananyag ezek közül csak aparaméteres módszerek többváltozós analogonjait és más az egyváltozós statisztikábanfel sem merül® módszereket tárgyal. A Tananyag formálisan nem támaszkodika rendezett minták elméletére, de a rendezett minták implicit módon szinteminden statisztikai módszerben megjelennek, ezért röviden erre is kitérunk.

Alapstatisztikák és rendezett minták

Legyen X1, . . . , Xn független azonos eloszlású n-elem¶ minta.

43. Deníció. Az

X =1

n

n∑i=1

Xi

statisztikát mintaátlagnak nevezzük.Ha hangsúlyozni szeretnénk a mintaelemszámot, akkor az Xn jelölést használjuk,

ha pedig a konkrét realizációkkal számolunk, akkor x-t vagy xn-t írunk.

44. Deníció. Az

S2 =1

n

n∑i=1

(Xi − X)2

31

32 FEJEZET 2. ELISMERETEK 2.: STATISZTIKAI ALAPOK

statisztikát empirikus (tapasztalati) szórásnégyzetnek nevezzük, az

S∗2 =n

n− 1S2 =

1

n− 1

n∑i=1

(Xi − X)2

statisztikát pedig korrigált empirikus (tapasztalati) szórásnégyzetnek. A fenti men-nyiségek gyöke az empirikus (tapasztalati) szórás illetve a korrigált empirikus(tapasztalati) szórás, melyeket S illetve S∗ jelöl.

A szórásnégyzet, a második momentum és a várható érték közötti összefüg-gések az alábbi Álításból (mely a merev testek zikájából jól ismert Steiner-tetelátfogalmazása) következnek

45. Állítás (Steiner-tétel). Az x1, . . . , xn ∈ R rögzített értékekkel és tetsz®legesc ∈ R valós számmal

1

n

n∑i=1

(xi − c)2 =1

n

n∑i=1

(xi − x)2 + (x− c)2

teljesül.

46. Következmény. A Steiner tételb®l c = 0 választással következik, hogy azempirikus szórásnégyzetet a következ®képpen is számolhatjuk:

S2 =1

n

n∑i=1

X2i − X2 = X2 − X2.

47. Deníció. Legyen k rögzített pozitív egész. Az

Mk =1

n

n∑i=1

Xki

statisztikát k-adik empirikus (tapasztalati) momentumnak nevezzük, az

M ck =

1

n

n∑i=1

(Xi − X)k

statisztika pedig a k-adik empirikus (tapasztalati) centrális momentum.

Nyilván S2 =M c2 =M2 −M2

1 .

48. Deníció. Legyen (X,Y )T 2-dimenziós valószín¶ségi változó, (X1, Y1)T , . . . , (Xn, Yn)

T

pedig vele azonos eloszlású független azonos eloszlású n-elem¶ minta. Jelölje SXilletve SY a komponensek empirikus szórását! A

C =1

n

n∑i=1

(Xi − X)(Yi − Y ) =1

n

n∑i=1

XiYi − XY


statisztikát empirikus (tapasztalati) kovarianciának, az

R =C

SXSY=

∑ni=1XiYi − nXY√(∑n

i=1X2i − nX2

) (∑ni=1 Y

2i − nY 2

)statisztikát pedig empirikus (tapasztalati) korrelációnak nevezzük.

49. Deníció. Az X1, . . . , Xn mintaelemek értékeit nem-csökken® sorrendbenfelvev® X∗

1 , X∗2 , . . . , X

∗n valószín¶ségi változókat n-elem¶ rendezett mintának nevez-

zük, azaz

X∗1 (ω) ≤ X∗

2 (ω) ≤ · · · ≤ X∗n(ω), ∀ω ∈ Ω× Ω× · · · × Ω = Ωn.

Tehát minden konkrét x1, x2, . . . , xn realizáció esetén ezt az n valós számotkell nagyság szerint nem csökken® sorrendbe rendezni, és a nagyság szerint i-ediket x∗i -gal jelölni. Természetesen az Ω különböz® elemeire más és más lesz amintaelemek sorrendje, és így a rendezés is. Nyilván a rendezett mintaelemekmár nem függetlenek egymástól, és nem is azonos eloszlásúak.

50. Deníció. Empirikus mediánon értjük páratlan n (n = 2k + 1) eseténX∗k+1-ot, páros n (n = 2k) esetén pedig (X∗

k +X∗k+1)/2-t.

Ez valójában a középs® mintaelem, és amennyiben a realizációból számolt értékétm jelöli, ezzel teljesül a Steiner-tétel L1- normában vett megfelel®je:

51. Állítás.

minc∈R

1

n

n∑i=1

|xi − c| = 1

n

n∑i=1

|xi −m|.

A fenti minimumot a minta átlagos abszolút eltérésének is szokták nevezni.A mediánnak több el®nye is van a várható értékkel szemben.

• Olyan eloszlásoknak is létezik a mediánja, amelyeknek a várható értékenem létezik.

• A minta mediánja (empirikus medián) az eltolási paraméternek a mintaát-lagnál stabilabb becslése, érzeketlen egy-két kiugró adatra.

A következ®kben egy n-elem¶ minta alapján kívánjuk közelíteni a háttérelos-zlást, ezért megkonstruáljuk az ún. empirikus eloszlásfüggvényt, amir®l belátjuk,hogy elég nagy n-re jól rekonstruálja az ismeretlen eloszlásfüggvényt, akármiis legyen a véletlen minta. Ezt a tényt fogalmazza meg precízen a GlivenkoCantelli-tétel, melyet a statisztika egyik alaptételének is szoktak tekinteni.

52. Deníció (Empirikus (tapasztalati)). eloszlásfüggvény alatt a következ®véletlen függvényt értjük: tetsz®leges x ∈ R számra legyen

F ∗n(x) :=

∑ni=1 I(Xi < x)

n=

0, ha x ≤ X∗

1 ,kn , ha X∗

k < x ≤ X∗k+1 (k = 1, . . . , n− 1)

1, ha x > X∗n.


Itt I(·) az argumentumban álló esemény indikátorváltozója. Könny¶ látni,hogy az I(Xi < x) indikátorváltozók független azonos eloszlású Bernoulli elos-zlásúak F (x) paraméterrel, ahol F az X háttérváltozó eloszlásfüggvénye.

2.1. ábra. empirikus eloszlásfüggvény

Megjegyezzük, hogy F ∗n az x1, . . . , xn realizációra olyan, mint egy Y ∼

U(x1, . . . , xn) diszkrét egyenletes eloszlású valószín¶ségi változó eloszlásfüggvénye.Nyilván E(Y ) = X és D2(Y ) = S2.

53. Tétel (GlivenkoCantelli-tétel). Legyen F (x) az elméleti eloszlásfüg-gvény és x ∈ R rögzített. Akkor

E(F ∗n(x)) = F (x), D2(F ∗

n(x)) =F (x)(1− F (x))

n,

és limn→∞ F ∗n(x) = F (x), 1 valószín¶séggel.

A tételt animáció is szemlélteti.

Rendezett mintaelemek eloszlása és együttes s¶r¶sége Legyen most azX háttérváltozó abszolút folytonos eloszlású F eloszlás- és f s¶r¶ségfüggvénnyel.A rendezett mintaelemekre

X∗1 < X∗

2 < · · · < X∗n, 1 valószín¶séggel.


El®ször határozzuk meg X∗k Fn;k-val jelölt eloszlás-, és fn;k-val jelölt s¶r¶ség-

függvényét! Nyilván

Fn;k(x) = P(X∗k < x) = P(legalább k db. mintaelem < x) =

=

n∑i=k

(n

i

)P(pontosan i db. mintaelem < x) =

n∑i=k

(n

i

)[F (x)]i[1− F (x)]n−i

(2.1)A s¶r¶ségfüggvényt nem ennek a deriválásával, hanem más meggondolással lehetegyszer¶en kiszámolni, a végeredmény:

fn;k(x) = n

(n− 1

k − 1

)[F (x)]k−1[1− F (x)]n−kf(x). (2.2)

Az U [0, 1] egyenletes eloszlásra alkalmazva a (2.1) formulát és (2.2) formulaintegrálját 0-tól y-ig a következ® értékes összefüggést nyerjük:

n∑i=k

(n

i

)yi(1− y)n−i = n

(n− 1

k − 1

)∫ y

0

uk−1(1− u)n−k du.

Az egyenletes eloszlásból vett 5 elem¶ rendezett minta elemeinek s¶r¶ségeitmutatják az alábbi ábrák.

2.2. ábra. 5 elem¶ rendezett minta elemeinek s¶r¶ségei

A képletgy¶jtemény alapján láthtó, hogy az egyenletes eloszlásból vett n-elem¶ minta Y ∗

k k-adik rendezett mintaeleme B(k, n − k + 1) Béta-eloszlású.Ennek alapján meghatározhatók Y ∗

k momentumai. Így:


2.3. ábra. Egyenletes minta hisztogramja, 5 elem¶ rendezett minta 1.,3.,5. el-emének hisztogramjai

E(Y ∗k ) =

k

n+ 1

E(Y ∗k )

2 =k(k + 1)

(n+ 1)(n+ 2)

D2(Y ∗k ) = E(Y ∗

k )2 − E2(Y ∗

k ) =k(n− k + 1)

(n+ 1)2(n+ 2)(k = 1, . . . , n).

(2.3)

Végül megadjuk akárhány rendezett mintaelem együttes s¶r¶ségfüggvényét.Legyenek ezek a mintaelemek: X∗

k1, X∗

k2, . . . , X∗

kr-ét (1 ≤ k1 < k2 < · · · < kr ≤

n).

fn;k1,...,kr (x1, . . . , xr) =n!

(k1 − 1)!(k2 − k1 − 1)! · · · (kr − kr−1 − 1)!(n− kr)!·

· F (x1)k1−1[F (x2)− F (x1)]k2−k1−1 · · · [F (xr)− F (xr−1)]

kr−kr−1−1[1− F (xr)]n−kr ·

· f(x1) · · · f(xr), ha x1 ≤ x2 ≤ · · · ≤ xr,(2.4)

és nyilván 0 különben.


Az alábbi szürkeárnyalatos ábra f5,1,5-öt mutatja egyenletes eloszlásból vettrendezett minta esetén.

0

0.2

0.4

0.6

0.8

1

2.4. ábra. f5,1,5

Az r = 1 speciális esetben megkapjuk a (2.2) képletet. Az r = n speciálisesetben megkapjuk az összes rendezett mintaelem együttes s¶r¶ségfüggvényét.

fn;1,...,n(x1, . . . , xn) =

n!f(x1) · · · f(xn), ha x1 ≤ x2 ≤ · · · ≤ xn

0, különben.

Az eredmény nem meglep®, hiszen az összes rendezett mintaelem együttes elos-zlása olyan, mint az összes (független) mintaelem együttes eloszlása azzal akülönbséggel, hogy a rendezés miatt az el®bbi eloszlás Rn-nek az x1 ≤ x2 ≤· · · ≤ xn egyenl®tlenség által meghatározott, 1/n! részarányú szimplexére kon-centrálódik.

Elégségesség, teljesség, exponenciális eloszláscsalád

Legyen Ω,AP statisztikai mez®, ahol P = Pθ : θ ∈ Θ. AzX1, . . . , Xn függetlenazonos eloszlású minta egy T (X1, . . . , Xn) = T (X) statisztikájában a mintaele-mekben rejl® a θ paraméterre vonatkozó informaciót s¶ritjük ösze.

54. Deníció. Likelihood-függvényen értjük a mintaelemek együttes valószín¶-ség illetve s¶r¶ségfüggvényét. Legyen x = (x1, . . . , xn) ∈ Rn rögzített, és Lθ(x) alikelihood-függvény az x helyen. Ha a háttéreloszlás diszkrét pθ valószín¶ségfüg-gvényel, akkor

Lθ(x) = Pθ(X = x) =n∏i=1

Pθ(Xi = xi) =n∏i=1

pθ(xi),

ha pedig abszolút folytonos fθ s¶r¶ségfüggvénynyel, akkor

Lθ(x) =

n∏i=1

fθ(xi).


55. Deníció. Azt mondjuk, hogy a T (X) statisztika elégséges a θ paraméterre,ha diszkrét esetben a

Pθ(X = x|T (X) = t) =

Lθ(x)

Pθ(T (X) = t), ha T (x) = t,

0 különben(2.5)

feltételes valószín¶ség, abszolút folytonos esetben pedig az

fθ(x|T (X) = t) =

Lθ(x)

fTθ (t), ha T (x) = t,

0 különben(2.6)

feltételes s¶r¶ség nem függ θ-tól, ∀θ ∈ Θ, ahol fTθ (t) jelöli a T (X) statisztikas¶r¶ségfüggvényét a t helyen.

A fenti deníció alapján látható, hogy az elegséges statisztika a mintaelemek-ben rejl® a θ paraméterre vonatkozó teljes információt tartalmazza.

Felmerül a kérdés: hogyan lehetne megsejteni egy elégséges statisztika alakját?A választ a következ® tétel adja meg.

56. Tétel (NeymanFisher faktorizáció). Egy X minta T (X) statisztikájapontosan akkor elégséges, ha létezik olyan gθ(t) (θ ∈ Θ, t ∈ T (=T értékkés-zlete)) és h(x) (x ∈ X ) mérhet® függvény, hogy

Lθ(x) = gθ(T (x)) · h(x)

teljesül minden θ ∈ Θ, x ∈ X esetén.

Azaz a likelihood-függvény csak a T statisztikán keresztül függ a paramétert®l.Természetesen a teljes minta vagy a rendezett minta is elégséges statisztika,

de mi minél egyszer¶bbet szeretnénk kapni. Ezért bevezetünk a valamilyenparaméterre elégséges statisztikák között egy részben rendezést: azt mondjuk,hogy T1 a T2-nek alárendelt statisztika, ha van olyan mérhet® v függvény, hogyT1 = v(T2). Ezt úgy jelöljük, hogy T1 ≤ T2, és a T1 statisztika gazdaságosabbT2-nél. Ha T1 és T2 kölcsönösen alárendeltek a másiknak, akkor ekvivalenseknekmondjuk ®ket: T1 = T2 (nyilván ekkor v invertálható függvény).

57. Deníció. A T elégséges statisztikát minimális elégséges statisztikának nevez-zük, ha alárendelt statisztikája bármely más elégséges statisztikának.

58. Deníció. A T statisztika teljes, ha a

Eθ(g(T )) = 0, ∀θ ∈ Θ

összefüggés a g függvényeknek egy elég gazdag (például folytonosan deriválható)osztályára teljesül, akkor

g = 0, PTθ (g = 0) = 1,

ahol PTθ jelöli a T statisztika által generált mértéket.


Ennnek a tulajdonságnak a jelent®sége az, hogy, ha a T statisztika elégségesés teljes akkor minimális elegséges. Ugyanakkor ezt a tulajdonságot nehéz ell-n®rizni, de az alább deniált ún. exponenciális eloszláscsaládra teljesül.

59. Deníció. Azt mondjuk, hogy az X háttérváltozó eloszlása tagja az ex-ponenciális eloszláscsaládnak, ha diszkrét esetben a valószín¶ség-, abszolútfolytonos esetben a s¶r¶ségfüggvénye a következ® alakban állítható el®:

c(θ) · exp

k∑j=1

aj(θ) · Tj(x)

· h(x), ∀θ ∈ Θ. (2.7)

Itt k = dim(Θ), c és aj-k véges, mérhet® függvények Θ-n, Tj-k és h pedig véges,mérhet® valós függvények.

(A c > 0 ún. súlyfüggvény biztosítja , hogy a∑

vagy∫1 legyen).

60. Tétel. Vegyünk egy n-elem¶ X = (X1, . . . , Xn) mintát a fenti eloszlásból.Akkor

T (X) =

(n∑i=1

T1(Xi), . . . ,n∑i=1

Tk(Xi)

)(2.8)

elégséges statisztika a θ paraméter-vektorra.

Ismeretes, hogy a normális-, exponeciális-, Poisson-, Bernoulli-, geometriai-Γ-eloszlások tagjai az exponenciális eloszláscsaládnak. A negatív binomiális (Pas-cal), binomiális, polinomiális eloszlások csak rögzített rend esetén azok (csak avalószín¶ség(ek) a paraméter(ek)). A diszkrét és folytonos egyenletes eloszlásokviszont nem tagjai.

2.1.2. Becsléselmélet

Pontbecslések, torzítatlanság, hatásosság, konzisztencia

Legyen (Ω,A,P) statisztikai mez®, ahol P = Pθ : θ ∈ Θ. A θ paramétertvagy annak valamely ψ(θ) függvényét szeretnénk becsülni az X = (X1, . . . , Xn)független azonos eloszlású minta alapján konstruált T (X) statisztika segítségével.Jelölje θ ill. ψ az így kapott becslést!

61. Deníció (Torzítatlanság). T (X) torzítatlan becslés ψ(θ)-ra, ha

Eθ(T (X)) = ψ(θ), ∀θ ∈ Θ.

Ezt a fogalmat a legegyszer¶bb példán szemléltetjük.

62. Állítás. X mindig torzítatlan becslés m(θ) = Eθ(X)-re, ha ez véges.

63. Deníció (Aszimptotikus torzítatlanság). A T (Xn) statisztikasorozataszimptotikusan torzítatlan becslés ψ(θ)-ra, ha

limn→∞

Eθ(T (Xn)) = ψ(θ), ∀θ ∈ Θ.


A szórásnégyzet becslésén szemléltetjük mindkét fogalmat.

64. Állítás. Legyen X1, . . . , Xn független azonos eloszlású minta egy tetsz®legesolyan eloszlásból, melyre minden θ ∈ Θ esetén σ2(θ) = D2

θ(X) <∞. Akkor

S2n =

1

n

n∑i=1

(Xi − X)2 =1

n

n∑i=1

X2i − X2,

S∗n2 := n

n−1S2n pedig torzítatlan becslése a szórásnégyzetnek.

Megjegyezzük, hogy az S∗n2 becslés torzítatlansága a Steiner-tétel következménye.

Hatásosság (eciencia)

65. Deníció. Legyen a T1 és T2 statisztika torzítatlan becslés a θ paraméterre,vagy annak valamely ψ(θ) függvényére. Azt mondjuk, hogy T1 hatásosabb (e-ciensebb) becslés, mint T2, ha

D2θ(T1) ≤ D2

θ(T2), ∀θ ∈ Θ,

és legalább egy θ0 ∈ Θ esetén (2)-ben < teljesül.

66. Deníció. Egy torzítatlan becslés hatásos (eciens) becslés, ha bármelymás torzítatlan becslésnél hatásosabb.

A következ® tétel azt állítja, hogy amennyiben van hatásos becslés, az egyértelm¶.

67. Tétel (Egyértelm¶ségi). Legyen a T1 és T2 statisztika egyaránt torzítat-lan, hatásos becslés ugyanarra a ψ(θ) paraméterfüggvényre. Akkor

Pθ(T1 = T2) = 1, ∀θ ∈ Θ.

Tételek garantálják, hogy exponenciális eloszláscsalád esetén X a várhatóérték hatásos becslése. Nem minden eloszláscsalád esetén igaz ez. Az U [0, θ]egyenletes eloszláscsalád esetén például legyen θ X∗

n legnagyobb rendezett mintaelemn+12n -szerese, ez szintén várható érték torzítatlan becslése (l. (18)), és hatásosabb,mint XKonzisztencia

A konzisztencia azt jelenti, hogy a meggyelések számának növelésével javula becslés pontossága.

68. Deníció. A T (Xn) statisztikasorozat gyengén (er®sen) konzisztens becslésψ(θ)-ra, ha minden θ ∈ Θ-ra n→ ∞ esetén T (Xn) → ψ(θ) sztochasztikusan (1valószín¶séggel).

A nagy számok er®s törvénye maga után vonja az alábbi Állítást.

69. Állítás. Ha X1, . . . , Xn független azonos eloszlású minta X-re és m(θ) =Eθ(X) véges, akkor Xn er®sen konzisztens becslés m(θ)-ra.


Ezt szemlélteti az alábbi animáció.

70. Deníció. A T (Xn) statisztikasorozat a ψ(θ) paraméterfüggvény négyzetesközépben konzisztens becslése, ha minden θ ∈ Θ-ra Eθ(T 2(Xn)) < ∞ (∀n ∈ N)és

limn→∞

Eθ(T (Xn)− ψ(θ))2 = 0.

71. Állítás. Ha a T (Xn) statisztikasorozat négyzetes középben konzisztens bec-slést ad ψ(θ)-ra, akkor a becslés gyengén konzisztens is.

A szórásnégyzet becslése konzisztenciájának bizonyításának eszköze az alábbi önmagában is érdekes Állítás.

72. Állítás.

D2(S2n) =

(n− 1)[(n− 1)M c4 − (n− 3)σ4]

n3,

és

D2(S∗n2) =

1

n

(M c

4 − n− 3

n− 1σ4

).

CramérRao-egyenl®tlenségLegyen (Ω,P,P) statisztikai mez®, ahol P = Pθ : θ ∈ Θ. Célunk az, hogy

a θ paraméterre vagy annak valamely ψ(θ) függvényére konstruált torzítatlanbecslések szórásnégyzetére alsó korlátot adjunk. Ha egy torzítatlan becslésre eza korlát eléretik, akkor biztosak lehetünk abban, hogy hatásos becslésünk van,ami az 67 Tétel alapján egyértelm¶.

Szükségünk lesz a következ®, R. A. Fishert®l származó fogalomra, l.[11].

73. Deníció. Legyen X = (X1, . . . , Xn) független azonos eloszlású minta azX háttérválozó eloszlásából, amely a θ paramétert®l függ (θ ∈ Θ), itt csak adim(Θ) = 1, Θ konvex esettel foglalkozunk. A fenti minta Fisher-féle informá-ciója az

In(θ) = Eθ(∂

∂θlθ(X)

)2

≥ 0

mennyiséggel van deniálva, ahol

lθ(x) = lnLθ(x)

az ún. log-likelihood függvény-t jelöli.

Az információmennyiségt®l elvárjuk, hogy független valószín¶ségi változókesetén additív legyen. Ez itt nem részletezett regularitási feltételek mellett amelyek fennálnak az exponenciális eloszláscsaládokra, de például az egyenleteseloszláscsaládra nem állnak fenn igaz is. Így a denícióban szerepl® függetlenazonos eloszlású valószín¶ségi változók esetén igaz az

In(θ) = nI1(θ).


Ugyanezen regularitási feltételek mellett igaz az I1(θ) egyszer¶bb kiszámításimódját biztosító

I1(θ) = −E(∂2

∂θ2lnLθ(X)

)összefüggés.

A következ® állítás illusztrálja azt a tényt, hogy az elégséges statisztika tar-talmazza a mintában lév®, a paraméterre vonakozó teljes információt.

74. Állítás. Legyen X = (X1, . . . , Xn) független azonos eloszlású minta egy θparamétert®l függ® eloszlásból (θ ∈ Θ), és tegyük fel, hogy In(θ) < ∞. Akkortetsz®leges T (X) elégséges statisztikára

IT (θ) = In(θ),

ahol IT (θ) ugyanúgy számolható a T statisztika valószín¶ség ill. s¶r¶ségfüg-gvényéb®l, mint ahogyan a teljes minta információja a mintaelemek együtteseloszlásából.

Miután a CramérRao egyenl®tlenségben szerepl® valamennyi fogalmat deniál-tunk, kimondhatjuk magát a tételt.

75. Tétel (CramérRao-egyenl®tlenség). Legyen (Ω,A,P) reguláris statisztikaimez®, ahol P = Pθ : θ ∈ Θ, dim(Θ) = 1. Legyen X = (X1, . . . , Xn) függetlenazonos eloszlású minta a Pθ eloszlásból, amir®l most tegyük fel, hogy abszolútfolytonos. Tegyük fel továbbá, hogy a T (X) statisztika valamely deriválható ψfüggvénnyel képzett ψ(θ) paraméterfüggvény torzítatlan becslése,

D2θ(T ) < +∞, ∀θ ∈ Θ

továbbá teljesülnek az alábbi bederiválhatósági feltételek:

∂

∂θ

∫· · ·∫Lθ(x) dx =

∫· · ·∫

∂

∂θLθ(x) dx, ∀θ ∈ Θ

és

∂

∂θ

∫· · ·∫T (x)Lθ(x) dx =

∫· · ·∫T (x)

∂

∂θLθ(x) dx, ∀θ ∈ Θ,

ahol∫···∫n-dimenziós integrálást jelent a likelihood-függvény tartóján. Akkor

D2θ(T ) ≥

(ψ′(θ))2

In(θ), ∀θ ∈ Θ.

Példaként megemlítjük, hogy az N (θ, σ2) normális eloszlásra ismert σ2 es-etén I1 = σ−2, és a θ = X átlagra az egyenl®tlenség helyett egyenl®ség áll, azazeléretik az információs határ, míg az Exp(λ) exponenciális eloszlásra a torzítat-lan λ = n−1

nXbecslés a következ® tétel miatt hatásos, de az információs határ

nem éretik el. Ugyanakkor a U(0, θ) egyenletes eloszlás

θ = X∗n (a legnagyobb rendezett mintaelem

n+ 1

n-szerese)


becslés szórásnégyzete 1/n nagyságrend¶, azaz lényegesen kisebb, mint az in-formációs határ, mert a bederiválhatósági feltételek nem teljesülnek.

76. Tétel (RaoBlackwellKolmogorov-tétel). Legyen (Ω,A,P) statisztikaimez®, ahol P = Pθ ; θ ∈ Θ. Legyen X = (X1, . . . , Xn) független azonos elos-zlású minta valamely Pθ eloszlásból. Legyen továbbá

(a) T (X) elégséges statisztika,

(b) S(X) torzítatlan becslés a ψ(θ) paraméterfüggvényre.Akkor T -nek van olyan U = g(T ) függvénye, amely

(1) szintén torzítatlan becslése a ψ(θ) paraméterfüggvénynek: Eθ(U) = ψ(θ),∀θ ∈ Θ,

(2) U legalább olyan hatásos becslése ψ(θ)-nak, mint S: D2θ(U) ≤ D2

θ(S), ∀θ ∈ Θ.

(3) U konstrukciója a következ®: U := Eθ(S|T ) = g(T (X)), ∀θ ∈ Θ (ezt nevez-zük blackwellizálásnak).

A tétel üzenete: a hatásos becsléseket a minimális elégséges statisztika füg-gvényei közt kell keresni.

Becslési módszerek

A paraméterek (akár többdimenziós paraméterek) becslésére számos ad hocmódszer ismertes, itt csak az ún. maximum-likelihood becslést ismertetjük el-s®sorban azért, mert általánosan alkalmazható, és az általa kapott eredményközel esik a más becslések (például az ún. Bayes-becslés, vagy a momentummódszeren alapuló becslés) által kapott eredményhez.

Legyen (Ω,A,P) statisztikai mez®, ahol P = Pθ ; θ ∈ Θ (a paramétertér le-het többdimenziós és legyen konvex). Vegyünk egy X1, . . . , Xn független azonoseloszlású mintát a Pθ eloszlásból (θ ismeretlen). Az x1, . . . , xn realizáció bir-tokában a paraméter becslésének azt a θ-ot fogadjuk el, amely mellett an-nak a valószín¶sége, hogy az adott realizációt kapjuk, maximális. Mivel ezta valószín¶séget a likelihood-függvény tükrözi, a módszer ezt maximalizálja. Amaximumhely csak a realizációtól függ, tehát statisztikát kapunk becslésként.

77. Deníció. Legyen Lθ(x) : n-elem¶ mintához tartozó likelihood-függvény. Aθ: θ(x1, . . . , xn) statisztikát a θ paraméter maximum likelihood (ML-)becsléséneknevezzük, ha θ globális maximumhelye a likelihood-függvénynek, azaz

Lθ(x1,...,xn)(x1, . . . , xn) ≥ Lθ(x1, . . . , xn)

teljesül ∀θ ∈ Θ és (x1, . . . , xn) esetén.

Megjegyzés. Ha létezik is L-nek globális maximuma minden realizáció esetén,az nem biztos, hogy a max. helyek egyértelm¶ek. Ezesetben választanunk kell amax. helyek között. Áltlános tételek biztosítják, hogy n → ∞ esetén a külön-böz® maximumhelyek a paraméter θ∗ valódi értékéhez konvergálnak. Tehát a θnM-L becslés aszimptotikusan torzítatlan, s®t

√n(θ∗ − θn)-nel aszimptotikusan

N (01/I1(θ∗)) normális eloszlású, azaz aszimptotikusan eciens.


Kondencia intervallum szerkesztés

Az eddigiekben ún. pontbecslésekkel foglalkoztunk, vagyis a becsülend® paramétertv. paraméterfüggvényt a mintaelemekb®l képzett egyetlen statisztikával bec-sültük. Most becslésként egy egész intervallumot melynek határait természete-sen statisztikák jelölik ki fogunk használni. A köznapi beszédben úgy fogal-mazunk, hogy a ψ(θ) paraméterfüggvény P valószín¶séggel a Ta és Tf statisztikákáltal meghatározott intervallumban van. Természetesen ψ(θ) nem valószín¶ségiváltozó. Az alábbi kijelentésnek mégis van értelme Legyen X = (X1, . . . , Xn)független azonos eloszlású minta a Pθ sokaságból (θ ismeretlen)!

78. Deníció. A (Ta(X), Ta(X)) statisztikapárral deniált intervallum legalább1− ε szint¶ kondenciaintervallum a ψ(θ) paraméterfüggvényre, ha

Pθ(Ta(X) < ψ(θ) < Tf (X)) ≥ 1− ε, (2.9)

ahol ε el®re adott kis pozitív szám (például ε = 0.05, ε = 0.01, a hozzájuktartozó szignikanciaszint pedig 95%, 99%).

Nem világos, hogy a denícióban szerepl® Pθ valószín¶ség milyen paraméterértékheztartozik.

Egyes szerencsés esetekben az (2.9) beli valószín¶ség nem függ θ-tól.Kondenciaintervallum szerkesztése a normális eloszlás várható

értékére ismert szórás eseténLegyen X1, . . . , Xn ∼ N (µ, σ2

0) független azonos eloszlású minta, ahol σ20 ismert,

µ (a várható érték) ismeretlen paraméter. (X−rε, X+rε) szimmetrikus alakban:

Pµ(X − rε < µ < X + rε) = Pµ(|X − µ| < rε) = Pµ(−rε < X − µ < rε) =

Pµ(

−rεσ0/

√n<X − µ

σ0/√n<

rεσ0/

√n

)= Φ

(rε

σ0/√n

)− Φ

(−rεσ0/

√n

),

ahol Φ(·) standard normális eloszlásfüggvény, és rε-t úgy kell megválasztani,

hogy 2Φ(

rεσ0/

√n

)− 1 = 1− ε , teljesüljön. Így rε =

Φ−1(1− ε2 )σ0√

n.

Vegyük észre, hogy a kondenciaintervallum hossza n növelésével és a σ0szórás csökkentésével csökken.

Ismeretlen szórásnégyzet esetén a a standard normális eloszlást a megfelel®szabadságfokú Student-eloszlással helyettesítjük.

A fenti két esetben az (2.9) képletben Pθ(Ta(X) < ψ(θ) < Tf (X)) ≥ 1−ε va-lószín¶ség nem függ θ-tól. Ha a feladatot nem lehet θ-tól független szimmetrikuseloszlás valószín¶ségeire visszavezetni, akkor monoton nem csökken® ψ(θ) függ-vény esetén a következ®k®ppen járunk el. El®ször önkényesen felbontjuk az (2.9)képletet Pθ1(Ta(X) > ψ(θ)) ≤ ε/2-re és Pθ2(ψ(θ) > Tf (X)) ≤ ε/2-re. Szavak-ban kifejezve, ha ψ(θ1) értékét csökkentjük, a minta θ1 melletti valószín¶sége,1− ε/ fölé n®, míg ha ψ(θ2) értékét növeljük, a minta θ2 melletti valószín¶sége,ε/2 alá csökken. Az eljárás akkor korrekt, ha a θa(ε) függvény monoton nemnövekv®, míg a θf (ε) függvény monoton nem csökken®.


A módszert a Poisson-eloszlás λ paraméterére szerkesztett kondencia in-tervallummal illusztráljuk. Legyen X1, . . . , Xn ismeretlen λ paraméter¶ Pois-son eloszlásból vett független azonos eloszlású minta, ismeretes, hogy az Y =X1 + · · ·+Xn összeg elégséges statisztika, és eloszlása nλ paraméter¶ Poisson.

Számítsuk ki azt a λa értéket, amire exp(−λa)∑Yj=0

λja

j! = 1− ε/2, majd azt

a λf értéket, amire exp(−λf )∑Yj=0

λja

j! = ε/2,Nyilván λ csökkentésével a deniáló összeg n®, és λ növelésével a deniáló

összeg csökken.Az alábbi ábra λ függvényében mutatja exp(−λ)

∑Yj=0

λj! -t.

2.5. ábra. exp(−λ)∑Yj=0

λj!

A [λa, λf ] intervallumot tekinthetjük a λ paraméter 1 − ε magbízhatóságiszint¶ kondencia intervallumának. Ezt az alábbi ábra illusztrálja (a kék terült1− ε).

Az alábbi interakív ábra a binomiális eloszlás p paramétere esetén szemléltetia fenti eljárást.

2.1.3. Hipotézisvizsgálat

A Tananyagban csak ún. paraméteres hipotézisvizsgálatokkal foglalkozunk. Eztekinthet® a paraméterbecslési feladat egy speciális esetének, amikor el®zetesinformációnk van a paraméter lehetséges értékeir®l, és csak azt kell eldönteni,hogy melyik érték a valószín¶bb. Valójában a hipotézisvizsgálat majdnem min-den feladatát az egyszer¶ alternatívára vezetjük vissza. Tegyük fel, hogy a Θparamétertér mindössze két elemb®l áll: Θ = θ0, θ1. θ = θ0 hipotézist szokás


2.6. ábra. Konndencia intervallum a Poisson eloszlás λ paraméterére

H0-lal jelölni és null-hipotézisnek nevezni, míg a H1 : θ = θ1 az ellen-hipotézis.Mindkét hipotézis lehet összetett is: a Θ paramétertartományt két halmaz dis-zjunkt uniójára (Theta = Theta0cupTheta1 és Theta0 ∩ Theta1 = ∅). Leg-gyakrabban a null-hipotézis egyszer¶ θ = θ0, míg az ellenhipotézis θ == θ0alakú.

Döntésünkkor kétféle hibát követhetünk el: 1. Elvetjük a null-hiptézist, pedigigaz; ezt nevezzük els®fajú hibának, mert ennek a valószín¶sége egyszer¶ null-hipotézis esetén null-hipotézishez tartozó eloszlás alapján kiszámolható.A hipotézisvizs-gálat a gyakorlatban legtöbbször úgy történik, hogy keresünk a mintaelemeknekegy olyan függvényét, amelynek eloszlása az egyszer¶ null-hipotézis fennállásaesetén ismert. Ez a próbastatisztika. (ha szerencsénk van, az ellen-hipotézisheztartozó paraméterértékekre is ismert)2. Elfogadjuk a null-hiptézist, pedig nem igaz; ezt nevezzük másodfajú hibának,ennek a valószín¶sége összetett H1 hipotézis esetén függ a θ ∈ Θ1 paramétert®l.

Döntésünk valamely, az X = (X1, . . . , Xn) minta alapján lehet determin-isztikus, és (diszkrét értékkészlet¶ valószín¶ségi változók esetén) ún. random-izált. A determinisztikus döntéskor a X mintateret felosztjuk Xe elfogadási- ésXk kritikus tartományra.

Xe ∩ Xk = ∅, Xe ∪ Xk = X .

Az els®fajú hiba valószín¶sége egyszer¶ null-hipotézis esetén:

Pθ0(X ∈ Xk).

A hipotézisvizsgálatban a döntést próbának nevezik.


A kritikus tartományt leggyakrabban ún. Ψ próbafüggvénnyel deniáljuk:X ∈ Xe ⇔ Ψ(X) = 0,

X ∈ Xk ⇔ Ψ(X) = 1.

El®fordulhat, hogy ilyen alakú próbafüggvénnyel még egyszer¶ alternatívaesetén sem lehet minden ε értékére pontosan beállítani az els®fajú hibát, s®ta mintateret sem lehet két diszjunkt tartományra osztani úgy hogy az els®fajúhiba adott ε legyen. Ilyenkor háromérték¶ (randomizált) próbafüggvényt alka-lmazunk:

Ψ(X) =

0,

p,

1,

Ha Ψ(X) = p, akkor a nullhipotézist p valószín¶séggel elfogadjuk.Ha a null-hipotézis összetett a próba terjedelmér®l beszélünk.

79. Deníció. A Xk kritikus próba pontos terjedelme:

supθ∈Θ0

Pθ(X ∈ Xk).

A pontos terjedelem diszkrét eloszlások esetén általában nem érhet® el.

80. Deníció. Az Xk kritikus tartománnyal értelmezett próba ereje a θ ∈ Θ1

alternatívával szemben:

βn(θ, ε) = 1− Pθ(X ∈ Xe) = Pθ(X ∈ Xk), θ ∈ Θ1

teljesül.

A próbák esetén is deniálható a torzítatlanság, nevezetesen, ha er®füg-gvénye az ellen-hipotézishez tartozó paraméterértekre sem kisebb, mint a próbaterjedelme. Precízen fogalmazva:

81. Deníció. Az Xk kritikus tartománnyal deniált próba legfeljebb ε ter-jedelm¶ torzítatlan, ha

Pθ(X ∈ Xk) ≤ ε, ha θ ∈ Θ0,

ésPθ(X ∈ Xk) ≥ ε, ha θ ∈ Θ1.

Rögzített terjedelem esetén elvárható, hogy a mintaelemszám növelésévelpróba másodfajú hibája az ellen-hipotézishez tartozó minden paraméterértékrenullához tartson.


82. Deníció. Az n elem¶ mintához tartozó X(n)k kritikus tartománnyal deniált

próba ε terjedelm¶ konzisztens, ha

supθ∈Θ0

Pθ(Xn ∈ XX(n)k ) = ε, ∀n ∈ N

éslimn→∞

βn(θ, ε) = limn→∞

Pθ(Xn ∈ X(n)k ) = 1, ∀θ ∈ Θ1.

A hipotézisvizsgálat legalapvet®bb tétele az egyszer¶ alternatívára érvényesNeymanPerson-Lemma.

83. Tétel (NeymanPearson-Lemma). A

H0 : θ = θ0 versus H1 : θ = θ1

egyszer¶ alternatívára tetsz®leges ε > 0-ra létezik ε terjedelm¶ próba, amelynekmásodfajú hibája minimális, amelynek (esetleg randomizált) próbafüggvénye

ψ(X) =

0, ha Lθ1

(X)

Lθ0(X) < c,

p, ha Lθ1(X)

Lθ0(X) = c,

1, ha Lθ1(X)

Lθ0(X) > c,

(2.10)

ahol a Lθj (X) j = 0, 1 és a c = cε > 0 és p = pε számokat úgy választjukmeg, hogy a próba terjedelme ε legyen

84. Megjegyzés. Diszkrét eloszlás esetén általában nincs olyan c érték, amirea determinisztikus próba els®fajú hibája pontosan ε ezért randomizált próbát al-kalmazunk. Természetesen megtehetjük, hogy szigorúak vagyunk és sz¶kebb kri-tikus tartományt (kisebb c-t) választunk, vagy a kisebb els®fajú hiba el®nyosebb,és engedékenyebbek vagyunk.

Az elméleti összefoglalóban egyetlen példát mutatunk arra az esetre, amikora NeymanPearson-lemma alapján próba szerkeszthet®. Ez az ún. egymintásu-próba.

Legyen X : X1, . . . , Xn független azonos eloszlású N (θ, 1) eloszlású minta,θ lehetséges értékei θ0 (null-hipotézis) és θ1 > θ0 (ellen-hipotézis). A normális

eloszlás s¶r¶ségfüggvényének alakjából kiolvasható, hogy a Lθ1(X)

Lθ0(X) ≥ c egyen-

l®tlenség pontosan akkor teljesül ha√nX ≥ c′, ahol c′-t ugy kell megválasztani,

hogy P(√nX > c′) = ε teljesüljön. Mivel Mivel

√nX standard normális elos-

zlású, c′ = Φ−1(1− ε). A megfelel® kvantiliseket itt interaktív ábra segítségévelhatározhatjuk meg.

Az er®függvény mutatja az u próba konzisztenciáját (az alsó kék vonal azels®fajú hibánál, a fels® 1-nél van).

Az alábbi animáció az u próba konzisztenciáját mutatja.A NeymanPearson-lemma randomizált változata alapján szerkesztend® próba

a feladatok között szerepel.Végül mutatunk egy általanosan használt módszert, amely számos módszer

alapját képezi, és a többváltozós statisztikában más lehet®ség híján mindig eztalkalmazzuk.


2.7. ábra. u próba els®fajú hibája

2.8. ábra. u próba másodfajú hibája µ függvényében

A Likelihood-hányados próba

Ez a fajta próba olyan, viszonylag általános esetekben használható, mikor a null-hipotézis azt jelenti, hogy paraméterünk a véges dimenziós, konvex paramétertér


2.9. ábra. u próba ereje (1−másodfajú hiba) µ függvényében

valamely alacsonyabb dimenziós, összefügg® részsokaságába esik:

H0 : θ ∈ Θ0 versus H1 : θ ∈ Θ1,

ahol Θ0 ∩Θ1 = ∅, Θ0 ∪Θ1 = Θ, és a dim(Θ0) = r, dim(Θ) = k jelöléssel r < kteljesül. Az n-elem¶ minta alapján konstruálandó próbastatisztika:

λn(X) =supθ∈Θ0

Lθ(X)

supθ∈Θ Lθ(X).

Tényleg statisztikát kapunk (λn(X) nem függ θ-tól), amely 0 és 1 közötti értékeketvesz fel.

85. Állítás. Bizonyos regularitási feltételek mellett n→ ∞ esetén

−2 lnλn(X) → χ2(k − r)

eloszlásban, H0 fennállása esetén. (l. [3] 3.10 paragrafus)

Ezért ε terjedelemhez a kritikus tartomány:

Xk = x : λn(x) ≤ λε = x : −2 lnλn(x) ≥ cε,

ahol a cε = −2 lnλε > 0 konstans a χ2(k − r) eloszlás 1− ε kvantilise.


A leggyakrabban használt próbák

t-próba (Student-próba). Normális eloszlás várható értékének tesztelésérevagy két normális várható érték összehasonlítására használják ismeretlen szórás(ok)esetén. A gyakorlatban kis mintákra alkalmazzák, a normális eloszlást fel kelltenni. Egymintás t-próba. LegyenX ∼ N (µ, σ2) háttérváltozó ismeretlen paraméterekkel.A

H0 : µ = µ0 versus H1 : µ = µ0

hipotézis vizsgálatára az n elem¶ X1, . . . , Xn ∼ N (µ, σ) független, azonos elos-zlású mintából konstruált próbastatisztika:

t(X) =X − µ0

S∗n

√n,

az 1− ε szignikanciaszinthez konstruált kritikus tartomány pedig

Xk = x : |t(x)| ≥ tε/2(n− 1),

ahol tε/2(n − 1) az n − 1 szabadságfokú t-eloszlás (1 − ε/2)-kvantilise. A t-eloszlások kvantiliset itt interaktív ábra segítségével tudjuk meghatározni.

Null-hipotézisünket 1−ε szinten elfogadjuk, ha a mintarealizációból számolt|t(x)| < tε/2(n− 1), és elutasítjuk különben.

Kétmintás t-próba. Legyen X ∼ N (µ1, σ2) és Y ∼ N (µ2, σ

2) két tetsz®legesvárható érték¶, de azonos szórású háttérváltozó. Az összes paraméter ismeretlen.Még ebben a paragrafusban megmutatjuk, hogyan lehet ismeretlen szórásokegyenl®ségét tesztelni. A

H0 : µ1 = µ2 vers. H1 : µ1 = µ2

hipotézis vizsgálatára az n1 elem¶ X1, . . . , Xn1 ∼ N (µ1, σ2) független, azonos

eloszlású és az Y1, . . . , Yn2 ∼ N (µ2, σ2) független, azonos eloszlású, egymástól

is független mintákból konstruált próbastatisztika:

t(X,Y) =X − Y√

(n1 − 1)S∗X

2 + (n2 − 1)S∗Y2·

√n1n2(n1 + n2 − 2)

n1 + n2

az 1− ε szignikanciaszinthez konstruált kritikus tartomány pedig

Xk = (x,y) : |t(x,y)| ≥ tε/2(n1 + n2 − 2),

ahol most az n1 + n2 − 2 szabadsági fokú t-eloszlást használjuk. A t-eloszlásokkvantiliset itt interaktív ábra segítségével tudjuk meghatározni.F -próba. Két normális eloszlású változó szórásának összehasonlítására használják.Legyen X ∼ N (µ1, σ

21) és Y ∼ N (µ2, σ

22) két ismeretlen paraméter¶, normális

eloszlású háttérváltozó. A szórások egyenl®ségét szeretnénk tesztelni:

H0 : σ1 = σ2 versus H1 : σ1 = σ2.


Az n1 elem¶X1, . . . , Xn1 ∼ N (µ1, σ2) független, azonos eloszlású és az Y1, . . . , Yn2 ∼

N (µ2, σ2) független, azonos eloszlású, egymástól is független minták alapján

vizsgálódunk. Tudjuk, hogy (n1 − 1)S∗X

2/σ21 ∼ χ2(n1 − 1) és (n2 − 1)S∗

Y2/σ2

2 ∼χ2(n2 − 1) függetlenek. Leosztva ®ket külön-kölön a saját szabadsági fokukkal,majd a hányadosukat véve F(n1, n2)-eloszlású valószín¶ségi változót kapunk, ezttekinthetjük egyben az (n1, n2) szabadsági fokú Fisher-eloszlás deníciójának.H0 fennállása esetén a hányados

F (X,Y) =S∗X

2

S∗Y2 ,

így ezt a próbastatisztikát vezetjük be. Mivel egy F(f1, f2) eloszlású valószín¶ségiváltozó reciproka F(f2, f1) eloszlású lesz, azX, Y szereposztást úgy választhatjuk,hogy a konkrét realizáció alapján számolt s∗X

2 ≥ s∗Y2 legyen. Ezután 1−ε szinten

elutasítjuk H0-t, ha F (x,y) ≥ Fε/2(n1 − 1, n2 − 1), ahol a megfelel® szabadságifokú F -eloszlás (1− ε/2)-kvantilise a kritikus érték. Az F -eloszlások kvantilisetitt interaktív ábra segítségével tudjuk meghatározni.

A következ® két próba ún. nemparaméteres próba, az els® esetben a H0

hipotézis az, hogy a minta egy adott diszkrét eloszlást követ, míg a másodikesetben a H0 hipotézis az, hogy a minta egy adott folytonos eloszlást követ.χ2-próba. Legyen A1, . . . , Ar teljes eseményrendszer és

H0 : P(Ai) = pi (i = 1, . . . , r),

ahol a pi > 0,∑ri=1 pi = 1 valószín¶ségek adottak. Végezzünk n db. meg-

gyelést! Jelölje ν1, . . . , νr az A1, . . . , Ar esemény gyakoriságát (∑ri=1 νi = n)!

Akkor H0 fennállása esetén a (ν1, . . . , νr) valószín¶ségi változó polinomiális elos-zlású:

PH0(ν1 = n1, . . . , νr = nr) =

n!

n1!···nr!pn11 · · · pnr

r , ha n1 + · · ·+ nr = n,

0, különben.

A alábbi tétel biztosítja, hogy a az∑ri=1

(νi−npi)2npi

próbafüggvény aszimp-totikusan χ2-eloszlású.

86. Tétel. Ha (ν1, . . . , νr) polinomiális eloszlású n és p1, . . . , pr (pi > 0) paraméterekkel(vagyis a (3.1)-beli H0 fennállása esetén), akkor n→ ∞ esetén

r∑i=1

(νi − npi)2

npi→ χ2(r − 1)

eloszlásban.

A χ2-eloszlások kvantiliset itt interaktív ábra segítségével tudjuk meghatározni.Megjegyzés. A határeloszlás nem függ a pi értékekt®l, csak r-t®l.KolmogorovSzmirnov-próba. Ezt a próbát tiszta illeszkedésvizsgálat céljárahasználjuk olyan esetekben, mikor a háttéreloszlás folytonos. A próbastatisztikakonstrukciójánál kihasználjuk a KolmogorovSzmirnov tételkört.

2.2. FELADATOK 53

Egymintás eset (illeszkedésvizsgálat):

H0 : P(X < x) = F (x), ∀x ∈ R

(F adott folytonos eloszlásfüggvény).

H1 : van olyan x ∈ R, P(X < x) = F (x).

Jelölje F ∗ a tapasztalati eloszlást és legyen

Dn = supx∈R

|F ∗n(x)− F (x)|.

Amennyiben x∗1 ≤ · · · ≤ x∗n az x = (x1, . . . , xn)mintarealizáció rendezett alakja,akkor

Dn(x) = maxi

max|F ∗n(x

∗i )− F (x∗i )|, |F ∗

n(x∗i + 0)− F (x∗i )| =

= maxi

max| i− 1

n− F (x∗i )|, |

i

n− F (x∗i )|.

Kolmogorov tétele alapján tudjuk, hogy H0 fennállása esetén

limn→∞

P(√nDn < z) = K(z), ∀z ∈ R,

ahol

K(z) =

0, ha z ≤ 0,∑∞i=−∞(−1)ie−2i2z2 = 1− 2

∑∞i=1(−1)i−1e−2i2z2 , ha z > 0,

.

AKolmogorov-eloszlás kvantiliset itt interaktív ábra segítségével tudjuk meghatározni.

2.2. Feladatok

1. Igaz-e, hogy a tapasztalati korreláció mindig −1 és 1 közé esik? Mikorteljesülhet valamelyik egyenl®ség?

Tipp: Alkalmazzuk a véges dimenzós CauchySchwarz-egyenl®tlenséget!

Válasz: Igaz.1, ha a két minta egymás pozítív számszorosa,

− 1, ha a két minta egymás negatív számszorosa.

2. LegyenX1, . . . , Xn független, p paraméter¶ Bernoulli eloszlásból vett statisztikaiminta.


(b) Adjuk meg a k-adik empirikus (tapasztalati) momentum eloszlását!


(c) Adjuk meg a második empirikus (tapasztalati) centrális momentumeloszlását!

Tipp:

(a) Elemi számolás.

(b) A diszkrét eloszlású valószín¶ségi változók függvény eloszlásának szá-molása.

(c) Alkalmazzuk az el®z® 2 pont eredeményét k = 1, 2-re.

Válasz:

(a) Bn(p).

(b) Az nk/n, (n − 1)k/n, . . . , 1/n, 0 számok valószín¶ségei ugyanazok,mint a Bn(p) eloszlásban az n, n− 1, . . . , 1, 0 értékek valószín¶ségei.

(c)(n− (n+1)

2n

)2, . . . ,

(− (n+1)

2n

)2számok valószín¶ségei ugyanazok, mint

a Bn(p) eloszlásban az n, n− 1, . . . , 1, 0 értékek valószín¶ségei.

3. Legyen X1, . . . , Xn független, λ1, . . . , λn paraméter¶ Poisson eloszlásbólvett minta.


(b) Adjuk meg X eloszlását!

Tipp: Alkalmazzuk a képletgy¶jteményt.

Válasz:

(a) nλ paraméter¶ Poisson.

(b) A 0, 1/n, 2/n, . . . értékeket ugyanazzal a valószín¶ségel veszi fel,mint az nλ paraméter¶ Poisson-eloszlás.

4. Legyen X1, . . . , Xn ∼ N (µ, σ2) független minta. Milyen eloszlású X? (Ad-juk meg a várható értéket és a szórásnégyzetet is!)

Tipp: l. képletgy¶jtemény.

Válasz: N (µ, σ2/n).

5. Legyen X1, . . . , Xn ∼ U(−1, 1) független minta. Aszimptotikusan milyeneloszlású

√n ·X?

Tipp: Számítsuk ki a U(−1, 1) eloszlás els® két momentumát és alka-lmazzuk a centrális határeloszlás-tételt.

Válasz: N (0, 1/3).

2.2. FELADATOK 55

6. Legyen X1, . . . , Xn független minta f(x) = 12√2e−

√2|x| s¶r¶ségfüggvén-

nyel. Aszimptotikusan milyen eloszlású√n ·X?

Tipp: A feladatban szerepl® valószín¶ségi változók várható értéke 0,szórasnégyzetet jelölje σ2, ez utóbbit az exponenciális eloszlás s¶r¶ségfüg-gvényének és második momentumának ismeretében kiszámíthatjuk. Alka-lmazzuk a centrális határeloszlás-tételt.

Válasz: Vegyük észre, hogy f(x) a teljes számegyenesen van értelmezve!N (0, 1).

7. Legyen X1, . . . , Xn független, λ paraméter¶ exponenciális eloszlásból vettminta. Milyen eloszlású X?

Tipp: keressük meg a képletgy¶jteményben a gamma eloszlás s¶r¶ségfüggvényét-

Válasz: G(n, λ).

8. Számoljuk ki az n-edrend¶ λ paraméter¶ gamma eloszlás −k-adik momen-tumát, ahol k < n.

Tipp: Számitsuk ki az∫∞0X−kf(x)dx integrált, ahol f(x) a G(n, λ)

eloszlás s¶r¶ségfüggvénye. Használjuk ki azt a tényt, hogy x−kf(x) G(n−k, λ) s¶r¶ségfüggvényének konstansszorosa (l.képletgy¶jtemény abszolútfolytonos eloszlások).

Válasz: λk

(n−1)...(n−k)

9.

10. Legyen X∗1 < . . . < X∗

n a [0, 1] intervallumon egyenletes eloszlásból vettrendezett minta.

(a) Igazoljuk, hogy X∗1 , . . . , X

∗n nem függetlenek!

(b) Igazoljuk, hogy 1−X∗n, . . . , 1−X∗

1 szintén a [0, 1] intervallumon egyen-letes eloszlásból vett rendezett minta!

(c) Milyen eloszlású X∗k+1 −X∗

k , ahol 1 ≤ k < n?

Tipp:

(a) Elemi logika.

(b) Hivatkozzunk a egyenletes eloszlás szimmetriájára.

(c) l. rendezett minta elemeinek együttes s¶r¶ségfüggvénye.

Válasz:

(a) Ha például X∗1 = 0, 001, akkor X∗

2 felveheti a 0,002 értéket, mígha X∗

1 = 0, 99, akkor X∗2 nem veheti fel a 0,002 értéket, azaz X∗

2

feltételes eloszlása X∗1 -ra nézve függ X∗

1 értékét®l.


(b) Mivel az egyenletes eloszlás szimmetrikus az 1/2 ponra, 1−Xn, . . . , 1−X1 szintén egyenletes eloszlásból vett minta, igy a bel®le képzett ren-dezett minta szintén az egyenletes eloszlásból vett rendezett minta.

(c) X∗k+1−X∗

k valószín¶ségi változók azonos eloszlású (de nem független!)valószín¶ségi változók,X∗

k+1−X∗k eloszlása azonos azX

∗1 valószín¶ségi

változóeloszlásával, ami B(1, n) Béta eloszlású.

11. Legyen X1, . . . , Xn független, az [a, b] intervallumon egyenletes eloszlásbólvett minta, X∗

1 < . . . < X∗n pedig a bel®le gyártott rendezett minta. Adjuk

meg Xk eloszlás- és s¶r¶ségfüggvényét, valamint várható értékét!

Tipp: l. a rendezett minta elemeinek eloszlását.

Válasz: Eloszlásfüggvény:

Gn,k(x) =n∑j=k

(n

j

)[F (x)]j [1− F (x)]n−j

és a s¶r¶ségfüggvény:

gn,k(x) = n

(n− 1

k − 1

)[F (x)]k−1[1− F (x)]n−kF ′(x),

ahol F az [a, b] intervallumon egyenletes eloszlás eloszlásfüggvénye. Avárható érték a+b

2 · kn+1 .

12. Legyen X1, . . . , Xn független minta az F (x) =√x (0 < x < 1) eloszlás-

függvénnyel. Adjuk meg X∗k s¶r¶ségfüggvényét!

Tipp: Lásd az el® z® feladat megoldását!

Válasz:

1[0,1]1/2 · gn,k(x) = n

(n− 1

k − 1

)[√x]k−1[1−

√x]n−kx−1/2

13. Legyen X∗1 < . . . < X∗

n a [0, 1] intervallumon egyenletes eloszlásból vettrendezett minta, és Y ∗

1 < . . . < Y ∗n az el®z®t®l független, szintén a [0, 1]

intervallumon egyenletes eloszlásból vett rendezett minta. Adjuk megX∗k−

Y ∗k s¶r¶ségfüggvényét (1 ≤ k ≤ n)!

Tipp: Két független B(k, n−k+1) eloszlású valószín¶ségi változó különb-ségének s¶r¶sége a kérdés, ami konvolúcióval meghatározható. Figyeljünkaz integrálás tartományára!

Válasz:

14. Legyen X∗1 , . . . , X

∗n a λ paraméter¶ exponenciális eloszlásból vett ren-

dezett minta.

(a) Adjuk meg a k-adik (1 ≤ k ≤ n) mintaelem eloszlás- és s¶r¶ségfügg-vényét!

2.2. FELADATOK 57

(b) Milyen eloszlású a δk := X∗k+1 −X∗

k , ahol 1 ≤ k < n?

Tipp:

(a) Alkalmazzuk a 12 feladatot, F (x) helyébe 1− exp(−λx)-et írva.(b) Alkalmazzuk az exponenciális eloszlás örökifjú tulajdonságát.

Válasz:

(a)

fn,k(x) = n

(n− 1

k − 1

)[F (x)]k−1[1− F (x)]n−kf(x)

ahol F (x) = 1− exp(−λx)-et és f(x) = λ exp(−λx).(b) δk ∼ Exp[(n− k)λ].

15. Legyen X1, . . . , Xn független, a (θ − 12 , θ + 1

2 ) intervallumon egyenleteseloszlású minta. Legyen

T (X) =X∗

1 +X∗n

2.

Határozzuk meg T (X) g(z) s¶r¶ségfüggvényét!

Tipp: Lásd A rendezett minták elemeinek együttes s¶r¶ségfüggvényér®ltanultakat!

Ha X és Y valószín¶ségi változók együttes s¶r¶ségfüggvénye f(x, y), akkora konvolúcióhoz hasonlóan a Z = X +Y valószín¶ségi változó s¶r¶ségfüg-gvénye: g(z) =

∫f(x, z − x)dx

Figyeljünk az integrálás tartományára, és használjuk fel azt a tényt, hogya keresett s¶r¶ségfüggvény szimmetrikus θ-ra!

Válasz:

g(z) =

n · [1 + 2(z − θ)]n−1, ha z < θ,

n/2 · [1− 2(z − θ)]n−1, ha z > θ

16. Igazoljuk, hogy ha n > 1, és X1 nem elfajult és s¶r¶ségfüggvénye valóbanfügg a paramétert®l, akkor T (X) = X1 semmilyen paraméterre sem elégséges!

Tipp: Használjuk fel elégséges statisztika denícióját!

Válasz: Legyen két mintánk: X1 és X2. A függetlenség miatt kettejükegyüttes s¶r¶ségfüggvényének feltételes s¶r¶ségfüggvénye X1-re nézve ép-pen X2 s¶r¶ségfüggvénye, ami természetesen függ a paramétert®l.

17. Igazoljuk, hogy a rendezett minta minden paraméterre elégséges statisztika!

Tipp: Legyen az X1, . . . , Xn független azonos eloszlású valószín¶ségiváltozók közös fθ(x) s¶r¶ségfüggvénye, ahol θ egy paraméter. Legyenek


X∗1 , . . . , X

∗n a fenti valószín¶ségi változókból készített rendezett minta ele-

mei. Mutassuk meg hogy az eredeti f(x1, . . . , xn) s¶r¶ségfüggvény rekon-struálható a rendezett minta f∗(x∗1, . . . , x

∗n) s¶r¶ségfüggvénye alapján!

Válasz:

fx1, . . . , xn = 1(xπ(1)≤···≤xπ(n))f∗(xπ(1), . . . , xπ(n))

ahol π az a permutació ami szerint az aktuális minta rendezetté válik.

Emögött az a heurisztikus tény húzódik meg, hogy ha van egy függetlenmintánk valamely F eloszlásból, azt rendezzük, majd a rendezett mintábólvéletlenszer¶en visszatevés nélkül kiválásztjuk a mintaelemeket, akkor is-mét egy független mintát kapunk ugynabból az F eloszlásból.

18. Legyenek X1, . . . , Xn független, a [0, θ] intervallumon egyenletes eloszlás-ból vett minta! Igaz-e, hogy X∗

n a θ paraméterre elégséges statisztika?

Tipp: l. képletgy¶jtemény abszolút folytonos eloszlások és alkalmazzuka Neyman-Fisher faktorizációt.

Válasz: Igen.

19. Tegyük fel, hogy T statisztika torzítatlan becslése θ paraméternek. Tek-intsünk egy tetsz®leges S statisztikát. Igaz-e, hogy E(T |S) is torzítatlanbecslése θ-nak?

Tipp: Alkalmazzuk feltételes várható érték tulajdonságait,

Válasz: Igen, mert E(E(T |S)) = E(T ).

20. Legyen X valószín¶ségi változó, amelynek létezik a szórása.

(a) Tegyük fel, hogy ismert az E(X) = θ várható érték. Igazoljuk, hogyS21 = 1

n

∑ni=1(Xi − θ) torzítatlan becslése a szórásnégyzetnek! Mit

mondhatunk a konzisztenciáról?

(b) Az (a) pont segítségével igazoljuk, hogy az S2n = 1

n

∑ni=1(Xi − X)2

empirikus szórásnégyzet nem torzítatlan becslése a szórásnégyzetnek!Készítsünk segítségével torzítatlan becslést!

Tipp:

(a) Közvetlen számolás. Alkalmazzuk a nagy számok törvényét ( keressükmeg a képletgy¶jteményben).

(b) Közvetlen számolás.

Válasz:

(a) Er®sen konzisztens.

(b) Az S∗2n = 1

n−1

∑ni=1(Xi −X)2 torzítatlan becslés.

21. Tekintsünk az alábbi eloszlásokból egy n elem¶ mintát! Adjunk elégségesstatisztikát az ismeretlen paraméterre!

2.2. FELADATOK 59

(a) p paraméter¶ geometriai eloszlás,

(b) (5, p) paraméter¶ B5(p) binomiális eloszlás,

(c) (3, p) paraméter¶ negatív binomiális eloszlás,

(d) G(2, λ),(e) G(α, 2),(f) θ = (α, λ) paraméter¶ Gamma eloszlás,

(g) N (µ, 1),

(h) N (0, σ2),

(i) N (µ, σ2),

(j) m szabadságfokú χ2 eloszlás,

(k) θ = (a, b) paraméter¶ Béta eloszlás,

(l) [−α, α] intervallumon egyenletes eloszlás.

Tipp: l. képletgy¶jtemény nevezetes eloszlások, továbbá használjuk aNeyman-Fisher faktorizációt (l. elégséges statisztika).

Válasz:

(a) Pl. X1 + . . .+Xn,

(b) pl. X1 + . . .+Xn,

(c) pl. X1 + . . .+Xn,

(d) pl. X1 + . . .+Xn,

(e) pl. X1 · . . . ·Xn,

(f) pl.X1 + . . .+Xn, X1 · . . . ·Xn,

(g) pl. X1 + . . .+Xn,

(h) pl. X21 + . . .+X2

n,

(i) pl. X1 + . . .+Xn, X21 + . . .+X2

n,

(j) pl. X1 + . . .+Xn, X21 + . . .+X2

n,

(k) pl.∏ni=1Xi,

∏nj=1(1−Xj),

(l) pl. max−X∗1 , X

∗n.

22. X1, . . . , Xn független, θ = (r, p) paraméter¶ negatív binomiális eloszlásbólvett minta. A θ paraméterre elégséges statisztika-e a mintaátlag?

Tipp: l. képletgy¶jtemény diszkrét eloszlások és Neyman-Fisher faktor-izáció (l. elégséges statisztika).

Válasz: Nem, itt két paraméterre kell elégséges statisztikát adni!

23. Elégséges statisztika-e θ paraméterre Lθ(X) (ahol Lθ a likelihood-függvény)?

Tipp: Elemi logika.

Válasz: Nyilván nem, hiszen benne van a paraméter.


24. LegyenekX1, . . . , Xn független, λ paraméter¶ Poisson eloszlású valószín¶ségiváltozók.

(a) Igaz-e, hogy X elégséges statisztika a λ paraméterre!

(b) Adjunk a λ paraméterre a fentit®l különböz® elégséges statisztikát!

Tipp:

(a) l. képletgy¶jtemény diszkrét eloszlások és Neyman-Fisher faktorizáció

(b) L. elégséges statisztika tulajdonságait.

Válasz:

(a) Igaz.

(b) Pl. a teljes minta, a rendezett minta, a mintaösszeg és annak invertál-ható függvényei (utóbbiak a minimális megoldások).

25. Legyen X1, . . . , Xn λ paraméter¶ exponenciális eloszlásból vett függetlenminta.

(a) Igaz-e, hogy∑ni=1Xi elégséges statisztika a λ paraméterre?

(b) Adjunk a λ paraméterre más elégséges statisztikákat!

Tipp:

(a) Írjuk fel a likelihood függvényt azaz az X1, . . . , Xn együttes s¶r¶ség-függvényét (l. képletgy¶jtemény abszolút folytonos eloszlások)

(b) L. el®z® feladat.

Válasz:

(a) Igaz.

(b) Pl. a teljes minta, a rendezett minta, a mintaátlag, a mintaösszeginvertálható függvényei (utóbbiak a minimális megoldások).

26. Legyen X1, . . . , Xn független, p paraméter¶ geometriai eloszlású minta.

(a) Adjuk meg a p paraméter Y maximum likelihood becslését!

(b) Alkalmasan transzformálva tegyük Y -t torzitatlan becsléssé!

Tipp:

(a) Közvetlen számolás.

(b) Keressük meg a képletgy¶jteményben a negatív binomiális eloszlást,és okoskodjunk az E(1/X) kiszámításához hasonló módon, ugyanisa negatív binomiális eloszlás éppolyan általánosítása a geometriaieloszlásnak, mint a gamma eloszlás az exponenciális eloszlásnak.

2.2. FELADATOK 61

Válasz:

(a) nY

(b) n−1Y−1 .Vegyük észre, hogy ez a képlet n = 1-re nincs értelmezve!

27. Legyen X1, . . . , Xn független, a [θ + 12 , θ − 1

2 ] intervallumon egyenleteseloszlású minta.

(a) X torzítatlan becslése-e θ-nak? Ha nem, készítsünk segítségével torzí-tatlan becslést!

(b) X∗n− 1

2 torzítatlan becslése-e θ-nak? Ha nem, készítsünk segítségéveltorzítatlan becslést!

(c) Igazoljuk, hogy X er®sen és X∗n − 1

2 gyengén konzisztens becsléseiθ-nak!

Tipp:

(a) A mintaátlag torzitatlan becslése a várható értéknek.

(b) Számítsuk ki az X∗n − 1

2 valószín¶ségi változó várható értékjét (l. arendezett minták-ról szóló paragrafust).

(c) Az Y1 = X és az Y2 = X∗n − 1

2 becslések gyenge konzisztenciájá-nak igazolásához számitsuk ki E(Y1 − θ)2 és E(Y2 − θ)2 négyzetesrizikókat és alkalmazzuk Csebisev-egyenl®tlenséget. Az Y1 becslésa nagy számok er®s törvénye miatt er®sen konzisztens, míg az Y2négyzetes rizikója kisebb nagyságrend¶, mint az Y1 becslésé. ( Aszükséges információkat keressük meg a képletgy¶jteményben és arendezett minták-ról szóló paragrafusban).

Válasz:

(a) Igen.

(b) Nem, de az Y2 + 1/(n+ 1) már torzítatlan.

(c) Az X er®s konzisztenciája az Útmutatás alapján nyilvánvaló, míg azX∗n − 1

2 gyenge konzisztenciája nyilvánvaló az Útmutató alapján (azer®s konzisztencia is igaz, de az (egyszer¶) bizonyítás eszköze nemszerepel a Tananyagban).

28. Legyen X1, . . . , Xn független, a [0, θ] intervallumon egyenletes eloszlásúminta.

(a) Adjunk maximum likelihood becslést θ-ra!

(b) Igazoljuk, hogy 2X torzítatlan becslés θ-ra!

(c) Mivel a θ/2-re szimmetrikus az eloszlásunk, a medián egybeesik avárható értékkel. Tegyük fel, hogy n páratlan, és készítsünk a tapasz-talati medián segítségébel torzítatlan becslést θ-ra!


(d) X1 torzítatlan becslése-e θ-nak? Ha nem, készítsünk segítségével torzí-tatlan becslést!

(e) X∗1 torzítatlan becslése-e θ-nak? Ha nem, készítsünk segítségével torzí-

tatlan becslést!

(f) X∗n torzítatlan becslése-e θ-nak? Ha nem, készítsünk segítségével torzí-

tatlan becslést!

(g) A fenti becslések közül melyik konzisztens?

(h) Számítsuk ki és hasonlítsuk össze a fenti torzítatlan becslések szórás-négyzetét! Melyik a leghatásosabb?

(i) Teljesül-e az In(θ) = nI1(θ) összefüggés? Teljesül-e minden esetbena Cramér-Rao egyenl®tlenség?

(j) Igazoljuk, hogyX∗n elégséges statisztika θ-ra. Segítségével blackwellizáljuk

a fenti torzítatlan becsléseket!

Tipp:

(a) Vigyázzunk, a linelihood-függvény nem mindenütt deriválható!

(b) A mintaátlag mindig torzítatlan becslése a várható értéknek, ami ittθ/2.

(c) Legyen n = 2k+1, mivel két egymást követ® rendezett minta különb-ségének várható értéke θ

2k+2 .

(d) Nyilvánvaló.

(e) E(X∗1 ) = θ/(n+ 1).

(f) E(X∗n)θn/(n+ 1)

(g) Vizsgáljuk meg a szórásnégyzetüket!

(h) θ = 1 esetén ismert mindegyik, használjuk ki!

(i) A 2X szórásnégyzete θ2

3n , I1(θ) =1θ2 .

(j) A rendezett mintákon alapuló becslésekre alkalmazzuk a következ®heurisztikát:E(X∗

k |x∗n) = kn+1 |x

∗n.Ami a 2X-ot illeti, hasonló heurisztika

alapján: tetsz®leges n-re E(Xn|X∗n) =

n−12n X

∗n + frac1nX∗

n.

Válasz:

(a) X∗n

(b) 2X

(c) a tapasztalati medián kétszerese (jelölje ezt θ0,5) θ torzitatlan bec-slése.

(d) θ1 = 2X1.

(e) θ2 = X∗1 (n+ 1).

(f) θ3 = X∗n(n+ 1)/n.

2.2. FELADATOK 63

(g) θ1

(h) θ2 a leghatásosabb, de a θ0,5 szórásnégyzetének is ugyanekkora anagyságrendje (∼ 2/n2), elég nagy n-re ez is meghaladja az nI1(θ) =nθ2 információs határt.

(i) A Cramér-Rao egyenl®tlenség n nagy értékeire csak a 2X és a θ1-renem teljesül.

(j) Az X∗n statisztika elégségessége következik a Neyman-Fisher szorzat-

tételb®l, gyelembevéve, hogy a likelihood függvény alakja Lθ(x) =1θ · 10≤x∗

n≤θ. Valamennyi blackwellizált: θ2

29. Legyen X1, . . . , Xn független, a [−θ, θ] intervallumon egyenletes eloszlásúminta.

(a) Adjunk θ-ra torzítatlan becslést |X| segítségével!(b) Konzisztens-e a fenti becslés?

Tipp:

(a) Alkalmazzuk a következ® heurisztikus meggondolást: az X1, . . . , Xn

független, a [−θ, θ] intervallumon egyenletes eloszlású mintát ugy iskisorsolhatjuk, hogy a [0, θ] intervallumon kisorsolunk az Y1, . . . , Ynfüggetlen mintát, valamint egy t®lük és egymástól is független p =1/2 paraméter¶ ε1, . . . , εn Bernoulli-mintát. Legyen Xk(2ε − 1)Ykminden k-ra. Ilymódon a feladatot visszavezettük az el®z® feladat (f)pontjára.

(b) Az el®z®ek alapján nyilvánvaló.

Válasz:

(a)

(b) θ = 2|X|(c) Igen.

30. LegyenekX1, X2, X3 rendreN (µ, 1),N (µ, 4),N (µ, 1/4) eloszlású függetlenmintaelemek.

(a) Milyen a, b, c értékekre lesz aX1 + bX2 + cX3 torzítatlan becsléseµ-nek?

(b) Milyen a, b, c választással kapjuk meg a leghatásosabb becslést atorzítatlanok közül?

Tipp: A becslés akkor lesz torzitatlan, ha a + b + c = 1. Az optimálisbecslést akkor kapjuk meg, ha az a, b, c súlyok fordítottan arányosak avalószín¶ségi változók szórásnégyzeteivel (pl. Lagrange multiplikátor mod-szerrel igazolható).

Válasz: a = 16273 b =

1273 c =

256273


31. Tekintsük azX1, . . . , Xn független, θ paraméter¶ Bernoulli eloszlású mintátés számítsuk ki a Fisher-információját! Tekintsük az Y1, . . . , Yn függetlenmintát is, amely háttérváltozója θ valószín¶séggel 1, 1− θ valószín¶séggel−1 értéket vesz fel. Számítsuk ki ennek is a Fisher-információját és vessükössze az el®bb meghatározott információval!

Tipp: Jelöljük pθ(x)-szel annak a valószín¶séggét, hogy X = x. Itt x =0, x = 1, illetve x = −1, x = 1. Alkalmazzuk Cramér-Rao egyenl®tlenségparagrafusban szerepl® deníciót:

I1(θ) =

(∂∂θpθ(0)

)2pθ(0)

+

(∂∂θpθ(1)

)2pθ(1)

,

illetve

I1(θ) =

(∂∂θpθ(−1)

)2pθ(−1)

+

(∂∂θpθ(1)

)2pθ(1)

,

Válasz: Mindkét esteben In(θ) = nθ(1−θ)

32. Legyen X1, . . . , Xn független, p paraméter¶ Bernoulli eloszlású minta.

(a) Adjunk maximum likelihood becslést p-re!

(b) Számítsuk kiD2p(X)-ot is! Mit mondhatunk a CramérRao-egyenl®tlenség

alapján?

(c) Szeretnénk p-re torzítatlan becslést adni. Mekkora legyen n, ha aztszeretnénk, hogy becslésünk szórása ne haladja meg 0,03-at p bármelyértéke esetén sem?

Tipp:

(a) Az M-L becslés denicióját lásd a Becsléselmélet paragrafusban

(b) Közvetlen számolás, az informaciós határt illet®en lásd az el®z® fe-ladatot!

(c) Legyen ez a becslés a (p = X). Az el®z® pontban már kiszámítottukD2p(X)-ot Keressük meg a max0≤p≤1 p(1−)p-t

Válasz:

(a) p = (X).

(b) D2p(X) = p(1−p)

n . A becslés hatásos, a Cramér-Rao egyenl®tlenségbenitt egyenl®ség all.

(c) A D2p(X) maximuma 1

4n Ennek alapján n =(

10,06

)2.

33. Legyen X1, . . . , Xn független, λ paraméter¶ exponenciális eloszlású minta.

(a) Adjunk maximum likelihood becslést λ-ra!

2.2. FELADATOK 65

(b) Számoljuk ki a minta Fisher-információját!

(c) 1/X nem torzítatlan becslése a λ paraméternek. Készítsünk segít-ségével η torzítatlan becslést és számoljuk ki η szórásnégyzetét!

(d) Az X elégséges statisztika segítségével blackwellizáljuk a fenti torzí-tatlan becslést! (Ismert, hogy az így kapott becslés hatásos becsléseλ-nak. Ellentmond-e ez a CramérRao egyenl®tlenségnek?)

Tipp:

(a) Alkalmazzuk a deníciót (l. képletgy¶jtemény és Becsléselmélet).

(b) Alkalmazzuk a Cramér-Rao egyenl®tlenség megfelel® formuláját.

(c) 1/X nem torzítatlan becslése a λ paraméternek.

(d) A számoláshoz használjuk a Gamma eloszlást (l. képletgy¶jtemény),ennek alapján η az 1/X statisztika alkalmas konstanszorosa lesz.

(e) Az X Lásd az el®bbi észrevételt.

Válasz:

(a) 1/X.

(b) In(λ) = nλ2

(c) η = n−1nX

, D2(η) = λ2n2

(n−1)2(n−2)

(d) Az η becslés blackwellizáltja önmaga.

34. Legyen X1, . . . , Xn független, (2, λ) paraméter¶ Gamma eloszlású minta.

(a) Adjunk maximum likelihood becslést λ-ra!

(b) Adjunk becslést λ-ra a momentumok módszerével!

(c) Torzítatlan becslése-e X1 statisztika a 1/λ-nak? Ha nem, készítsünksegítségével torzítatlan becslést!

(d) Torzítatlan becslése-e 1/X1 statisztika a λ paraméternek? Ha nem,készítsünk segítségével torzítatlan becslést!

(e) Torzítatlan becslése-e 1/X statisztika a λ paraméternek? Ha nem,készítsünk segítségével torzítatlan becslést!

(f) Igazoljuk, hogy∑ni=1Xi elégséges statisztika a λ paraméterre! Segít-

ségével blackwellizáljuk a fenti torzítatlan becsléseket!

Tipp:

Válasz:

35. Legyen X1, . . . , Xn ∼ N (µ, 1) független minta.

(a) Igazoljuk, hogy X1 torzítatlan, de nem konzisztens becslése µ-nek!Mit mondhatunk a CramérRao-egyenl®tlenség alapján?


(b) Számítsuk ki a minta Fisher-információját! Számítsuk ki D2µ(X)-ot

is! Igazoljuk, hogy X hatásos becslése µ-nek!

(c) Torzítatlan becslése-e µ2-nekX1X2? Mennyi a szórásnégyzete? Mondhatunk-e valamit a CramérRao-egyenl®tlenség alapján?

(d) Torzítatlan becslése-e µ2-nek X2? Ha nem, tegyük azzá, és számítsuk

ki a szórásnégyzetét!

Tipp:

Válasz:

36. Legyen X1, . . . , Xn ∼ N (0, ϑ) (ϑ = σ2) független minta.

(a) Adjuk maximum likelihood becslést ϑ-ra!

(b) Igazoljuk, hogy S21 = 1

n

∑ni=1X

2i hatásos becslése σ2-nek!

(c) Igazoljuk, hogy a korrigált empirikus szórásnégyzet nem hatásos bec-slése a σ2 paraméternek!

Tipp:

(a) Alkalmazzuk a deniciót (l.Becsléselmélet)

(b) Számítsuk ki a minta ϑ-ra vonatkozó Fisher-információját (l. Cramér-Rao egyenl®tlenség). és a ϑ M-L becslés szórásnégyzetét

(c) Közvetlen számolás.

Válasz:

(a) S21 = 1

n

∑ni=1X

2i

(b) In(ϑ) = 12ϑ2 , D2(ϑ) = 2ϑ2.

37. Legyen X1, . . . , Xn független, λ paraméter¶ Poisson eloszlású minta.

(a) Vegyük λ maximum likelihood becslését! Minden realizáció mellettlétezik-e maximum likelihood becslés?

(b) Igazoljuk, hogy a maximum likelihood módszerrel kapott becslés torzí-tatlan és számítsuk ki a szórásnégyzetét! Mit mondhatunk a CramérRao-egyenl®tlenség alapján?

(c) Igazoljuk, hogy X1 is torzítatlan becslése λ-nak! Az X elégségesstatisztika segítségével blackwellizáljuk az X1 becslést!

(d) Torzítatlan becslése-e λ-nak az empirikus szórásnégyzet? Ha nem,tegyük azzá! Hatásos becslést kapunk-e így?

(e) A fenti becslések közül melyik konzisztens?

Tipp:

(a) Közvetlen számolás.

2.2. FELADATOK 67

(b) Közvetlen számolás; számítsuk ki a minta In(λ) Fisher-információját.

(c) Közvetlen számolás. Alkalmazzuk feltételes várható érték tulajdonsá-gait, és vegyük észre, hogy az X1, . . . , Xn mintaelemek szerepe szim-metrikus!

(d) Vegyük észre, hogy empirikus szórásnégyzet mindig torzítatlan bec-slése a szórásnégyzetnek. Alkalmazzuk konzisztencia paragrafusbana szóránégyzet becslésére megfogalmazott állítást!

(e) Alkalmazzuk az el®z® részfeladatok eredményeit!

Válasz:

(a) Igen.

(b) Az információs határ eléretik, tehát a M-L becslés hatásos.

(c) A mintaátlag (azaz a M-L becslés) lesz a blackwellizált.

(d) Igen. A becslés nem lesz hatásos, bár ennek ellen®rzése az Útmu-tatás alapján hosszadalmas, a cáfolathoz elegend® λ egyetlen értékéreelvégezni a számolást.

(e) (c) kivételével mindegyik.

38. Legyen X1, . . . , Xn ∼ Bin(5, p).

(a) Vizsgáljuk meg a maximum likelihood és a momentumok módszerévelkapott becslések torzítatlanságát és hatásosságát!

(b) Számítsuk ki a minta Fisher-információját!

Tipp:

Válasz:

39. Adjunk becslést a negatív binomiális eloszlás paramétereire momentumokmódszerével!

Tipp:

Válasz:

40. Tekintsük az

fa,p(x) =

p ap

xp+1, ha x ≥ a,

0 különben

s¶r¶ségfüggvény¶ Pareto-eloszlást, ahol a, p > 0 paraméterek. Adjunkmaximum likelihood becslést θ = (a, p)-re! Tegyük fel, hogy p > 2. Adjunkbecslést θ-ra a momentumok módszerével!

Tipp:

Válasz:


41. Tekintsünk egy kételem¶ független, (µ, 1) paraméter¶ Cauchy eloszlásúmintát! A (µ, σ) paraméter¶ Cauchy eloszlás s¶r¶ségfüggvénye:

fµ,σ(x) =σ

π(σ2 + (x− µ)2).

(a) Adjunk maximum likelihood becslést µ-re az x1, x2 realizáció segít-ségével!

(b) Tudunk-e becslést adni momentumok módszerével? Használjuk ki,hogy 1-nél kisebb momentumok is léteznek!

Tipp:

Válasz:

42. LegyenX1, . . . , Xn független, [a, b] intervallumon egyenletes eloszlású minta.

(a) Adjunk becslést (a, b)-re a momentumok módszerével!

(b) Adjunk maximum likelihood becslést (a, b)-re!

Tipp:

Válasz:

43. Legyen X1, . . . , Xn ∼ N (µ, σ2) független minta. Tudunk-e adni 1−ε meg-bízhatósági szint¶ kondencia intervallumot σ-ra

(a) X−µσ/

√n,

(b) nS2n

σ2 (S2n = 1

n

∑ni=1(Xi − µ)2) segítségével?

Tipp:

(a) Vizsgáljuk meg milyen statisztika alapján kellene kondencia inter-vallumot adni!

(b) Vizsgáljuk meg milyen statisztika alapján kellene kondencia inter-vallumot adni!

Válasz:

(a) Nem, mert a X−µσ/

√n

statisztika standard normális eloszlású, ebb®legyik paraméterre sem vonhatunk le következtetést.

(b) Nem, mert a nS2n

σ2 statisztika χ2(n) eloszlású, ebb®l egyik paraméterresem vonhatunk le következtetést.

44. Egy cukorgyárban kockacukrokat gyártanak. Tegyük fel, hogy a cukrokélhossza közelít®leg normális eloszlású. Megmérjük 16 cukor élhosszúságát.Az adatok átlaga 10,06 mm, tapasztalati szórása 0,46 mm. Adjunk 95%megbízhatósági szint¶ kondencia intervallumot µ3-re (azaz egy átlagoskockacukor térfogatára)!

2.2. FELADATOK 69

Tipp: Alkalmazzuk a kondencia intervallum paragrafus példáját stan-dard normális eloszlás helyett a t(15) Student eloszlással a kocka élhosszára,majd használjuk fel azt a tényt, hogy az x3 függvény monoton.

Válasz: Táblázatból ismert, hogy ha X ∼ t(15), akkor P(X > 2, 12) =0, 975 így a kocka élére a 10, 06±2, 12·0, 46/4 intevallum 95megbízhatóságiszint¶ kondencia intervallum. A térfogatra a [945, 87mm3, 1093, 94mm3]nem szimmetrikus kondencia intervallumot kapjuk.

45. Legyenek X1, . . . , Xn ∼ N (µ1, σ2) és Y1, . . . , Ym ∼ N (µ2, σ

2) függetlenminták. Adjunk 1 − ε szint¶ kondencia intervallumot µ1 − µ2-re X − Ysegítségével ((n, m, σ) ismert!)

Tipp: várható éeték¶ valószín¶ségi változó határozzuk meg σ2e szórásn-

egyzetét, majd alkalmazzuk kondencia intervallum paragrafusban kidol-gozott példát µ = µ1 − µ2-re .

Válasz: σ2e =

σ21

n +σ22

m

A kondencia intervallum:

X − Y ± σe · Φ−1(1− ε/2)√n


22) független

minták. Adjunk 1− ε szint¶ kondencia intervallumot σ1/σ2-re!

Tipp: Tekintsük az

η =

∑nj=1(Xj−µ1)

2

n∑mj=1(Yj−µ2)2

n

statisztikát, vegyük észre, hogy σ22

σ21η ∼ F (n,m). Jelöljön ξ egy F (n,m)

eloszlású valószín¶ségi változót; keressük meg azt az F1 (F2) értéket amelyrea P (ξ < F1) = ε/2 (P (ξ > F2) = ε/2)

Válasz: A P ( ) argumentumát alkalmas átrendezése a

P (η/F2 <σ21

σ22

) = ε/2 ésσ21

σ22

< η/F1 = 1− ε/2

egyenl®ségre vezet.

47. Legyen X1, . . . , Xn független, a [0, θ] intervallumon egyenletes eloszlásbólvett minta. Adjunk 1− ε megbízhatósági szint¶ kondencia intervallumotθ-ra

(a) X1 +X2,

(b) X∗n segítségével!

Tipp:


2.10. ábra. P (ξ < F1) = ε/2 (P (ξ > F2) = ε/2)

(a) Nyilvánvaló, hogy a minta töredékével (X1+X2) túlságosan tág kon-dencia intervallumot kapunk.

(b) Alsó határnak az maga az X∗n megfelel, hiszen θ nem lehet ennél

kisebb. A θf fels® határ meghatározásához vegyünk egy 0 < δ < θszámot és vizsgáljuk a P (δ < X∗

n < θ) = P (θ < X∗n + δ) = 1 − ε

valószín¶séget. A jobb oldal valószín¶sége 1 −(θ−δθ

)n, ami egyenl®

1−ε-nal. Ebb®l δ-ra kapunk egy egyenletet. Oldjuk meg és rendezzükát a középs® valószín¶ség argumentumát.

Válasz:

(a) Az X1 +X2 eset irreleváns.

(b) A javasolt számitásokat eredménye: θf = X∗n/ε

1/n.

48. Legyen X1, . . . , Xn független, λ paraméter¶ Poisson eloszlású minta. Ad-junk λ-ra 1− ε megbízhatósági szint¶ kondencia intervallumot

(a) a Csebisev-egyenl®tlenség felhasználásával!

(b) a centrális határeloszlás-tétellel!

Tipp:

(a) A Csebisev-egyenl®tlenséget az X − λ valószín¶ségi változóra írjukfel:

P ((X − λ)2 > a2) ≤ D2

a2,

2.2. FELADATOK 71

ahol D2 = λ/n. Ha a kondencia intervallumot X ± rep alakban ker-essük, akkor a fenti egyenl®tlenség helyett vegyünk egyenl®séget éstegyük fel, hogy D2

a2 = ε, azaz a = λnε Ezt az értéket írjuk be az

egyenl®tlenség jobb oldalába. Így λ-ra kapunk egy másodfokú egyen-letet.

(b) Lásd a kondencia intervallum pargrafusban az N (µ, σ20) re kidolgo-

zott példát. Itt σ20 = λ, ezért, ha X ± rε alakban keressük a kon-

dencia intervallumot.

Válasz:

(a) Az egyenlet két megoldása:

λ1,2 =2(X + a2)±

√(2X + a2)2 − 4X

2

2,

Ezek lesznek a kondencia határok.

(b) rε = X−y lesz, ahol y az (1−y)2−Φ−1(1−ε/2)y√n

másodfokú egyenletnek

az a megoldása amelyre rε 1/√n nagyságrend¶.

49. Végezzünk el n-szer egy kísérletet, legyen az A esemény bekövetkezéseinekszáma Kn. Szerkesszünk rá 1− ε megbízhatósági szint¶ kondencia inter-vallumot p = P(A)-ra n = 10 és n = 10000 esetén is!

Tipp:

Válasz:

50. Legyen X1, . . . , Xn független, a (θ−1/2, θ+1/2) intervallumon egyenleteseloszlású minta. Adjunk 1− ε megbízhatósági szint¶ kondencia interval-lumot θ-ra T (X) = (X∗

1 +X∗n)/2 segítségével!

Tipp:

Válasz:

51. Legyen X egy egyelem¶ minta, s¶r¶ségfüggvénye eθ−x, ha x > θ. Sz-erkesszünk 1−εmegbízhatósági szint¶ kondencia intervallumot a θ paraméterreX segítségével!

Tipp:

Válasz:

52. Legyen X1, . . . , Xn független, λ paraméter¶ exponenciális eloszlású minta.

(a) Konstruáljunk ε terjedelm¶ próbát λ-ra X∗1 segítségével!

(b) Konstruáljunk ε terjedelm¶ próbát λ-ra 1/X alapján!

(c) A fenti próbák közül melyik konzisztens?


Tipp:

Válasz:

53. Valódi (θ) selejtarányra szeretnénk min®ségellen®rzést. Vegyünk egy n =25 elem¶ független Bernoulli-mintát: X1, . . . , Xn. Konstruáljunk ε = 0, 05terjedelm¶ (randomizált) próbát aH0 : θ = θ0 = 0, 05 ésH1 : θ = θ1 = 0, 1választáshoz! Határozzuk meg a másodfajú hibát is. A B(25, 0, 05) (F0)és a B(25, 0, 1) (F1) binomiális eloszlásokról az alábbi adatok ismertek:

F0(2) = 0, 873

F0(3) = 0, 9, 66

P0(3) = 0, 093

F1(2) = 0, 873

F1(3) = 0, 9, 66

P1(3) = 0, 093,

ahol P0(3) ( P1(3)) annak a valószín¶sége, hogy egy B(25, 0, 05) (B(25, 0, 1))eloszlású valószín¶ségi változó pontosan a 3 értéket veszi fel.

Tipp: Alkalmazzuk a NeymannPearson-lemmát. Vegyük észre, hogy azígy konstrált próba kritikus tartománya x > c alakú, ahol x a mintábanlev® selejtes termékek x száma. Látható, hogy olyan kritikus tartománynincs, amely pontosan 0,05 terjedelem¶ próbát adna, (F0(2) < 0, 95, F0(3) >0, 95), ezért randomizálnunk kell. Keressük meg azt a δ > 0 számot,amelyre F0(2) + δP0(3) = 0, 95.

Döntésünk: ha x > 3 elvetjük a null-hipotézist, ha x = 3 akkor1 − δvalószín¶séggel vetjük el a null-hipotézist.

A másodfajú hiba kiszámításához határozzuk meg a B(25, 0, 1) binomiáliseloszlás szerinti valószín¶ségét annak az eseménynek, hogy a null-hipotézstelfogadju, azaz x ≤ 2 plusz δ · P1(3).

Válasz: A döntésben szerepl® szorzó δ = 0, 828, a másodfajú hiba való-szín¶sége 0,725.

54. Legyen X1 egy egyelem¶, p paraméter¶ geometriai eloszlású minta. AH0 : p = 0,5 versus H1 : p = 0,9 esetén a mekkora a terjedelme annaka véletlenített próbának, amelynek próbafüggvénye

Ψ(X1) =

0 k ≥ 30,5 k = 21 k = 1

Adjuk meg a másodfajú hiba valószín¶ségét is!

Tipp: Az el®z® feladathoz hasonló módon járunk el, azzal a könnyebb-séggel, hogy itt a próbafüggvény adott és a hibavalószín¶ségeket kell kiszámí-tani. (A geometriai

2.2. FELADATOK 73

eloszlás megfelel® valószín¶ségeit l. képletgy¶jtemény.)

Válasz:

Terjedelem: 0,375.

Másodfajú hiba 0,046.

55. Legyen X1, . . . , Xn független, λ paraméter¶ exponenciális eloszlású minta.Konstruáljuk meg a H0 : λ = λ0 és H1 : λ = λ1 > λ0 egyszer¶ al-ternatívához tartozó ε terjedelm¶ próbát a Neyman-Pearson alaplemmasegítségével!

Tipp: Mivel NeymannPearson-lemmában szerepl® likelihood hányadosaz Y =

∑nj=1Xj monoton függvénye (a monotonitás iránya függ λ0 és λ1

viszonyátol)

a próbafüggvény λ1 > λ0 esetben

Ψ(Y ) =

0 Y ≥ c1 Y < c

alakú lesz. Ha F ∼ G(n, λ0) akkor a c = F−1(ε) lesz az alkalmas konstans.

Válasz: Az Útmutató alapján c értéke konkrét n és λ0 értékekre kiszá-molható, l. ábra.

56. X1, . . . , Xn ∼ N (0, σ2) független minta. Konstruáljuk meg a H0 : σ = σ0és H1 : σ = σ1 egyszer¶ alternatívához tartozó ε terjedelm¶ próbát aNeyman-Pearson alaplemma segítségével!

Tipp: Mivel NeymannPearson-lemmában szerepl® likelihood hányadosaz Y =

∑nj=1X

2j monoton függvénye (a monotonitás iránya függ σ0 és σ1

viszonyától).

Válasz: A próbafüggvény σ1 > σ0 esetben

Ψ(Y ) =

0 Y ≤ c1 Y > c

alakú lesz. Ha F ∼ χ2(n) akkor a c = F−1(1−ε) lesz az alkalmas konstans.

57. Írjuk fel n elem¶ mintára a likelihood-hányados próba λn(X) statisztikáját,ahol

(a) X ∼ geom(p) és H0 : p = p0 vs H1 : p = p0.

(b) X ∼ Poisson(λ) és H0 : λ = λ0 vs H1 : λ = λ0.

(c) X ∼ exp(λ) és H0 : λ = λ0 vs H1 : λ = λ0.

(d) X ∼ U(0, θ) és H0 : θ = θ0 vs H1 : θ = θ0.

(e) Teljesülnek-e a fenti esetekben a regularitási feltételek?


Tipp: Az (a), (b), (c) esetekben alkalmazzuk a A hipotézisvizsgalat para-grafusban adott formulát. A számlálóban a likelihood függvénynek az azalakja szerepel, amelyben a paraméter az egyszer¶ null-hipotézishez tar-tozó érték; nevez®ben pedig (ahol a szuprémum szerepel) a likelihood füg-gvénynek az az alakja szerepel, amelyben a paraméter helyett annak M-Lbecslése áll. A (d) eset külön meggondolást igényel.

Válasz:

(a) Legyen Y =∑nj=1Xj , és p = n/Y

λn(X) =pn(1− p)Y−n

pn(1− p)Y−n

(b) Legyen Y =∑nj=1Xj , és λ = Y/n

λn(X) =λY e−λ

λY e−λ

(c) Legyen Y =∑nj=1Xj , és λ = n/Y

λn(X) =λne−nλY

λne−nλY

(d) Ha X∗n > θ0 elvetjük a null-hipotézist, mert egy lehetetlen esemény

következett be.Ellenkez® esetben λn(X) =

X∗n

θ0

58. Legyen X1, . . . , Xn ∼ N (µ, σ2) független minta, mindkét paraméter is-meretlen (n elegend®en nagy). Legyen H0 : σ = 1 és H1 : σ = 1. Kon-struáljunk ezekhez 0,05 terjedelm¶ likelihood-hányados próbát!

Tipp:

Válasz:


2) függetlenminták.

(a) Írjuk fel a H0 : σ = σ0 és H1 : σ = σ0 hipotézisekhez konstruáltlikelihood-hányados próba statisztikáját!

(b) Írjuk fel a H0 : µ1 = µ2 és H1 : µ1 = µ2 hipotézisekhez konstruáltlikelihood-hányados próba statisztikáját, ha σ ismert!

(c) Írjuk fel a H0 : µ1 = µ2 és H1 : µ1 = µ2 hipotézisekhez konstruáltlikelihood-hányados próba statisztikáját, ha σ ismeretlen!

Tipp:

Válasz:

2.2. FELADATOK 75

60. Legyen X1, . . . , Xn ∼ N (µ, σ2) független minta. Tekintsük a H0 : σ = σ0és H1 : σ > σ0 hipotéziseket, és azt a próbát, amelyre Xk = x : nS2

n/σ20 >

c(S2n = 1

n

∑ni=1(Xi − X)2 az empirikus szórásnégyzet). Torzítatlan-e az

adott próba?

Tipp: Keressük meg a képletgy¶jteményben a χ2 eloszlás s¶r¶ségfügg-vényét, és alkalmazzuk az y = σx helyettesítést:

fY (x) =xn/2−1e−x/(2/σ)

(σ2)n/2Γ(n/2), y ≥ 0.

Vizsgáljuk meg, hogy a próba ereje hova tart, ha σ → ∞ !

Válasz: Nem.

61. Igaz-e, hogy az ε terjedelm¶ (kétoldali) u-próba pontosan akkor fogadja ela nullhipotézist, ha µ0 benne van az X segítségével µ-re szerkesztett 1− εszint¶ kondencia-intervallumban?

Tipp: Írjuk fel az elfogadási tartomány és alakítsuk át!

Válasz: Igaz.

62. Legyen X1, . . . , Xn ∼ N (µ, σ20) független minta, (σ0 ismert). Legyen H0 :

µ = µ0 és H1 : µ = µ0. Konstruáljunk ezekhez 0,05 terjedelm¶ likelihood-hányados próbát! Vessük össze a kapott próbát az u-próbával (két- ésegyoldali változatával is)!

Tipp:

Válasz:

63. Legyen (X1, Y1), . . . (Xn, Yn) ∼ N (m,C), ahol

m⊤ = (µ1, µ2) és C =

(σ21 00 σ2

2

).

Tegyük fel, hogy a szórások ismertek. Szerkesszünk H0 : µ1 = µ2 versusH1 : µ1 = µ2 hipotézisekre

(a) kétmintás u-próbát!

(b) Alkalmazzunk önkontrollos vizsgálatot!

Tipp: Mindkét esetben az X−Y valószín¶ségi változó σ2e szórásnégyzetét

kell meghatározni.

Válasz: A próbastatisztika a standard normális eloszlású X − Y /σe.

(a) A kétmintás u-próbánál σ2e =

σ21

n1+

σ22

n2.

(b) Az önkontrollos vizsgálatnál σ2e =

σ21

n +σ22

n .


A két próbafüggvény azonos, mert n = n1 = n2.

64. Legyen X1, . . . , Xn ∼ N (µ, σ2) független minta. Tekintsük a H0 : µ = µ0

versus H1 : µ = µ0 (a szórásnégyzet ismeretlen) t-próba statisztikáját:

t(X) =X − µ0

S∗n/

√n

(a) Igazoljuk, hogy a likelihood-hányados próbához tartozó statisztika

λn(X) =

(∑nj=1(Xj −X)2∑nj=1(Xj − µ0)2

)n/2alakú.

(b) Igazoljuk, hogy

λn(X) =

(1

1 + t2(X)n−1

)n/2.

(c) Mutassuk meg, hogy ez azt jelenti, hogy a fenti likelihood-hányadospróba a t-próba kétoldali változatával ekvivalens!

Tipp:

A hipotézisvizsgálat paragrafusban keressük meg a likelihood-hányadospróba szerkesztésének módját. Itt a paramétertér 2 dimenziós:

Θ = (µ, σ2) : µ ∈ R, σ2 > 0,

a 0-hipotézis által kijelölt 1-dimenziós részsokaság pedig

Θ0 = (µ0, σ2) : σ2 > 0.

Az X = (X1, . . . , Xn) független, azonos eloszlású minta alapján felírjuk az

Lµ,σ2(X) =1

(√2πσ)n

exp

(− 1

2σ2

n∑i=1

(Xi − µ)2

)

likelihood-függvényt, majd vesszük ennek szuprémumát a Θ illetve a Θ0

halmazon:

sup(µ,σ2)∈Θ

Lµ,σ2(X) =1(

2π 1n

∑ni=1(Xi − X)2

)n/2 exp

(−

∑ni=1(Xi − X)2

2(1n

∑ni=1(Xi − X)2

)) =

=

(n

2π∑ni=1(Xi − X)2

)n/2e−

n2 ,

2.3. TESZTEK 77

sup(µ,σ2)∈Θ0

Lµ,σ2(X) =1(

2π 1n

∑ni=1(Xi − µ0)2

)n/2 exp

(−

∑ni=1(Xi − µ0)

2

2(1n

∑ni=1(Xi − µ0)2

)) =

=

(n

2π∑ni=1(Xi − µ0)2

)n/2e−

n2 ,

A fenti számolásból nyilvanvalóan adódik (a), és egyszer¶ algebrai áta-lakításokkal (b).

Válasz: Az Útmutatóban (a) és (b) megoldása már szerepel, a (c) abbólkövetkezik, hogy likelihood-hányados próba statisztika monoton függvényea kétoldali t-próba statisztikájának.

65. Határozzuk meg az egyoldali u-próba er®függvényét! Igazoljuk, hogy apróba torzítatlan és konzisztens is! Hogyan változik a próba ereje, ha

(a) ε,

(b) θ − θ0,

(c) n n®?

Tipp:

Válasz:

66. Tekintsük az (X1, Y1), . . . , (Xn, Yn)mintát és az rsp Spearman-féle rangko-rrelációs együtthatót.

(a) Igazoljuk, hogy |rsp| ≤ 1 és egyenl®ség pontosan akkor teljesül, haminden i = j párra Xi ≤ Xj az Yi ≤ Yj , illetve Yi ≥ Yj relációt vonjamaga után (rsp el®jelének megfelel®en).

(b) Igazoljuk, hogy ha a háttérváltozók függetlenek, akkor E(rsp) = 0.

Tipp:

Válasz:

67. Legyen X1, X2, . . . ∼ exp(λ) független azonos eloszlású minta. Adjunk aH0 : λ = λ0 vs. H1 : λ = λ1 egyszer¶ alternatíva eldöntésére szekven-ciális eljárást (ε1 els®fajú és ε2 másodfajú hibával)! Adjuk meg a várhatólépésszámokat!

Tipp:

Válasz:

2.3. Tesztek

1. Milyen eloszlású a λ paraméter¶ exponenciális eloszlásból vett n elem¶rendezett minta els® eleme?

(a) exp(nλ)


(b) exp(λ/n)

(c) Gamma(n, λ)

(d) Béta(1, n)

Válasz: (a)

2. Tekintsünk egy N(m,σ2) vett mintát, legyen X a mintaátlag. Igaz-e, hogyX elégséges statisztika (m,σ2) paraméternek?

(a) igen, a Neyman-Fisher faktorizáció miatt

(b) igen, mivel torzítatlan becslése a várható értéknek

(c) nem, mert két paraméterre nem lehet megadni elégséges statisztikát

(d) nem, mert a mintának a mintaátlagra vett feltételes eloszlása µ-t®lfüggetlen, de σ2-t®l nem.

Válasz: (d)

3. Az alábbiak közül melyik az exponenciális eloszlás várható értékére elégségesstatisztika?

(a) X∗n

(b) X⌊n/2⌋ ∗+X⌈n/2⌉∗(c) X1 . . . Xn

(d) X1 + . . .+Xn

Válasz: (d)

4. Tekintsünk egy n elem¶ N(m,σ2) eloszlásból vett mintát. Milyen becslése

σ2-nek (∑ni=1X

2i −X

2)/(n+ 1)?

(a) Nem torzítatlan, de aszimptotikusan torzítatlan, er®sen konzisztens.

(b) Nem torzítatlan, de aszimptotikusan torzítatlan, gyengén sem konzisztens.

(c) Torzítatlan, a Cramér-Rao egyenl®tlenség alapján hatásos, er®senkonzisztens.

(d) Torzítatlan, de a Cramér-Rao egyenl®tlenség alapján nem hatásos,er®sen konzisztens.

Válasz: (a)

5. Tekintsünk egy n elem¶ N(0, σ2) eloszlásból vett mintát. Milyen becsléseσ2-nek (

∑ni=1X

2i )/n?



(c) Torzítatlan, a Cramér-Rao egyenl®tlenség alapján hatásos, er®senkonzisztens.

2.3. TESZTEK 79

(d) Torzítatlan, de a Cramér-Rao egyenl®tlenség alapján nem hatásos,er®sen konzisztens.

Válasz: (c)

6. Tekintsünk egy n elem¶ U(0, θ) eloszlásból vett mintát. Milyen becsléseθ-nak a maximum likelihood becslés?



(c) Torzítatlan, hatásos, gyengén konzisztens.

(d) Torzítatlan, nem hatásos, gyengén konzisztens.

Válasz: (a)

7. Tekintsünk egy n elem¶ Poisson(λ) eloszlásból vett mintát. Milyen becsléseλ-nak a momentumok módszerével vett becslés?



(c) Torzítatlan, hatásos, er®sen konzisztens.

(d) Torzítatlan, nem hatásos, er®sen konzisztens.

Válasz: (c)

8. Mi a kapcsolat a normális eloszlás várható értékére ismeretlen szórás eseténadott kondenciaintervallumnak és a t-próba között?

(a) A t-próba elfogadja a nullhipotézist, ha tesztelt érték a kondenci-aintervallumba esik.

(b) A t-próba elfogadja a nullhipotézist, haX a kondenciaintervallumbaesik.

(c) A t-próba elutasítja a nullhipotézist, ha tesztelt érték a kondenci-aintervallumba esik.

(d) A t-próba elutasítja a nullhipotézist, haX a kondenciaintervallumbaesik.

Válasz: (a)

9. Létezik-e az exponenciális eloszlás paraméterére vonatkozó, H0 : λ = λ0és H1 : λ = λ1 hipotéziseket tesztel® ε terjedelm¶ leger®sebb próba (ε > 0tetsz®leges)?

(a) Nem, mert 1/X nem torzítatlan becslése λ-nak.

(b) Igen, a likelihood-hányados próba ilyen.

(c) Igen, a Neyman-Pearson alaplemma alapján.


(d) Igen, a Wald-féle szekvenciális eljárás ilyet ad.

Válasz: (c)

10. Mennyi az ε terjedelm¶ egymintás, egyoldali u-próba másodfajú hibája?

(a) 1− ε

(b) 1/ε

(c) βn(mε) = 1− Φ(uε − (µ− µ0)/(σ0/√n))

(d) 1− βn(mε) = Φ(uε − (µ− µ0)/(σ0/√n))

Válasz: (d)

11. Az egymintás egyoldali u-próba

(a) torzítatlan és konzisztens.

(b) nem torzítatlan de konzisztens.

(c) torzítatlan de nem konzisztens.

(d) nem torzítatlan és nem konzisztens.

Válasz: (a)

12. Alkalmazható-e a t próba ismert szórás esetén?

(a) Igen.

(b) Csak normális eloszlású kis minta esetén.

(c) Csak normális eloszlású nagy minta esetén.

(d) Nem, mert az ismeretlen szórás feltétel, ismert szórás esetén csak azu próbát alkalmazhatjuk.

Válasz: (a)

13. Mikor használhatjuk a χ2 próbákat?

(a) Mindig.

(b) Diszkrét háttérváltozó esetén mindig, folytonos háttérváltozó dis-zkretizálása esetén csak nagy mintaelemszám mellett.

(c) Az illeszkedévizsgálatra vonatkozó χ2 próbát mindig, a többit csaknagy mintaelemszám esetén.

(d) Csak nagy mintaelemszám esetén (mindegyiket, minden háttérvál-tozó esetén).

Válasz: (a)

3. fejezet

A többdimenziós normáliseloszlás, Wishart eloszlás


3.1.1. Többdimenziós normális eloszlás

A p-dimenziós, nem-elfajult normális eloszlást az p-dimenziós standard normáliseloszlás lineáris transzformáltjaként vezetjük be.

87. Deníció. Azt mondjuk, hogy az Y véletlen vektor p-dimenziós standardnormális eloszlású, ha komponensei 1-dimenziós standard normális eloszlásúakés függetlenek. Erre az Y ∼ Np(0, Ip) jelölést használjuk, utalva arra, hogya p-dimenziós Y véletlen vektor várható érték vektora a 0 vektor, kovarianci-amátrixa pedig Ip (ezek az eloszlás paraméterei).

Y s¶r¶ségfüggvénye a függetlenség miatt a komponensek s¶r¶ségfüggvényeinekszorzata, azaz

g(y) =

p∏i=1

ϕ(yi) =1

√2π

p e−(

∑pi=1 y

2i )/2 =

1

(2π)p/2e−∥y∥2/2,

ahol ϕ jelöli a standard normális s¶r¶ségfüggvényt (Gauss-görbét), az y =(y1, . . . , yp)

T vektor pedig az együttes s¶r¶ségfüggvény argumentuma.Alkalmazzuk most a fenti Y-ra az

X = AY +m (3.1)

lineáris transzformációt, ahol A p × p-s nem-szinguláris mátrix, m pedig p-dimenziós vektor. Könny¶ látni, hogy X várható érték vektora m, kovarianci-amátrixa pedig:

C = E(X−m)(X−m)T = E(AY)(AY)T =

= E(AYYTAT ) = AE(YYT )AT = AInAT = AAT ,

81

82FEJEZET 3. A TÖBBDIMENZIÓS NORMÁLIS ELOSZLÁS, WISHART ELOSZLÁS

ahol a vektorok oszlopvektorok, egy vektor várható értéke a komponensek várhatóértékeib®l álló vektor, egy mátrix várható értéke pedig az elemeinek a várhatóértékeib®l álló mátrix.

88. Deníció. Az Y ∼ Np(0, Ip) többdimenziós standard normális eloszlásúvéletlen vektor-ból a fenti (invertálható) lineáris transzformációval kapott Xvéletlen vektort nem-elfajult többdimenziós normális eloszlásúnak nevezzük, ésennek kifejezésére röviden az X ∼ Np(m,C) formulát használjuk.

A nem-elfajult p-dimenziós normális eloszlásúX véletlen vektor eloszlásánakparaméterei tehát a p dimenzió, az m várható érték vektor és a C kovarianci-amátrix. A p × p-s, szimmetrikus, pozitív denit C mátrix elemei: cij = cjiaz Xi és Xj komponensek kovarianciája (i = j), cii pedig Xi szórásnégyzete(varianciája). A kovarianciamátrixra a D2X jelölést fogjuk használni.

Az azonosan 1 f®diagonálisú kovarianciamátrixok geomteriai struktúráját azalábbi ábra, animáció és interaktív animáció személteti.

3.1. ábra. elliptop

Ha A-ról kikötjük, hogy négyzetes és nem-szinguláris mátrix, akkor a C =AAT kovarianciamátrix pozitív denit. Megjegyezzük, hogy szingulárisAmátrixszalvégrehajtva 3.1 transzformációt, szinguláris, pozitív szemidenit C-hez jutunk.Ilyen esetekben C rangja is kisebb lesz, mint p, ekkor elfajult többdimenziósnormális eloszlásról beszélünk.

A továbbiakban, hacsak külön nem mondjuk, akkor mindig a nem-elfajultesetre gondolunk.


89. Állítás. Ha a C mátrix invertálható, akkor az X ∼ Np(m,C) véletlenvektor s¶r¶ségfüggvénye:

f(x) =1

(2π)p/2|C|1/2e−

12 (x−m)TC−1(x−m), x ∈ Rp. (3.2)

Megjegyezzük, hogy az elfajult többdimenziós normális eloszlás alacsonyabbdimenziós s¶r¶ségfüggvénye például úgy kapható meg, hogy az (3.2) képletbenC−1 helyett C+-t írunk (azaz a szinguláris C mátrix általánosított inverzét, l.Lineáris algebra) |C| helyett pedig C pozitív sajátértékeinek szorzatát.

90. Állítás. Az X ∼ Np(m,C) véletlen vektor komponensei pontosan akkorteljesen függetlenek, ha a C kovarianciamátrix diagonális.

Megjegyezzük, hogy p = 2 esetén Y s¶r¶ségfüggvénye körszimmetrikus ésmaximumhelye az origóban van.

Az alábbi ábrákon látható a kétdimenziós standard normális eloszlás s¶r¶ségeés egy, a segítségével konstruált olyan együttesen nem normális eloszlás s¶r¶sége,amely marginálisai standard normálisok.

0

0.05

0.1

0.15

0.2

0.25

0.3

0

0.1

0.2

0.3

0.4

0.5

0.6

3.2. ábra. 2 dimenziós standard normális és nem 2 dimenziós normális s¶r¶ség

X = AY + m s¶r¶ségfüggvényének a maximumhelye viszont m-ben van,nívóhalmazai pedig ellipszisek, melynek tengelyirányait a nem-szinguláris C ko-varianciamátrix sajátvektorai jelölik ki, a tengelyek hossza pedig a megfelel®sajátértékek négyzetgyökével arányos.

Ez a legegyszer¶bben az (1.2)-beli s¶r¶ségfüggvény exponensében álló kvadratikusalak

(x−m)TC−1(x−m) = (x−m)TUΛ−1UT (x−m) = zTΛ−1z =

=

2∑i=1

1

λiz2i =

z21√λ1

2 +z22√λ2

2

(3.3)

f®tengely-transzformációjából látható; a nívóhalmazokat úgy kapjuk, hogya fenti kvadratikus alakot valamely nemnegatív konstanssal tesszük egyenl®vé.


0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 0.2

3.3. ábra. 2 dimenziós normális normális s¶r¶ség egy szintvonal tengelyeivel

(Gondoljuk meg, milyen értékhatárok közt mozoghat e konstans ahhoz, hogyvalódi ellipsziseket kapjunk!) Az is látható, hogy a nívóhalmazok pontosan akkorkörök, hogy ha a sajátértékek egyenl®ek, ez viszont ekvivalens azzal, hogy akomponensek függetlenek és azonos szórásúak. Ezt mindjárt általános p-re isbelátjuk.

Egy X ∼ Np(m,C) valószín¶ségi változó s¶r¶ségében álló kvadratikus alakhasonló módon

(x−m)TC−1(x−m) = zTΛ−1z =

p∑i=1

1

λiz2i =

p∑i=1

z2i√λi

2

alakúvá transzformálható a z = UT (x −m) koordinátatranszformációval (amiegy eltolást, majd egy forgatást jelent). Eredményképp egy olyan p-dimenziósellipszoid egyenletét kapjuk, mely f®tengelyeinek hossza a sajátértékek gyökévelarányos, irányukat pedig a sajátvektorok jelölik ki. Az ellipszoid pontosan akkorlesz gömb, ha λ1 = · · · = λp = λ, ekkor a kovarianciamátrix

C = U(λIp)UT = λIp

alakú, ami ekvivalens azzal, hogy a komponensek függetlenek és azonos(√λ) szórásúak. Könny¶ látni, hogy amennyiben a komponensek függetlenek, de

nem azonos szórásúak, ellipszoidot kapunk, melynek tengelyirányai a koordiná-tatengelyekkel párhuzamosak. Minden más esetben olyan ellipszoidok adód-nak nívófelületekként, melyek tengelyei (legalábbis egy részük) elfordulnak (2-dimenziós esetben az elfordulás szögéb®l következtethetünk a két komponens


közti korreláció mértékére): az alábbi ábrákon a 0 várható érték vektorú,(1 0.60.6 2

)kovarianciamátrixú 2-dimenziós normális eloszlás s¶r¶ségfüggvénye láthatók 3dimenziós és szürkeárnyalatos ábrázolásban.

0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 0.2

3.4. ábra. 2 dimenziós normális s¶r¶ségek

A kés®bbiekben használni fogjuk a következ® tételt.


91. Tétel. Ha X ∼ Np(m,C) és a C kovarianciamátrix pozitív denit, akkor

(X−m)TC−1(X−m) ∼ χ2(p).

Az érdekesség kedvéért megemlítjük a normális eloszlás egy Harald Cramértólszármazó karakterizációját.

92. Tétel. Ha X és Y független valószín¶ségi változók és X+Y normális elos-zlású, akkor X és Y külön-külön is normális eloszlásúak.

A statisztikai vizsgálatokban el®forduló véletlen változók általában nemegyüttesen normális eloszlásúak, a normális eloszlásra kiszámolt statisztikai mód-szerek alkalmazásása indokolható az alábbi Tétellel. Emellett a skalár, s®t a dis-zkrét érték¶ valószín¶ségi változók statisztikai vizsgálatában olyan gyakran al-kalmazott módszerek mint a χ2-próba jogosságának indoklásában is szükségünkvan a centrális határeloszlás tétel többdimenziós alakjára.

93. Tétel. LegyenekX1,X2, . . . független, azonos eloszlású p-dimenziós véletlenvektorok, melyekm várható érték vektora és C kovarianciamátrixa létezik (utóbbinem feltétlenül invertálható). Legyen Sn = X1 + · · ·+Xn, n = 1, 2, . . . . Akkora standardizált részletösszegek sorozata, azaz az 1√

n(Sn − nm) véletlen vektor

sorozat eloszlása konvergál az Np(0,C) eloszláshoz, ha n→ ∞.

Itt jegyezzük meg, hogy n növelésével a többdimenziós normális eloszlásvalószín¶ségeinek numerikus integrálással történ® kiszámításának a m¶veletigényeε megengedett hiba esetén nC/ε nagyságrend¶, még abban az esetben is, amikoregy n-dimenziós téglatestC kovarianciamátrixú normális eloszlás szerinti valószín¶ségétakarjuk meghatározni. Léteznek az Hermite-polinomok szerinti sorfejtésen ala-puló módszerek, de ezek csak akkor m¶ködnek, ha C közel van az n-dimenziósegységmátrixhoz (n növelésével a korrelációknak csökkenni kell). Nagy n értékrea Monte Carlo módszert kell alkalmazni, ennek m¶veletigenye a dimenziótólfüggetlenül 1/ε2.

94. Állítás. Az X ∼ Np(m,C) véletlen vektor komponensei pontosan akkorteljesen függetlenek, ha a C kovarianciamátrix diagonális.

A kés®bbiekben használni fogjuk a következ® tételt.

95. Tétel. Ha X ∼ Np(m,C) és a C kovarianciamátrix pozitív denit, akkor

(X−m)TC−1(X−m) ∼ χ2(p).

3.1.2. Wishart eloszlás

A többdimenziós normális eloszlás paramétereinek becsléséhez és a paraméterekrevonatkozó hipotézisek vizsgálatához. Ehhez szükségünk van a becslésekben fel-lép® többdimenziós statisztikák eloszlásának meghatározására.


96. Deníció. A p × p-s W véletlen mátrixot p-dimenziós, n szabadságfokú,C kovarianciájú (centrális) Wishart-mátrixnak nevezzük, ha el®állítható W =XXT alakban, ahol a p × n-es X véletlen mátrix oszlopvektorai függetlenek ésNp(0,C)-eloszlásúak. Egy ilyen W véletlen mátrix elemeinek együttes eloszlásátp, n,C paraméter¶ (centrális) Wishart-eloszlásnak nevezzük, és a következ®kép-pen jelöljük: W ∼ Wp(n,C).

W szimmetriája miatt valójában p(p+1)/2-dimenziós eloszlásról van szó. Meg-jegyezzük, hogy a nem-centrális Wishart-eloszlás deníciója ugyanígy kezd®dik,csak ott X oszlopvektorai független Np(m,C) eloszlásúak lesznek. Ilyenekkelmi nem foglalkozunk, és a továbbiakban Wishart eloszláson mindig a centrálisatértjük. Az X mátrix oszlopvektorait X1,X2, . . . ,Xn-nel jelölve vegyük észre,hogy W =

∑nk=1 XkX

Tk . Az ilyen el®állítást diádösszegnek hívjuk. Amenny-

iben az X1,X2, . . . ,Xn vektorok független mintaelemek egy Np(0,C) eloszlásúvéletlen vektorra, azXT mátrixot adatmátrixnak is szokták nevezni, amely tehátsoronként tartalmazza a meggyeléseket.

A Wp(n, I) eloszlást standard Wishart-eloszlásnak nevezzük. Itt tehát azX1,X2, . . . ,Xn vektorok p-dimenziós standard normális eloszlásúak. Ha speciálisanp = 1, akkor W =

∑nk=1X

2k , ami deníció szerint χ2(n)-eloszlású.

97. Tétel. Legyen a p×p-s C kovarianciamátrix pozitív denit. W ∼ Wp(n,C)pontosan akkor teljesül, ha C−1/2WC−1/2 ∼ Wp(n, I).

A fenti tétel azt fejezi ki, hogy egy Wishart-mátrix standardizáltja standardWishart-eloszlású.

Wishart-mátrixra példa az empirikus kovarianciamátrix konstansszorosa. Eztfogalmazza meg pontosan a következ® tétel.

98. Tétel. Legyen X1,X2, . . . ,Xn független elem¶ minta egy Np(m,C) elos-zlású véletlen vektorra, továbbá legyen

X =1

n

n∑k=1

Xk és S =n∑k=1

(Xk − X)(Xk − X)T .

Akkor

(1) X ∼ Np(m,1

nC),

(2) S ∼ Wp(n− 1,C),

(3) X és S függetlenek egymástól.

99. Tétel. Legyenek X1, . . . ,Xn független azonos eloszlású Np(0, Ip) változók(p < n), és X := (X1, . . . ,Xn) p × n-es mátrix. Akkor a W = XXT standardWishart-mátrix s¶r¶sége

cnp|W|n−p−1

2 e−12 trW (3.4)

alakú, ahol cnp csak p-t®l és n-t®l függ® konstans.


A bizonyításról csak annyit jegyzünk meg, hogy azX véletlen mátrix s¶r¶ségéb®lkell kindulni, ami nem más, mint azX1, . . . ,Xn független azonos eloszlású mintaalapján felírt likelihood-függvény:

1

(2π)np/2e−

12 trW.

Ebb®lW eleminek együttes eloszlása mértéktranszformációval határozható meg.Ecélból mátrixok lineáris transzformáltjainak Jacobi-determinánsait kell meghatároz-nunk (itt |A| az A matrix determinánsának abszolút értéke):

(1) X = AY, ahol A tetsz®leges p× p-s nemszinguláris mátrix, X a p× n-esminta. Közvetlen számolással adódik a∣∣∣∣∂X∂Y

∣∣∣∣ = |A|n.

(2) A mint (1)-ben, W a p × p Wishart mátrix, W = AVAT . Ekkor az ún.Sverdrup-lemma [27] szerint ∣∣∣∣∂W∂V

∣∣∣∣ = |A|p+1.

A Wishart-mátrix volt az els® véletlen mátrix, amit a matematikusok inten-zíven tanulmányoztak (1937 óta).

Vegyük észre, hogy a (3.4) formula szerint a Wishart mátrix s¶r¶ségfüg-gvénye a csak a sajatértékek osszegén és szorzatán (determináns, trace) keresztülfügg a a mátrixelemekt®l, de ez nem a Wishart-mátrix spektrumának az elos-zlása. A Wishart mátrix sajátértékeinek empirikus eloszlására vonatkozik aMarcsenko-Pasztur tétel (l. [????]). Tegyük fel, hogy mind n, mind pedig pvégtelenbe tart olymódon, hogy p

n → c, ekkor

1

p#λpj : λ

pj < x

→ F (x), (3.5)

ahol λpj a W ∼ Wp(n, I) mátrix j-edik sajátértéke (monoton nemcsökken®rendezés mellett) és

F ′(x) =1

2πxc

√(b− x)(x− a), a < x < b.

A (3.5) formulabeli konvergencia majdnem biztos, ha 0 < c ≤ 1. Az F eloszlásvárható értéke 1, szorásnégyzete 1 + c.

A zöld grakon standard Wishart mátrix sajátértékeit mutatja, a kék pedigegy olyanét, amelyhez tartozó C mártix minden eleme közel 1. Az el®bbi ábrasajátértékei láthatóak hisztogramon is ábrázolva.

Meglep® módon a legegyszer¶bb véletlen mátrix a független N (0, 1) elos-zlású elemekb®l álló n×n szimmetrikus mátrix empirikus spekrumának viselkedést


3.5. ábra. Wishart-mátrixok sajátértékei

3.6. ábra. Wishart mátrixok sajátértékeinek hisztogramjai

csak az 1940-es években kezdte el tanulmányozni Wigner Jen®, a kaotikus kvan-tumrendszerek leírása céljából.


Az ilyen mátrixok λ sajátértékeinek rendezett mintáját const ·√n-nel nor-

málva kapjuk a híres félkör-törvényt.

1

p#λpj : λ

pj < x

→ F (x), (3.6)

ahol

F ′(x) =2

π

√(1− x2), −1 < x < 1.

A (3.6) formulabeli konvergencia is majdnem biztos.

3.7. ábra. Wigner hisztogram

3.2. Feladatok

1. Van-e olyan többdimenziós normális eloszlású vektorváltozó, amely kom-ponensei nem függetlenek, de páronként korrelálatlanok?

Tipp:

Válasz: Nincs.

2. Igaz-e, hogy ha Y1, . . . , Ym független normális eloszlásúak, akkor együtteseloszlásuk m-dimenziós normális?

Tipp:

Válasz: Igaz.

3.2. FELADATOK 91

3. Adjunk olyan (legalább 3 dimenziós) véletlen vektorváltozót, amely kom-ponensei 1-dimenziós normális eloszlásúak, ® maga nem többdimenziós (ésnem is elfajult többdimenziós) normális eloszlású!

Tipp: Lásd a 3.3 ábrát!

Válasz:

f(x1, . . . , xn) =

cϕ(x1) . . . ϕ(xn), ha x1 . . . xn > 0

(1− c)ϕ(x1) . . . ϕ(xn), ha xy ≤ 0,

ahol 0 < c ≤ 1 és ϕ(x) a standard normális eloszlás s¶r¶ségfüggvénye.

4. Legyen Y ∼ Nd(m,C), ahol C pozitív denit, B pedig egy d × d-s nem-szinguláris mátrix. Milyen eloszlású X = BY?

Tipp: Az X véletlen vektor várható értéke Bm, ennek ismerteben fel-tehet®, hogy a szóban forgó véletlen vektorok várható értéke a 0vektor.Dkovarianciamátrixát pedig aD = E(XX⊤) = E(BYBY⊤) képlet alapjánszámíthatjuk ki.

Válasz: X ∼ Nd(Bm,BCB⊤).

5. Legyen X ∼ N2(m,C).

(a) Adjuk meg X komponenseinek tetsz®leges aX1 + bX2 lineáris kom-binációjának eloszlását!

(b) Adjuk meg X komponenseinek korrelációs mátrixát!

(c) Adjuk meg annak a lineáris transzformációnak a mátrixát, amely Xvéletlen vektort a 2-dimenziós standard normális eloszlásúba viszi át.Egyértelm¶-e ez a mátrix?

Tipp: Jelölje c11, c12, c22 a C mátrix független elemeit.

(a) D2(aX1+ bX2) = Cov(aX1+ bX2aX1+ bX2), használjuk a deníciótés a várható érték tulajdonságait!

(b) Normáljuk alklamasan a C mátrixot.

(c) Tetsz®leges olyan A mátrix, amelyre ACA⊤ = I2.

Válasz:

(a) N (am1 + bM2, a2c11 + 2abc12 + b2c22, a

2c11 + 2abc12 + b2c22)

(b) a korrelaciós mátrix f®atlójában 1-ek állnak, az r12 korrelációs együt-tható pedig r1,2 = c12√

c11√c22

(c) Az A = C−1/2 például jó választás, egy 2× 2 pozitív denit mátrix-nak általában 4 különböz® négyzetgyöke van, és ezzel a lehetségesmátrixok köre még nem merült ki, mert ha D alkalmas mátrx, Vpedig ortonormalt, akkor DV is alkalmas mátrix.


6. Legyenek Xi ∼ Nd(mi,Ci), i = 1, . . . , n független véletlen vektorok. Ad-juk meg

∑ni=1 Xi eloszlását!

Tipp: Analóg a független skalár N (mi, σ2i )

k esetével.

Válasz:

Nd(n∑i=1

mi, sumni=1Ci)

7. Legyen X egy d dimenziós ún. szimmetrikus normális eloszlású vektor,azaz komponensei azonos eloszlásúak és bármely két komponens kovarian-ciája ugyanakkora.

(a) Határozzuk meg a korrelációs mátrix spektrálfelbontását!

(b) Határozzuk meg C−1-et, ahol C a kovarianciamátrix!

(c) Adjuk meg annak a lineáris transzformációnak a mátrixát, amely Xvéletlen vektort a d-dimenziós standard normális eloszlásúba viszi át.

(d) Mutassuk meg, hogy bármely két komponens korrelációja nagyobbmint (1− d)−1.

Tipp: Jelölje R a korrelációs mátrixot, ami

R

1 ρ . . . ρρ 1 . . . ρ...

......

ρ ρ . . . 1

alakú, ahol ρ ∈ [0, 1].

Ezen speciális alak miatt C = σ2R.

(a) Az

R− (1− ρ)Id =

ρ ρ . . . ρρ ρ . . . ρ...

......

ρ ρ . . . ρ

mátrix 1-rangú, és egyetlen nem 0 sajatértéke dρ. Ismeretes, hogy haegyA d×d-s mátrix sajátértékei λ1, . . . , λd, akkorA+cId sajátértékeiλ1 + c, . . . , λd + c (spektrál-leképezés tétel). Ennek alapján R, és igyC spektruma meghatározható Az utolsó d− 1 (λ2, . . . λd) sajátértékegyenl®, míg λ1 különbözik t®lük. A λ1-hez tartozó u1 sajátvektor ko-ordinátái egyenl®k, tehát normálva u1 = ( 1√

d, . . . , 1√

d)⊤ Az R többi

sajátvektorai tetsz®leges u1-re és egymásra ortogonális oszlopvek-torok. Ilyen sokféle van, különösebb számolás nélkül meghatározhatókazok amelyeknek 1 eleme negatív, a fölötte lev® elemek 1-ek, az alattalev®k 0-k.

3.2. FELADATOK 93

(b) C−1 = σ−2R−1.

Ha ismerjük azt az U ortonormált matrixot, amelynek oszlopai azu1, . . . ,ud sajátvektorok, és Λ = diag(λ1, . . . , λd), akkor a spektrálel®állításitétel miatt R = UΛU⊤, ezért C−1 = σ−1UUΛ−1U⊤.

(c) A a(c) ponthoz hasonlóan C−1/2 = σ−1/2UUΛ−1/2U⊤.

(d) Vizsgáljuk meg az (a) pontban kapott sajatértékeket. Mivel R szük-ségképpen nemnegatív denit, és a λ2 = λ3, · · · = λd = 1 − ρsajátértékek nemnegatívak, a λ1 > 0 feltételnek kell teljesülnie.

Válasz:

(a) Az R korrelációs mátrix sajátértékei λ1 = 1+(d−1)ρ, λ2 = λ3, · · · =λd = 1 − ρ. Itt d = 4-re megmutatjuk u2, u3 és u4 konstrukcióját,amib®l az általános eset már könnyen leolvasható.

U =

12

√22

√66

√1212

12 −

√22

√66

√1212

12 0 −

√63

√1212

12 0 0 −

√12

4

89898

(b) Az Útmutató és (a) pont alapján nyilvánvaló.

(c) Az Útmutató és (a) pont alapján nyilvánvaló.

(d) Az Útmutató és λ1 értéke alapján nyilvánvaló

8. * Legyen A és B két n× n-es pozitív denit mátrix. Mutassuk meg, hogyelemenkénti szorzatuk is pozitív denit!

Tipp: Jelölje A = aij i = 1, . . . , n j = 1, . . . , n B = bij i =1, . . . , n j = 1, . . . , n és C = cij = aijbij i = 1, . . . , n j = 1, . . . , n Afeladatban szereplo mátrixokat; A és B pozitiv denitása miatt léteznekX ∼ N (0, A) ésY ∼ N (0, B) véletlen vektorok. Tegyük fel, hogy függetlenek.Ekkor a (NEM GAUSS) Z = (z1 = x1y1, . . . , zn = xnyn)

⊤ veletlen vektorkovarianciamátrixa éppen C.

Válasz: Mivel minden kovarianciamátrix nem negatív denit, és Z koor-dinatái lineárisan függetlenek, C pozitív denit.

A feladtra van tisztán algebrai bizonyítás is: tekintsük az A⊗B n2 × n2-es tenzorszorzat mátrixot, ami szintén pozitív denit, és található olyaninvariáns altere amiben éppen C által deniált operátor hat.

9. Igaz-e, hogy egy d-dimenziós normális eloszlású vektorváltozó komponen-sei közül (d > k)-t tetsz®legesen kiválasztva azok együttes eloszlása k-dimenziós normális?

Tipp: Próbáljuk felírni a denícióban szerepl® A mátrixot. Feltehet®,hogy a denícióban szerepl® A alsó trianguláris, a szimmetria miatt felte-het®, hogy az els® k komponenst választottuk.


Válasz: Igaz.

10. Igaz-e, hogy (X1, X2) ∼ N2(0,Cd) esetén X21/c1,1 +X2

2/c2,2 pontosanakkor χ2(2) eloszlású, ha X1 és X2 korrelálatlanok?

Tipp: Vegyük észre, hogyX1 ésX2 együttesen Gauss-eloszlású valószín¶ségiváltozók pontosan akkor függetlenek, ha korrelálatlanok. Hasonlóan, ve-gyük észre, hogy két N (0, 1) valószín¶ségi változó négyzeteinek összegepontosan akkor χ2(2) eloszlású, ha függetlenek.

Válasz: Igaz.

11. LegyenY ∼ Nd(0, Id), továbbáA egy d×d-s szimmetrikus r rangú mátrix.Igaz-e, hogy Y⊤AY ∼ χ2(r) pontosan akkor teljesül, ha AA = A?

Tipp: Az AA = A, A = A⊤, rang(A) = r feltétel éppen azt jelenti,hogy A egy r dimenziós altérre való vetítés mátrixa.

Válasz: Igaz, mivel AY kovariancimátrixa Ir, ezért Y⊤AY = Y⊤AAYr darab független standard normális eloszlású valószín¶ségi változó né-gyzetének összege.

12. Tekintsük az X = (X1, . . . ,Xn) mátrixot, amely oszlopvektorai Xi ∼Nd(0,C), i = 1, . . . , n független azonos eloszlású változók, valamint aW =XX⊤ Wishart-mátrixot!

(a) Milyen eloszlású W⊤?

(b) Hogy változik meg W, ha X két oszlopát felcseréljük?

(c) Hogy változik meg W, ha X két sorát felcseréljük?

(d) Adjunk meg W várható értékét!

(e) Milyen eloszlású W k-adik f®minora?

Tipp: Vegyük észre, hogy W szimmetrikus. Figyeljük meg a W dení-cióját.

Válasz:

(a) W = W⊤ tehát W⊤ ∼ Wd(n,C)

(b) W nem változik.

(c) Tegyük fel hogy az i-edik és a j-edik sort cseréltük fel. Ekkor W-bena wii-t és a wjj-t tartalmazó oszlopok es sorok felcserél®dnek.

(d) Ha n = 1 E(W) = C, tehát E(W) = nC.

(e) Wk(n,C′), ahol C′ a C mátrix k-adik f®minora.

13. Legyenek Wi ∼ Wd(ni,C), i = 1, . . . , k független Wishart-mártixok. Mi-lyen eloszlású

∑ki=1 Wi?

Tipp: Emlékezzünk arra, hogy aWishart-eloszlás a χ2-eloszlás (l. képletgy¶jtemény)analogonja.

Válasz: Legyen n = n1 + · · ·+ nk∑ki=1 Wi ∼ Wd(n,C).

3.3. TESZTEK 95

14. Legyen W ∼ Wd(n,C) és a ∈ R+. Milyen eloszlású aW?

Tipp: Emlékezzünk arra, hogy a Wishart-eloszlás a chi2-eloszlás analo-gonja.

Válasz: aW ∼ Wd(n, aC)

15. Legyen W ∼ Wd(n,C) és B egy d × d-s nemszinguláris mátrix. Milyeneloszlású BWB⊤?

Tipp: Számoljuk ki a BX kovarianciamátrixát, ahol X ∼ Nd(0,C). HaW = XX⊤ mivel egyenl® a BXBX⊤?

Válasz: BWB⊤ ∼ Wd(n,BCB⊤).

16. Legyen W ∼ Wd(n, I).

(a) Milyen eloszlásúak W diagonális elemei?

(b) Milyen eloszlású trW?

(c) Igazoljuk, hogyW nemdiagonális elemei el®állnak két független χ2(n)eloszlású változó különbségének konstansszorosaként!

Tipp:

(a) Alkalmazzuk a deníciót.

(b) Alkalmazzuk a deníciót, és keressük meg a χ2 eloszlás deníójátképletgy¶jteményben.

(c) Alkalmazzuk az (a + b)(a − b) = a2 − b2, (a + b)2 = a2 + 2ab + b2,(a− b)2 = a2 − 2ab+ b2 azonosságokat.

Válasz:

(a) χ2(n)

(b) χ2(nd)

(c) Ha n = 1 X és Y független standard normális eolszlású valószín¶ségiváltozók, akkor X + Y és X − Y független N (0, 2) valószín¶ségi vál-tozók (az el®bb idézett azonosság miatt). Továbbá (X + Y )2/4 −(X − Y )2/ két független valószín¶ségi változó kulönbsége melyeknek2-szeresei χ2 eloszlásúak. Ugyanakkor ez a különbség XY . A stan-dard Wishart mátrix diagonálison kívüli elemei n függtelenXY alakúvalószín¶ségi változó összege.

3.3. Tesztek

1. X1, . . . , Xn egydimenziós normális eloszlásúak. Melyik állítás igaz?

(a) Együttes eloszlásuk csak akkor többdimenziós normális, ha függetlenek.

(b) Ha függetlenek, akkor együttes eloszlásuk többdimenziós normális.


(c) Együttes eloszlásuk csak akkor többdimenziós normális, ha nem függetlenek.

(d) Ha nem függetlenek, akkor együttes eloszlásuk többdimenziós nor-mális.

Válasz: (b)

2. Egy többdimenziós normális eloszlású változó komponensei standard nor-mális eloszlásúak. Igaz-e, hogy együttesen is standard normális eloszlású?

(a) Igen, mert ez a deníció.

(b) Igen, mert a többdimenziós standard normális eloszlású változó lineáristranszformációjaként kapjuk, az pedig egyértelm¶.

(c) Igen, mert a függetlenségb®l következik a korrelálatlanság.

(d) Nem, csak ha a komponensek korrelálatlanok.

Válasz: (d)

3. LegyenekX1, . . . ,Xn ∼ Nd(0,C) függetlenek. Milyen eloszlású∑ni=1 X1+

. . .+Xn?

(a) Nd(0,C)

(b) Nd(0, nC)

(c) Nd(0, n2C)

(d) Wd(n,C)

Válasz: (b)

4. LegyenekX1, . . . ,Xn ∼ Nm(m, I) függetlenek. Milyen eloszlású∑nk=1(Xk−

m)(Xk −m)⊤?

(a) χ2(n)

(b) χ2(nd)

(c) Wm(n, I)

(d) Wn(m, I)

Válasz: (c)

5. Valójában hány dimenziós változó egyWd(n,C) eloszlásúWishart-mátrix?

(a) d2

(b) d(d+ 1)/2

(c) nd

(d) (nd+ 1)/2

Válasz: (b)

3.3. TESZTEK 97

6. Milyen eloszlásúak az n darab d dimenziós standard normális eloszlásúváltozó segítségével kapott Wishart-mátrix f®átlójának elemei?

(a) Standard normális

(b) χ2(1)

(c) χ2(d)

(d) χ2(n)

Válasz: (d)

4. fejezet

Paraméterbecslés éshiptézisvizsgálattöbbdimenziós normálismodellben


4.1.1. Paraméterbecslés többdimenziós normális modell-ben

Ebben a paragrafusban csak azokra a fogalmakra és tételekre térünk ki, amelyektermészetüknél fogva lényegesen különböznek azok egydimenziós változataiktól.

Hatásosság: A torzítatlan becslések között keressük a leghatásosabbat. Mivela több paraméter esetén a becslésk szórásnégyzetei helyett azok kovarianci-amátrixait kell összehasonlítanunk, a hatásosság mérésére egy er®sebb fogalmatvezetünk be.

100. Deníció. A θ ∈ Θ paraméter T1 becslése legalább olyan hatásos, mintT2 becslése, ha

D2θ(T1) ≤ D2

θ(T2),

ahol a mátrixok közötti A ≤ B rendezés úgy értend®, hogy B − A pozitívszemidenit.

Ilyen értelemben alkalmazza a rendezést a CramérRao egyenl®tlenség többparaméterre vonatkozó alakja:

101. Tétel. A CramérRao egyenl®tlenség többváltozós alakja (bizonyos ittteljesül® regularitási feltételek esetén) alsó korlátot ad a torzítatlan becslések

99

100FEJEZET 4. PARAMÉTERBECSLÉS ÉS HIPTÉZISVIZSGÁLAT TÖBBDIMENZIÓS NORMÁLIS MODELLBEN

szórásmátrixára:

D2θ (T) ≥ 1

nI−11 (θ) = I−1

n (θ), θ ∈ Θ

I1(θ) jelöli az ún. Fisher-féle információs mátrixot, amit 1-elem¶ mintábólszámolhatunk:

I1(θ) = Eθ(∂

∂θln fθ(X1)

)(∂

∂θln fθ(X1)

)T= D2

θ

(∂

∂θln fθ(X1)

),

Megjegyezzük, hogy többdimenziós normális eloszlásnál egyenl®ség az (X,mxS/(n− 1)) párra nem érhet® el.

A többdimenziós normális eloszlás paramétereinek maximum-likelihoodbecslése.

Miel®tt hozzáfognánk ennek a feladatnak a megoldásához, felidézzük a Steiner-egyenl®séget többdimenziós változatát.

102. Lemma. (Steiner-egyenl®ség). Legyenek x1, . . .xn ∈ Rp vektorok, , továbbálegyen x az átlaguk és v ∈ Rp egy tetsz®leges vektor. Ekkor

n∑k=1

(xk − v)(xk − v)⊤ =n∑k=1

(Xk − x)(xk − x)⊤ + (x− v)(x− v)⊤. (4.1)

Speciálisan, ha v = 0

n∑k=1

(xk − x)(xk − x)⊤ =n∑k=1

xkx⊤k − nxx⊤.

Legyen X1, . . . ,Xn független elem¶ minta az X ∈ Np(m,C) véletlen vek-torra, tegyük fel, hogy n > p. A mintaelemek alapján szeretnénk becslést adniaz ismeretlen m várható érték vektorra és a C kovarianciamátrixra, melyr®lfeltesszük, hogy pozitív denit. Ehhez a maximum likelihood módszert használjuk,azaz a mintaelemek együttes s¶r¶ségfüggvényével deniált likelihood-függvénytmaximalizáljuk a két ismeretlen paraméterben. A mintaelemek függetlenségekövetkeztében az együttes s¶r¶ségfüggvény a külön-külön vett s¶r¶ségfüggvényekszorzata, melyek mindegyike (a mintaelemek azonos eloszlása miatt) az (3.2)alakban írható (csak az argumentumokba most a mintaelemeket írjuk):

Lm,C(X1, . . . ,Xn) =1

(2π)np/2|C|n/2e−

12

∑nk=1(Xk−m)TC−1(Xk−m). (4.2)

Vegyük észre exponensbeli

n∑k=1

(Xk −m)TC−1(Xk −m)


kvadratikus alak tulajdonképpen egy 1 × 1-es mátrix nyoma (trace-e), ami atrace függvény ciklikus permutációkkal szembeni invarianciája miatt

trC−1(Xk −m)(Xk −m)T (4.3)

alakban is írható (err®l közvetlen számolással is meggy®z®dhetünk). A for-mulák kezelése szempontjából ez az alak gyakran el®nyösebb, mint a kvadratikusforma írásmód.

Az el®z® rész jelöléseit használjuk:

X =1

n

n∑k=1

Xk

jelöli a mintaátlagot és

S =n∑k=1

(Xk − X)(Xk − X)T

az empirikus kovarianciamátrix n-szeresét. A likelihood-függvényt most a (4.3)formula és a (4.1) többdimenziós Steiner-egyenl®seg segítségével úgy alakítjukát, hogy benne ezek a statisztikák jelenjenek meg:

L(X1, . . . ,Xn;m,C) =1

(2π)np/2|C|n/2e−

12 trC

−1S · e− 12n(X−m)TC−1(X−m).

(4.4)A fenti (4.4) függvényt m-ben és C-ben kell maximalizálnunk, hogy megkapjukm és C becsléseket. A (4.4) függvény akkor leszm-ben maximális, ha a kitev®benlév® kvadratikus alak értéke 0, ezért

m = X.

Mivel ez a széls®érték független a C paramétert®l a (4.4) függvényt ugy max-imalizálhatjuk C szerint (valojában C−1 szerint) m = X-szel helyettesítjük.A további számolás a Lineáris algebra fejezetben ismertetett ∂|A|

∂A = adj (A⊤)képlet alkalmazásával végezhet® el, ezt nem részletezzük, csak a végeredménytközöljük:

C =S

n.

4.1.2. Hipotézisvizsgálat többdimenziós normális modell-ben

Az egyváltozós esethez hasonlóan hipotéziseket is vizsgálhatunk a várható értékvektorra és a kovarianciamátrixra vonatkozóan. Ehhez megismételjük likelihoodhányados próba, és bevezetjük a Hotelling T 2-eloszlás denícióját.


103. Deníció. Legyen θ az fθ(x) s¶r¶ségfüggvény¶ eloszlás ismeretlen paraméter-vektora, θ ∈ Θ (Θ ⊂ Rk többdimenziós tartomány). Az X1, . . . ,Xn mintaalapján dönteni szeretnénk a H0 és H1 hipotézisek között:

H0 : θ ∈ Θ0 vers. H1 : θ ∈ Θ1,

ahol Θ0 ∩Θ1 = ∅, Θ0 ∪Θ1 = Θ, és a dim(Θ0) = r, dim(Θ) = k jelöléssel r < kteljesül. Az n-elem¶ minta alapján konstruálandó próbastatisztika:

λn(X1, . . . ,Xn) =L∗0

L∗1

=supθ∈Θ0

Lθ(X1, . . . ,Xn)

supθ∈Θ Lθ(X1, . . . ,Xn).

Amennyiben ismerjük a λn(X1, . . . ,Xn) próbastatisztika eloszlását H0 fennál-lása esetén, adott 1−ε szignikanciaszinthez (ε kicsi) megkonstruáljuk a mintatérrészét képez®

Xk = (x1, . . . ,xn) : λn(x1, . . . ,xn) ≤ λε

kritikus tartományt, ahol a λε kritikus értéket úgy határozzuk meg, hogy a próbaterjedelme ε legyen, azaz supθ∈Θ0

Pθ((X1, . . . ,Xn) ∈ Xk) = ε. Ezután, hamintánk a kritikus tartományba esik, elutasítjuk, különben pedig elfogadjuk anullhipotézist.

104. Deníció. Legyenek a W ∼ Wp(n, I) W pozitív denit (ez 1 való-szín¶séggel teljesül, ha n > p) és a X :=∼ Np(0, I) valószín¶ségi változókfüggetlenek. Akkor a

T 2 = nXTW−1X

összefüggéssel deniált T 2 valószín¶ségi változót Hotelling-féle T 2-eloszlásúnaknevezzük n, p paraméterekkel. A továbbiakban az n paraméterre, mint szabadság-fokra hivatkozunk.

Megjegyezzük, hogy a Hotelling-féle T 2-eloszlás a Student-féle t-eloszlás több-dimenziós általánosítása: a p = 1, C = 1 esetben T 2 ≡ t2/n.

105. Állítás. A W ∼ Wp(n,C) és X :=∼ Np(m,C) esetben

T 2 = n(X−m)W−1(X−m)⊤

valószín¶ségi változó szintén T 2-eloszlású n és p paraméterekkel.

106. Tétel. Ha a T 2 statisztika Hotelling elosszlású n és p paraméterekkel,akkor

n− p+ 1

p· T 2 ∼ F(p, n− p+ 1),

azaz T 2 megfelel® konstansszorosa Fisher-féle F -eloszlású a zárójelben felsoroltparaméterekkel.

4.2. FELADATOK 103

4.2. Feladatok

1. Igazoljuk a Steiner-egyenl®ség következ® többdimenziós változatát:ha x1, . . . ,xn,v ∈ Rd, akkor

n∑k=1

(xk − v)(xk − v)⊤ =n∑k=1

(xk − x)(xk − x)⊤ + n(x− v)(x− v)⊤.

Tipp:

Válasz:

2. Legyen X1, . . . ,Xn ∼ Nd(m,C) független minta. Igazoljuk, hogy

Cov(X,Xi −X) = 0.

Tipp:

Válasz:

3. Legyen X1, . . . , Xn ∼ N (µ, σ2) minta. Adjuk meg az I1 Fisher-féle infor-mációs mátrixot!

Tipp: Alkalmazzuk a többdimenziós FisherCochran-tételbeli deníciót.

Válasz:

I1 =

(1σ2 00 2

σ4

)4. Legyen X1, . . . , Xn ∼ U(a, b) független minta. Adjuk meg az I1 és In

Fisher-féle információs mátrixokat!

Tipp: Alkalmazzuk a többdimenziós FisherCochran-tételbeli deníciót.

Válasz:

I1 =

(1

(b−a)21

(b−a)21

(b−a)21

(b−a)2

),

I1 =

(n2

(b−a)2n2

(b−a)2n2

(b−a)22

(b−a)2

).

5. X1, . . . ,Xn egy a középpontú b sugarú d-dimenzós gömbben egyenleteseloszlásból vett független minta.

(a) Adjuk meg az I1 Fisher-féle információs mátrixot!

(b) Adjunk maximum likelihood becslést a-ra b = 1 esetben!

(c) Adjunk maximum likelihood becslést (a, b)-re!

Tipp:


(a) Vegyük észre, hogy a s¶r¶ségfüggvény értéke nem függ az a vek-tortól abban a tartományban, ahol ez az érték nem 0. Ugyanezt azelvet alkalmaztuk pl. [0, θ] intervallumon egyenletes minta Fisher-féleinformációjának kiszámításákor, és az el®z® feladatban is. Az el®z®feladat azért is érdekes, mert d = 1-re alkalmasan átparaméterezve(c = a+b

2 és r = b−a2

)ugyanez a helyzet.

(b) Minden olyan a vektor M-L becslés lesz, amely körüli 1 sugarú gömbtartalmazza a mintát.

(c) a M-L becslése az a vektor lesz, amely körüli a teljes mintát tartal-mazó körlap sugara minimális, míg b M-L becslése ez a minimálissugár

Válasz:

(a) Figyelembevéve, hogy a d-dimenziós gömb térfogata Cdbd, ahol Cdegy a dimenziótól függ® kosntans ami a számolás során kiesik:

d2b2 0 . . . 00 0 . . . 0...

... . . ....

0 0 . . . 0

.

(b) Az Útmutató alapján pl. a síkon viszonylag egyszer¶ algoritmussala mintát egy olyan négyzettel burkoljuk, amely egyik élének irányatetsz®leges, ennek középpontja alkalmas becslés.

(c) Nem tudok rá gyors algoritmust.

6. 49 id®s embert az orvos két csoportba sorolt aszerint, hogy van-e sze-nilis faktor a viselkedésükben (I. csoport) vagy sem (II. csoport). Ezutánelvégeztettek velük 4 pszichológiai tesztet (1. információ, 2. hasonlóság, 3.aritmetika, 4. képfelismerés), melyekre kapott átlagpontszámok az alábbitáblázatban láthatók:

I. (n=37) II. (m=12)

1. 12,57 8,752. 9,57 5,333. 11,49 8,504. 7,97 4,75

Vizsgálja meg, 95%-os szignikanciaszinten elfogadható-e az a nullhipotézis,hogy a két csoport várhatóan nem különbözik szignikánsan a tesztered-mények alapján. Feltesszük, hogy az egyes emberek teszteredményei 4-dimenziós normális eloszlást követnek ismeretlen (közös) kovarianciamátrixszal.

4.2. FELADATOK 105

Az egyesített (49) elem® mintából számolt S = S1 + S2 mátrix inverze:

S−1 =

0,0052 −0,0028 −0,0012 −0,0012

−0,0028 0,0038 −0,0008 −0,0002−0,0012 −0,0008 0,0030 −0,0004−0,0012 −0,0002 −0,0004 0,0042

.

Tipp:

Válasz:

7. Legyen X1, . . . ,Xn ∼ Nd(m,C) független minta, ahol C ismert.

(a) Adjuk meg az I1 Fisher-féle információs mátrixot!

(b) Igazoljuk, hogy X hatásos becslése m-nek! (Használjuk a Cramér-Rao egyenl®tlenség többdimenziós változatát!)

(c) Igazoljuk, hogy a H0 : m = m0, H1 : m = m0 hipotézisek vizs-gálatára konstruált próba likelihood-hányados teszt!

(d) Igazoljuk, hogy az el®z® pontbeli teszt az u-próba általánosítása!

Tipp:

Válasz:

8. 20 atal emberre az A,B,C stimuláló szerek hatását vizsgálták a reak-cióid® szempontjából (századmásodpercben).

XA = 21,05 XB = 21,65 XC = 28,95,

S =

45,2 43,6 32,643,6 53,2 36,432,6 36,4 49,4

.

95%-os szignikanciaszinten vizsgálja meg az egyenl® hatás elvét a B−A,C−B különbségekre! (Feltesszük, hogy a hatások többdimenziós normáliseloszlást követnek, és azt teszteljük, hogy a B és A hatás különbsége, va-lamint a C és B hatás különbsége mint 2-dimenziós normális eloszlásúvéletlen vektor 0 várható érték vektorúnak tekinthet®-e.) Megjegyezzük,hogy valójában a három stimulálószer hatása várható értékének egyen-l®sége itt a nullhipotézis, azonban meggyeléseink nem független mintákra,hanem ugyanarra a 20 emberre vonatkoznak. Így a javasolt vizsgálat a t-próbánál bevezetett önkontrollos vizsgálat többdimenziós általánosításá-nak tekinthet®.

Tipp:

Válasz:


9. LegyenX1, . . . ,Xn ∼ Nd(m,C) független minta. Vegyük az (m,C) paraméter(m, C) = (X,S/n) (maximum likelihood) becsléseit!

(a) Igazoljuk, hogy (X,S) elégséges statisztika (m,C)-re!

(b) Torzítatlan becslése-e (X,S/n) az (m,C) paraméternek? Ha nem,korrigáljuk!

(c) Mutassuk meg, hogy a (Hotelling-féle) T 2-próba a t-próba (kétoldaliváltozatának) általánosítása (de az egyoldalinak nem)!

(d) Konstruáljunk likelihood-hányados próbát a H0 : C = C0 hipotézistesztelésére!

(e) Konstruáljunk ε terjedelm¶ egyenletesen leger®sebb próbát a Neyman-Pearson alaplemma segítségével a H0 : (m,C) = (m0,C0) vs. H1 :(m,C) = (m1,C0) egyszer¶ alternatíva vizsgálatára!

Tipp:

Válasz:

10. Igazoljuk, hogy a (Hotelling-féle) kétmintás T 2-próba likelihood-hányadospróba! Igazoljuk, hogy ez a teszt a kétmintás t-próba általánosítása!

Tipp:

Válasz:

11. LegyenX1, . . . ,Xn1 ∼ Nd(m1,C1) ésY1, . . . ,Yn2 ∼ Nd(m2,C2) függetlenminták. Konstruáljunk likelihood-hányados próbát a H0 : C1 = C2, H1 :C1 = C2 hipotézisek vizsgálatára (kétmintás T 2 próba feltételének el-len®rzése)!

Tipp:

Válasz:

12. Legyen X1,X2, . . . ∼ Nd(m,C) fae. Adjunk a H0 : (m,C) = (m0,C0)vs. H1 : (m,C) = (m1,C0) egyszer¶ alternatíva eldöntésére szekven-ciális eljárást (ε1 els®fajú és ε2 másodfajú hibával)! Adjuk meg a várhatólépésszámokat!

Tipp:

Válasz:

13. Legyen A1, . . . , Ak teljes eseményrendszer, P(Ai) = pi. Legyen X az es-eményrendszer k-dimenziós indikátorváltozója, valamint p = (p1, . . . , pk)

⊤.Legyenek X1,X2 . . . független vektorok, amelyek eloszlása megegyezik Xeloszlásával.

(a) Mutassuk meg, hogy∑ni=1 Xi ∼ Polyn(p1, . . . , pk).

(b) Adjunk maximum likelihood becslést az els® n mintaelem alapjánp-re a Lagrange-multiplikátor módszerével!

4.3. TESZTEK 107

(c) Adjunk maximum likelihood becslést az els® n mintaelem alapjánp-re pk = 1− p1 − . . .− pk−1 felhasználásával is!

(d) Adjunk a H0 : p = p0 vs. H1 : p = p1 egyszer¶ alternatíva el-döntésére szekvenciális eljárást (ε1 els®fajú és ε2 másodfajú hibával)!Adjuk meg a várható lépésszámokat!

Tipp:

Válasz:

4.3. Tesztek

1. Tekintsünk egy n elem¶Nd(m,C) eloszlásból vett mintát (feltesszük, hogyC invertálható, a több dimenziós Fisher I1 mátrix a C mátrix inverze).Milyen becslése a m-nek a maximum likelihood becslés?




(d) Torzítatlan, nem hatásos, gyengén sem konzisztens.

Válasz: (c)

2. Tekintsünk egy n elem¶ Nd(m,C) eloszlásból vett mintát. Milyen becslésea C-nek a maximum likelihood becslés?




(d) Torzítatlan, nem hatásos, gyengén sem konzisztens.

Válasz: (a)

3. Melyik teszt általánosítása a Hotelling-féle T 2 próba (azaz egy dimenziósesetben melyiket kapjuk)?

(a) u próba

(b) t próba

(c) F próba

(d) χ2 próba

Válasz: (b)

4. Hogy lehet két (egy- vagy többdimenziós) standard normális eloszlás (ame-lyek együttesen is normális eloszlásúak) függetlenségének tesztelésére al-kalmazni a normális eloszlás kovarianciamátrixára vonatkozó próbát?


(a) Sehogy, mert az a többdimenziós normális eloszlás kovarianciamátrixáravonatkozik, nem függetlenségre.

(b) Ha azonos a dimenziószam, a különbségváltozó kovarianciamátrixátteszteljük, hogy 0-e.

(c) Összef¶zött változót teszteljük, kovarianciamátrixa egységmátrix-e.

(d) Külön-külön teszteljük a két változót, kovarianciamátrixa egységmárix-e és megnézzük, a két teszt ugyanazt adta-e eredményül.

Válasz: (c)

5. fejezet

Lineáris módszerek 1.:f®komponensanalízis,faktoranalízis


5.1.1. F®komponensanalízis

LegyenX ∼ Np(m,C), és tegyük fel, hogy aC kovarianciamátrix pozitív denit.A modell a következ®: keressük X el®állítását

X = VY +m (5.1)

alakban, ahol m = EX, V p× p-s ortogonális mátrix (azaz V−1 = VT ), Ypedig független komponens¶, p-dimenziós normális eloszlású véletlen vektor

Vegyük észre, hogy az (5.1) el®állítás hasonló a 3. fejezetben tárgyalt (3.1)-beli X = AY +m

felbontáshoz, de ottY p-dimenziós standard normális eloszlású volt, a p×p-sA mátrix pedig az AAT = C (nem egyértelm¶) felbontásból adódott. Ott Ykomponensei függetlenek és 1 szórásúak voltak, míg a fenti (1.1) el®állításbanY komponenseit®l csak a függetlenséget követeljük meg, míg a transzformá-ciós mátrixtól ortogonalitást várunk el. Ez az el®állítás már egyértelm¶, ha Ykomponenseit varianciáik (szórásnégyzeteik) csökken® sorredjében rendezzük.(Ha a varianciák között adódnak egyenl®ek, akkor nincs egyértelm¶ség, ennekfeltételét az alábbi eljárásból olvashatjuk ki.)

Most megadjuk (5.1) a el®állítást. Mivel V invertálható, ezért (5.1) ekvi-valens az

Y = V−1(X−m) = VT (X−m)

felbontással. Jelölje C = UΛUT az X véletlen vektor kovarianciamátrixánakspektrálfelbontását. Ezzel Y kovarianciamátrixának diagonálisnak kell lennie.

109

110FEJEZET 5. LINEÁRIS MÓDSZEREK 1.: FKOMPONENSANALÍZIS, FAKTORANALÍZIS

A spektrálfelbontás egyértelm¶sége értelmében

EYYT = E[V−1(X−m)(X−m)TV

]= V−1E

[(X−m)(X−m)T

]V =

= V−1CV = V−1UΛUTV = (V−1U)Λ(V−1U)T

diagonális mátrix f®diagonálisában csökken® elemekkel akkor és csak akkor, haV−1U = Ip, azaz V = U. (Itt kihasználtuk, hogy V, U, következésképpenV−1U is ortogonális mátrix.) Megjegyezzük, hogy többszörös multiplicitásúsajátértékek esetén az U mátrix megfelel® oszlopai sem egyértelm¶ek (l. hy-perref[linalg]Lineáris algebra ). Így

X = UZ+m

lesz a kívánt felbontás, ahol Z jelöli a V = U választás melletti Y-t, azaz

Z = U−1(X−m) = UT (X−m).

Ezt a Z-t az X véletlen vektor f®komponensvektorának, komponenseit pedigf®komponenseknek nevezzük.

Vegyük észre, hogy a k-adik f®komponens az X−m változó komponenseinekaz uk vektor koordinátáival vett lineáris kombinációja:

Zk = uTk (X−m) (k = 1, . . . , p),

ahol uk a C mátrix λk sajátértékéhez tartozó normált sajátvektora (U k-adikoszlopa), λ1 ≥ λ2 ≥ · · · ≥ λp.

Az X véletlen vektor fenti felbontása eleget tesz az alább ismertetend® op-timalitási kritériumnak (a f®komponenseket ezzel is be lehetne vezetni).

107. Tétel. Az els® f®komponens, Z1 szórása maximális az X−m véletlen vek-tor komponenseinek összes lehetséges normált (egységvektorral képzett) lineáriskombinációéi között; Z2 szórása maximális az összes lehetséges, Z1-t®l függetlennormált lineáris kombinációéi közt; s.í.t. a k-adik f®komponens, Zk szórása max-imális az összes lehetséges, Z1, . . . , Zk−1-t®l független normált lineáris kombiná-ció szórása közt (k = 3, . . . , p).

Tehát a Z p-dimenziós normális eloszlású véletlen vektor komponensei függetlenekés varianciáik a λ1 ≥ λ2 ≥ · · · ≥ λp > 0 számokkal egyeznek meg. Ezt szemlél-teti az alábbi ábra.

A∑pi=1 λi összeg a f®komponensek varianciáinak az összege (a továbbiak-

ban teljes varianciának nevezzük), eredeti változóink teljes varianciája pediga C kovarianciamátrix f®diagonálisbeli elemeinek összege, azaz trC. Mivel aλi számok C sajátértékei, ezért

∑pi=1 λi = trC, ami a varianciák nyelvén azt

jelenti, hogy f®komponensek teljes varianciája megegyezik az eredeti változókteljes varianciájával, és ebb®l a f®komponensek csökken® sorrendben részesül-nek. A f®komponensek szórásai az ún. kanonikus szórások (ezek a

√λi számok,

i = 1, . . . , p).


0 0.02 0.04 0.06 0.08 0.1 0.12 0.14 0.16 0.18 0.2

5.1. ábra. F®komponensek elméleti és empirikus szórásnégyzetei

Mivel a várható érték vektor hozzáadása csak egy eltolást jelent, a továb-baiakban ezt már levontnak képzeljük el, és eleve 0 várható érték vektorú Xvéletlen vektor-ból indulunk ki. Ezekután a Z = UTX f®komponenstransz-formáció (a sajátvektorok alkalmas el®jelezésével) egy p-dimenziós forgatás,hiszen az UT mátrix ortogonális.

A fentiek alapján a f®komponens transzformáció egyben azt is jelenti, hogyha az u1, . . . ,up sajátvektorok alkotta bázisra térünk át, akkor ezekben azirányokban a transzformált változó varianciája maximális.


A következ® állítás mondanivalója az, hogy a f®komponens tranzformációforgatásinvariáns.

108. Állítás. Legyen az X p-dimenziós véletlen vektor várható érték vektora 0,kovarianciamátrixa pedig C. Tetsz®leges O p×p-s ortogonális mátrix választásaesetén az X és OX véletlen vektork f®komponensvektora megegyezik.

Megjegyzezzük, hogy ha aC kovarianciamátrix helyett az R = D−1/2CD−1/2

korrelációs mátrixból indulunk ki, akkor már skálainvariáns f®komponens vek-tort kapunk, viszont a forgatásinvarianciát veszítjük el. Itt D a C mátrix f®-diagonálisát, azaz az X véletlen vektor komponenseinek varianciáit tartalmazódiagonális mátrix, a D1/2 diagonálmátrix pedig a komponensek szórásait tar-talmazza f®diagonálisában. Ha az X változót az X → SX transzformációnakvetjük alá, akkor az új változó komponenseinek varianciáit az SDS = DS2 =S2D diagonálmátrix fogja tartalmazni (kihasználtuk, hogy diagonális mátrixokszorzása kommutatív), az új kovarianciamátrix pedig az SCS mátrix lesz. Ígyaz SX véletlen vektor korrelációs mátrixa

(S2D)−1/2SCS(DS2)−1/2 = D−1/2S−1SCSS−1D−1/2 = R

lesz, ami a régi korrelációs mátrix. A forgatásinvariancia elvesztése onnan islátható, hogy tetsz®leges O ortogonális mátrix esetén az OX véletlen vektorkorrelációs mátrixa, és annak spektrálfelbontása is alapvet®en más lesz, mint azeredeti X változóé volt.

A f®komponensanalízis másik fontos optimumtulajdonságát fogalmazza mega következ® tétel: nevezetesen, hogy az els® k f®komponens változónk legjobbk-dimenziós közelítését adja az alábbi értelemben. Az X p-dimenziós véletlenvektor k-dimenziós (k < p) közelítése alatt egy olyan véletlen vektort értünk,amely AX alakban áll el® valamely p × p-s, k-rang¶ A mátrixszal. UgyanisAX értékeit 1 valószín¶séggel azA oszlopvektorai által kifeszített (k-dimenziós)altérben veszi fel.

109. Tétel. Legyen X ∼ Np(0,C) véletlen vektor Rögzített k < p-re az

E∥X−AX∥2

legkisebb négyzetes eltérést minimalizáló k-rangú közelítés annak a projekciónaka mátrixával adható meg, amely a C kovarianciamátrix k legnagyobb sajátértékéheztartozó sajátvektora által kifeszített altérre vetít. (A λk = λk+1 esetben ez az al-tér nem egyértelm¶.)

Így a f®komponensanalízis a kovarianciamátrixnak nemcsak a 1.1. Tételbelioptimális felbontását adja, hanem a a kovarianciamátrixnak és így az eredeti vál-tozónak is alacsonyabb dimenziós közelítésére ad lehet®séget a 109 Tétel alapján(az els® egynéhány f®komponens megtartásával). A fenti tétel alkalmazásakorfelmerül k választásának kérdése. Ehhez a

λ1 + · · ·+ λkλ1 + . . . . . .+ λp


hányadost használjuk, amely azt mutatja, hogy az els® k f®komponens a teljesvariancia hányad részét magyarázza (általában olyan k-t célszer¶ választani,melyre nagy az ugrás λk és λk+1 közt).

A gyakorlatban az empirikus kovarianciamátrixból indulunk, amely több-dimenziós normális eloszlást feltételezve az elméleti kovarianciamátrix max-imum likelihood becslése. Mivel a sajátértékek és sajátvektorok a kovarianci-amátrix folytonos függvényei, az empirikus kovarianciamátrix sajátértékei éssajátvektorai az elméletiek maximum likelihood becslései lesznek (amennyibena kovarianciamátrix sajátértékei mind különböz®ek).

A f®komponensanalízisnek akkor van értelme, ha kovarianciamátrixunknakvannak kiugró sajátértékei. k kiugró sajátérték megléte a

H0 : λk+1 = · · · = λp−1 = λp

hipotézis elfogadásával ekvivalens, hiszenH0 fennállása azt jelenti, hogy a legkisebbp − k sajátérték egyenl®. A hipotézisvizsgálatot a k = 0, 1, . . . , p − 1 egészekreilyen sorrendben addig végezzük, amíg adott szinten el nem fogadjuk a null-hipotézist. Ezzel a k-val megegyez® számú f®komponenst fogunk beválasztani.

Likelihood hányados próbával adódik, hogy a

−2 lnλn = n(p− k) lna

g

statisztika (l. [26]) H0 fennállása esetén (amennyiben a mintaelemszám elégnagy) közel χ2

f eloszlást követ, ahol a és g a C empirikus kovarianciamátrixsajátértékeinek számtani- és mértani közepét jelöli:

a =λk+1 + · · ·+ λp

p− kés g = (λk+1 . . . λp)

1p−k ,

a χ2 eloszlás szabadságfoka pedig

f =1

2(p− k + 2)(p− k − 1).

Ez az f nem más, mint a sajátértékek egyenl®ségére tett feltételek mellett aparaméterek számának a csökkenése. H0 fenállása esetén a sajátértékek (p)száma csökken (p−k−1)-gyel, a sajátvektorokat tartalmazó p×p-s ortogonálismátrixban lev® szabad paraméterek száma ((p−1)p/2) pedig (p−k−1)(p−k)/2-vel, a (p − k) × (p − k)-as forgatások szabad paramétereinek számával (hiszenaz azonos sajátértékhez tartozó sajátvektorok egy (p − k)-dimenziós altérbentetsz®legesen elforgathatók).

5.1.2. Faktoranalízis

A f®komponensanalízisnél láttuk, hogy a módszer alkalmas a változók számá-nak csökkentésére. A faktoranalízis célja eleve ez: nagyszámú korrelált változómagyarázata kevesebb korrelálatlannal (többdimenziós normális eloszlás esetén


a korrelálatlan helyett független mondható). Ezek a közös faktorok azonban nemmagyaráznak meg mindent a változókból, csak azoknak az ún. közös részét.Ezen kívül van a változóknak egy egyedi része is, amelynek leválasztása sz-intén a modell feladata. A közös faktorokra itt nem úgy kell gondolni, minthaközvetlenül meggyelhet® változók lennének.

A k-faktor modell tehát a következ®. Adott a p-dimenziós X véletlen vektorm várható érték vektorral ésC kovarianciamátrixszal, többdimenziós normalitásesetén X ∼ Np(m,C). Adott k (1 ≤ k < p) egészre keressük az

X = Af + e+m (5.2)

felbontást, ahol A p×k-as mátrix, az f közös faktor 0 várható érték vektorú, ko-rrelálatlan komponens¶, k-dimenziós véletlen vektor, komponensei 1 szórásúak,az e egyedi faktor p-dimenziós korrelálatlan komponens¶ véletlen vektor, ráadá-sul komponensei még f komponenseivel is korrelálatlanok. A modell feltevéseiformálisan:

Ef = 0, EffT = Ik,

Eε = 0, EeeT = f ,

EeeT = 0 a k × p-es azonosan 0 mátrix.

Koordinátákra lebontva ez a következ®t jelenti:

Xi =

k∑j=1

aijfj + ei + µi, i = 1, . . . , p.

Mivel ei és fj korrelálatlanok, Xi varianciája

cii =k∑j=1

a2ij + dii,

ahol dii a D diagonális mátrix i-edik diagonális eleme nem más, mint az ei vál-tozó (i-edik egyedi faktor) varianciája. Tehát Xi varianciájából a

∑kj=1 a

2ij részt

magyarázzák a közös faktorok ezt nevezzük az Xi változó kommunalitásának, dii pedig az egyedi variancia.

A modell paraméterei az A és D mátrixok. Az A mátrixot faktorsúly-mátrixnak (más terminológiával átviteli mátrixnak) nevezzük. Ezekkel a modellmátrixalakja a következ®:

C = AAT +D. (5.3)

Látható, hogy X tetsz®leges átskálázás után is leírható a k-faktor modellel,ugyanis

SX = (SA)f + e+ Sm

teljesíti a (5.2) modell feltételeit. Az is látható, hogy az A faktorsúly-mátrixsorainak tetsz®leges elforgatása után (azaz az AO transzformáció után is, aholO k × k-as ortogonális mátrix) faktorsúly-mátrix marad a (5.2) modellben.


Még adott k esetén is nehéz megtalálni a (5.3) felbontást. Az egyértelm¶ségkedvéért szokás ezen kívül még további kényszerfeltételeket tenni azA mátrixra.Például többdimenziós normális eloszlású X, e, e esetén a k-faktor modellparamétereinek maximum likelihood becslését keresve fel szokták tenni, hogya C kovarianciamátrix nem-szinguláris, az

ATD−1A (5.4)

mátrix pedig diagonális, diagonális elemei különböz®ek, és nem-csökken® sor-rendbe vannak rendezve. Ez a feltétel bizonyos egyértelm¶séget biztosít a fak-torok maximum likelihood becsléséhez, és a számolásokat is egyszer¶bbé teszi.

A faktorok számát, k-t kicsire célszer¶ választani. Kérdés azonban, hogymilyen k < p természetes számokra írható le az n-dimenziós X véletlen vektora k-faktor modellel. Ehhez számoljuk össze a (5.3) modell paramétereit: A-ban és D-ben összesen pk+ p ismeretlen paraméter van, a (5.4) kényszerfeltételazonban a diagonálison kívüli elemek 0 voltára vonatkozón (1/2)(k2 − k) =(1/2)k(k − 1) egyenletet jelent (ez megegyezik a k × k-as forgatások szabadparamétereinek számával). Alapvet®en pedig van (1/2)p(p+1) egyenletünk (a Ckovarianciamátrix különböz® elemei a szimmetria miatt). A felírható egyenletekés a szabad paraméterek számának különbsége:

s = (1/2)p(p+ 1) + (1/2)k(k − 1)− (pk + p) = (1/2)(p− k)2 − (p+ k).

Általánosságban s ≤ 0 esetén várható az egyenlet algebrai megoldásának létezése.Ekkor

k ≥ (2p+ 1−√8p+ 1)/2. (5.5)

A faktormodell identikálhatóságán azt értjük, hogy rögzített k esetén egyértelm¶enmeg tudjuk adni D-t és A-t.

110. Tétel. Adott k < p természetes szám esetén a (5.3) egyenlet pontosanakkor oldható meg, ha van olyan p× p-s diagonális D mátrix (f®diagonálisábannemnegatív elemekkel), hogy a C−D mátrix pozitív szemidenit és rangja nemnagyobb k-nál.

A tétel valójában a C−D mátrix spektrálfelbontásából következik.A faktorok (5.4) melletti maximum likelihood becsléséhez legyenX ∈ Np(m,C),

e ∈ Nk(0, Ik) és e ∈ Np(0,D). Jelölje C az X-re vett n-elem¶ mintából számoltempirikus kovarianciamátrixot. Ezekkel a likelihood függvény logaritmusa

−1

2n log |C| − 1

2ntrC−1C+ c

lesz, ahol c konstans (l. hyperref több dim. gauss parmeter ML becslése, csak ottaz S jelölést használtuk az empirikus kovarianciamátrix n-szeresére: S = nC).Ezekkel a likelihood függvény logaritmusa a (5.3)-beli C = AAT +D modell-egyenlet miatt A és D függvényének tekinthet®, és ezekben kell maximalizálni.Könnyen látható, hogy a feladat ekvivalens az

F (A,D) = log |AAT +D|+ tr(AAT +D)−1C

függvény minimalizálásával.


5.2. Feladatok

1. Legyen X egy d-dimenziós vektorváltozó és Y a hozzá tartozó f®kompo-nensvektor. Adjuk meg Xi és Yj kovarianciáját!

Tipp: Az általánosság megszorítása nélkül feltehet®, hogy E(X) = 0, atovábbiakban, amikor ennek értelme van ezt mindig feltesszük. Ismereteshogy Y = U⊤X, ahol Uuij |i = 1, j = 1n az X véltelen vektor C =cij |ni=1, j=1 kovarianciamátrixának C = UΛU⊤ spektrálel®állításábanszerepl® ortonormált mátrix. Eszerint

Yj =n∑k=1

ukjXk és így E(Xi · Yj) =n∑k=1

ukjE(XiXk)

Válasz:

E(Xi · Yj) =n∑k=1

ukjcik

2. Legyen X ∼ N2(0,C), ahol C =

(1 ρρ 1

), ahol 0 < ρ < 1. Adjuk meg a

f®komponenseket és a f®komponensvektor kovarianciamátrixát!

Tipp: Az el®z® feladat Útmutatásában szerepl® deníciók alapján megkell keresni a C matrix 2 sajátértéket, és a hozzájuk tartozó 1 normájusajátvektorokat, melyekb®l öszzeáll az U mátrix.

Válasz:

λ1 = 1 + ρ, λ2 = 1− ρ U =

√2

2

(1 1−1 1

)Y = U⊤X,Cov(Y)

(1 + ρ 00 1− ρ

)Megjegyezzük, hogy ρ > 0 esetén a fenti mátrixok a kanonikus (a sajátértékekcsökken® sorrendjnek megfelel®) mátrixok.

3. Legyen X ∼ Nd(0,C), ahol C diagonális mátrix f®átlójában különböz®(pozitív) értékekkel. Adjuk meg a f®komponensvektort!

Tipp: Ha a C mátrix diagonális, akkor a f®komponensanalízis feladata af®komponensek sorrendjét®l eltekintve megoldott.

Válasz: Yi = Xπ(i), ahol π az a permutáció, amely aCmatrix sajátértékeitnemnövekv® sorrendbe rendezi.

4. Legyen X ∼ Nd(0,C), ahol C f®diagonálisának minden eleme 1, mindenmás eleme r valamely 0 < r < 1 számra.

(a) Adjuk meg X els® f®komponensét!

(b) Adjuk meg a f®komponensek szórásnégyzeteit!

5.2. FELADATOK 117

Tipp: Ez a feladat a 2. feladat általánosítása, a C sajátértékei: 1+ (d−1)r, 1− r, . . . , 1− r, Az 1 + r (maximális sajátértékhez tartozó) sajátvek-tor:

√dd (1, . . . , 1)⊤, és mivel a maradék d − 1 sajátérték egyenl® a többi

sajátvektor nincs (így az U mátrix és Y1-en kívül a többi f®komponenssincs) egyértelm¶en meghatározva.

Válasz: Y1 =√dd

∑nj=1Xj . A f®komponensek szórásnégyzetei a Tippben

megadott sajátértékek.

5. Legyen X ∼ N2(0,C), ahol C =

(λ1 00 λ2

). Adjunk maximum likeli-

hood becslést C sajátértékeire!

Tipp: Az X vektor két komponense (X1, X2) két fuüggetlen normáliseloszlású 0 várható érték¶ valószín¶ségi változó ezért λ1 és λ2 M-L becslésea komponensek alapján meghatározhatók, a skalár valószín¶ségi változókesetében szokásos módon.

Válasz: λj =1n

∑nk=1X

2j k (j = 1, 2)

Itt n a mintaelemeszám.

6. A f®komponensanalízis egy módosított változatában azR = ri j |ni j=1 d×d-s korrelációs mátrixból indulunk ki.

(a) Mutassuk meg, hogy ezzel a módszerrel más megoldást kapunk, minta kovarianciamátrixot használó modellben!

(b) A Kaiser-kritérium azon sajátvektorokkal konstruált f®komponenseketválasztja, amelyekhez tartozó sajátérték legalább a sajátértékek át-laga. Igazoljuk, hogy tetsz®leges nemszinguláris korrelációs mátrixsajátértékeinek átlaga 1!

(c) Tegyük fel, hogy a korrelációs mátrix minden eleme nagyobb mint 1−ε. Adjunk ε-tol olyan alsó becslést a legnagyobb sajátértékre, amelytart d-hez, mid®n ε → 0 (egy nagy és sok kis szórású f®komponensvan)!

(d) Tegyük fel, hogy a korrelációs mátrix sajátértékei a legnagyobb kivételévelkisebbek mint ε. Adjunk ε-tol olyan alsó becslést korrelációk mini-mumára, amely tart 1-hez, mid®n ε→ 0.

Tipp:

(a) Elegend® észrevenni azt, hogy a korrelációs mátrix független az Xkomponenseinek átskálázásától, míg a kovariancia mátrix függ ett®l,megváltoztathatja a sajátértékek sorrendjét, az Xj valószín¶ségi vál-tozók együtthatóit az Yi f®komponensekben.

(b) Ismeretes, hogy a mátrix nyoma független attól, hogy a mátrix általdeniált operátort milyen koordináta rendszerben felírt mátrixszaladjuk meg, így R sajátértékeinek összege d, átlaga 1.


(c) Legyen ρ = min ri j , és írjuk fel a korrelációs mátrixot R = R1 +R2

alakban, ahol

R1 =

1 ρ . . . ρρ 1 . . . ρ...

......

ρ ρ . . . 1

alakú, míg mátrixot R2 f®átlójában 0-k, állnak, a többi eleme pedignem nagyobb, mint ε. AlkalmazzukR2-ra a Gersgorin-tételt, az össze-gre pedig a Weyl-perturbációs tételt.

(d) Tegyük fel, hogyR els® sora (r) = (1, r2, . . . rd) a legnagyobb sajátértékheztartozó sajatvektor pedig e(1, e2, . . . ed)⊤ (az általanosság korlátozásanélkül feltehetjük, hogy e els® koordinatája 1). Ekkor Re els® ko-ordinátája: 1 +

∑dj=2 rjej A Schwartz-egyenl®tlenség miatt ez az

összeg akkor maximális, ha ∀ j ej = rj , azaz a fenti összeg maxi-muma: 1 +

∑dj=2 r

2j , ami a feltétel miatt angyobb, mint 1− dε.

Válasz:

(a) Az Útmutató alapján nyilvánvaló.

(b) Az Útmutató alapján nyilvánvaló.

(c) d(1− 2ε) becslést kapunk.

(d) Mivel ∀ j |rj | ≤ 1, a Tippb®l következik, hogy nincs olyan j, amirer2j < 1− dε. Ugyanezt a meggondolás R minden sorára m¶ködik.

7. Tekintsük az X = Af + e+m k-faktor modellt (X egy d-dimenziós vek-torváltozó, A a d× k-as faktorsúlymátrix, f a k-dimenziós közös faktor Ikkovarianciamátrixszal, e d-dimenziós egyedi faktor D diagonális kovarian-ciamátrixszal, amelyre E(fe⊤) = 0).

(a) Mutassuk meg, hogy ha i = j, akkor Xi és ej korrelálatlanok!

(b) Adjuk meg Xi változó és ei egyedi faktorkomponens kovarianciáját!

(c) Adjuk meg Xi változó és fj közös faktorkomponens kovarianciáját!

Tipp:

(a) Az X vektorváltozó iedik koordinátája: Xi =∑kℓ=1 ai ℓfℓ+ei Vegyük

gyelemeb, hogy Efe a k × p-s azonosan 0 mátrix.

(b) A (a) pont alapján Eeiej(c) Alkalmazzuk Xi (a) pontbeli felírásáat.

Válasz:

(a) Vegyük észre, hogy ej az Xi komponens Tippben kifejtett alakjábanszerepl® minden taggal korrelálatlan, ha i = j.

5.2. FELADATOK 119

(b) A faktormodell deniciója alapján di j

(c) A faktormodell deniciója alapján di j és a Tipp (a) pontja alapjánai j .

8. A faktoranalízis modelljében legyen A és B két p×k-s (p > k) faktorsúly-mátrix, amelyekre AA⊤ = BB⊤. Mutassuk meg, hogy ekkor van olyan Gk × k méret¶ ortogonális mátrix, amelyre B = AG.

Tipp: Vegyük észre, hogy a p × p-s AA⊤ és BB⊤. mátrixok teljesenleírják aA és B mátrixok p darab kdimenziós sora által alkotott Rk térbelialakzat geometriai struktúráját: a vektorok hosszait, és bármely két vektoráltal bezárt szöget. Tehát a két alakzat egybevágó.

Válasz: Bármely két Rk-beli egybevágó alakzat átvihet® egymásba egyk-dimenziós forgatással, és esetleg még egy tükrözés alkalmazasával. Ezeppen egy G ortonormált mátrixszal való szorzás; ha |G| = −1, akkortükrözni is kell.

9. A faktoranalízis modelljének mátrixalakja C = AA⊤ + D, ahol A egyd×k-s mátrix,D pedig egy d×d-s diagonális mátrix nemnegatív elemekkel.Tekintsük a d = 2 és k = 1 esetet!

(a) Mikor van megoldása a fenti modellnek?

(b) Adjunk maximum likelihood becslést A-ra és D-re!

Tipp:

(a) A modellben 4 paraméter van: a1, a2, d1, d2 és 3 egyenlet:

C1 1 = a21 + d1

C1 2 = a1a2

C2 2 = a22 + d2,

(5.6)

ezért ha van megoldás az általában nem egyértelm¶.

Honnan vesszük észre, hogy egy mátrix AA⊤ alakú? A rangja 1, esnemnegatív denit, azaz bevezetve az a > 0 és az x paramétereketfennáll az

a21 = a

a1a2 = xa

a22 = x2a

(5.7)

egyenletrendszer. Írjuk be a (5.6) egyenletrendszerbe a (5.7) egyen-letrendszert, és oldjuk meg, feltéve, hogy d1 = 0

(b) Írjuk be az (a) pont megoldását a C mátrix M-L becslésébe.

Válasz:


(a) A megoldás a-ra és x-re: a = c1 1 x = c1 2/c1 1, ezért a1 =√c1 1

a2 = (a1c1 2)/c1 1.Mivel a fentiekb®l következik, hogy d2 = c2 2− c21 2

c1 1,

azaz amegoldhatosaág feltétele c2 2 >c21 2

c1 1.

(b) A C mátrix M-L becslése 1nS, ahol n a mintaelemszám.

5.3. Tesztek

6. fejezet

Lineáris módszerek 2.:regresszióanalízis, a legkisebbnégyzetek módszere


6.1.1. Regresszióanalízis

A többváltozós regressziós problémában az Y valószín¶ségi változót (függ® vál-tozó) szeretnénk az X1, . . . , Xp valószín¶ségi változók (független változók) füg-gvényével közelíteni legkisebb négyzetes értelemben. Amennyiben ismerjük azY,X1, . . . , Xp véletlen vektor együttes eloszlását (tegyük fel, hogy ez abszolútfolytonos, az együttes s¶r¶ségfüggvényt jelölje f(y, x1, . . . , xp)), akkor

E(Y − g(X1, . . . , Xp))2

minimumát a p-változós g függvények körében Y -nak az X1, . . . , Xp változókadott értéke mellett vett feltételes várható értéke szolgáltatja:

gopt(x1, . . . , xp) = E(Y |X1 = x1, . . . , Xp = xp) =

∫∞−∞ yf(y, x1, . . . , xp)dy∫∞−∞ f(y, x1, . . . , xp)dy

,

ezt nevezzük regressziós függvénynek.Adott f s¶r¶ségfüggvény mellett sem mindig triviális a fenti integrál kiszá-

molása, általában azonban f nem adott, csak egy statisztikai mintánk van afügg® és független változókra az (Y (m), X

(m)1 , . . . , X

(m)p ), (m = 1, . . . , n) független,

(p + 1)-dimenziós meggyelések formájában. A legegyszer¶bb ilyenkor a fentiminimumot a lineáris függvények körében keresni, ezt nevezzük lineáris re-gressziónak. Erre az esetre vezethet® vissza olyan függvényekkel való közelítéseY -nak, amely az Xi változók lineáris függvényének monoton (például exponen-ciális, logaritmikus) transzformációja. Ilyenkor az inverz transzformációt alka-

121

122FEJEZET 6. LINEÁRIS MÓDSZEREK 2.: REGRESSZIÓANALÍZIS, A LEGKISEBB NÉGYZETEKMÓDSZERE

6.1. ábra. Regressziós görbe becslése

lmazva Y -ra, az így kapott új függ® változón hajtunk végre lineáris regressziótaz eredeti független változók alapján.

A másik érv a lineáris regresszió mellett az, hogy amennyiben Y,X1, . . . , Xp

együttes eloszlása (p + 1)-dimenziós normális, akkor a feltétele várható értékképzés valóban lineáris függvényt ad megoldásul (l. 17 Állítást, es (6.1???) Fe-ladatot).

Térjünk rá a lineáris regresszióra. A legjobb

Y ∼ l(X) = a1X1 + · · ·+ apXp + b

lineáris közelítést keressük legkisebb négyzetes értelemben, azaz minimalizálniakarjuk az

E(Y − (a1X1 + · · ·+ apXp + b))2

kifejezést az a1, . . . , ap és b együtthatókban. A megoldáshoz el®ször is szabaduljunkmeg a várható értékekt®l, azok csak zavarnak a számolásban, a változók szórása,kovarianciája, mint látni fogjuk, nem változik meg ezáltal. Tehát legyen

Y ′ = Y − EY, X ′i = Xi − EXi, (i = 1, . . . , p),

ezeknek az ún. centrált változóknak a várható értéke már 0 lesz. Így célfüg-gvényünkön az

E(Y − a1X1 − · · · − apXp − b)2 =

=E(Y ′ − a1X′1 − · · · − apX

′p+

+[EY − a1EX1 − · · · − apEXp − b])2 =

=E(Y ′ − a1X′1 − · · · − apX

′p)

2

(6.1)


átalakítás végezhet® el, mivel

EY − a1EX1 − · · · − apEXp − b = 0.

Ebb®l a b együtthatóra (ha ai-k már ismertek lennének) rögtön adódik, hogy

b = EY − a1EX1 − · · · − apEXp,

így b-vel a továbbiakban már nem foglalkozunk.Ezek után az

Y ′ ∼ l(X′) = a1X′1 + · · ·+ apX

′p

lineáris közelítést keressük legkisebb négyzetes értelemben, azaz minimalizálniakarjuk az

E(Y ′ − (a1X′1 + · · ·+ apX

′p))

2 (6.2)

kifejezést az a1, . . . , ap együtthatókban, feltéve, hogy E(Y ′) = E(X ′1) = · · · =

E(X ′p) = 0.Ecélból a

Ca = d

egyenletrendszert kell megoldani, ahol a = (a1, . . . , ap)T , C jelöli az X vál-

tozó p × p-s kovarianciamátrixát, a d ∈ Rp vektor pedig az Y változónak Xkomponenseivel vett (kereszt)kovarianciáit tartalmazza. Ennek az egyenletrend-szernek létezik egyértelm¶ megoldása, ha a C kovarianciamátrix invertálható,tehát a = C−1d.

A fenti közelítés maximalizálja korrelációt a következ® értelemben.Jelöljük ℓ(X) a fenti lineáris regressziós feladat megoldását, es vezessük be

a többszörös korrelációs együttható fogalmát.

111. Deníció. Az Y független- és az X1, . . . , Xp függ® változók közötti több-szörös korrelációs együtthatón Y és l(X) korrelációját értjük és rY (X1,...,Xp)-veljelöljük.

A p = 1 esetben a többszörös korrelációs együttható a függ®- és az egyetlenfüggetlen változó közötti valódi korrelációs együttható.

112. Állítás. Az X1, . . . , Xp valószín¶ségi változók tetsz®leges h(X) lineáriskombinációjára

|rY (X1,...,Xp)| = |Corr(Y, ℓ(X))| ≥ |Corr(Y, h(X))|.

Az alábbi ábrák egyváltozós esetben mutatják a becsléseket.

6.1.2. Legkisebb négyzetek módszere

Legyenek x1, . . . , xp mérési pontok, melyek beállíthatók (tehát nem valószín¶ségiváltozók), méréseink pedig ezek valamely ismeretlen a1, . . . , ap paraméterekkelvaló lineáris kombinációira vonatkoznak, és mérési hibával terheltek. Jelölje ε


6.2. ábra. Regressziós egyenes pozitív korreláció esetén

6.3. ábra. Regressziós egyenes negatív korreláció esetén

a mérési hibát, Y a mért értéket, ezek valószín¶ségi változók. Feltehet®, hogyE(ε) = 0. Modellünk tehát a következ®:

Y = a1x1 + · · ·+ apxp + ε,


6.4. ábra. Regressziós egyenes függetlenn minta esetén

6.5. ábra. Regressziós egyenes nagy korreláció esetén

ami hasonlít a többváltozós regresszióéhoz, csak ott Xi-k valószín¶ségi változók.Itt E(Y ) =

∑pj=1 ajxj .

Célunk az ismeretlen a = (a1, . . . , ap)T paramétervektor (oszlopvektor) legkisebb

négyzetes becslése n mérés alapján (n ≥ p, általában n sokkal nagyobb, mint p).


Az i-edik mérés az (xi1, . . . , xip) p-dimenziós pontban történik, a mért értéketjelölje Yi, a mérési hibát pedig εi, (i = 1, . . . , n). Vezessük be még a következ®jelöléseket is:

Y := (Y1, . . . , Yn)T , ε := (ε1, . . . , εn)

T

n-dimenziós oszlopvektorok, az xij (i = 1, . . . , n; j = 1, . . . , p) mérési pontokatpedig az n×p-sXmátrixban gy¶jtjük össze.X oszlopvektorait jelölje x1, . . . ,xp!Ezekkel a jelölésekkel a (4.1) rendszeregyenlet

Y = Xa+ ε

alakban írható, ahol tehát E(ε) = 0, továbbá tegyük fel, hogy a mérési hibákkorrelálatlanok (normális eloszlás esetén függetlenek) és azonos szórásúak, azazε kovarianciamátrixa σ2In alakú. Ekkor persze a mérések is korrelálatlanok, ésugyanaz a kovarianciamátrixszuk, mint ε-é:

E(Y −Xa)(Y −Xa)T = EεεT = σ2In,

ahol σ szintén ismeretlen paraméter, melyet majd a végén becsülni fogunk. Aza ismeretlen paraméter legkisebb négyzetes becslésén azt az a vektort értjük,amelyre a mérési hibák négyzetösszege,

n∑i=1

ε2i = ∥Y −Xa∥2 = (Y −Xa)T (Y −Xa) = (YT − aTXT )(Y −Xa) =

= YTY − aTXTY −YTXa+ aTXTXa

minimális. A keresett a vektor az

XTXa = XTY (6.3)

A normálegyenleteket a geometriai szemlélet alapján is megkaphatjuk következ®kép-pen. ∥Y − Xa∥2 nyilván akkor minimális a-ban, ha Xa az Y vektornak az Faltérre való mer®leges vetülete, ahol az F ⊂ Rn alteret X oszlopvektorai (azx1, . . . ,xp vektorok) feszítik ki, dim(F ) = r ≤ p (tipikusan p-vel egyenl®, haaz xi vektorok lineárisan függetlenek). Jelölje P ennek az r-rangú ortogonálisprojekciónak az n× n-es mátrixát! Ezzel az optimális a-ra Xa = PY és

Y = PY + (I−P)Y, azaz Y = Xa+ (Y −Xa),

ugyanis az Xa vektor az x1, . . .xp vektorok lineáris kombinációja. Mivel Xa ∈F ,Y−Xa pedig mer®leges F -re, ezértY−X mer®leges F tetsz®leges vektorára,ami Xb alakú lesz valamely b ∈ Rp vektorral. Így

(Xb)T · (Y −Xa) = 0, ∀b ∈ Rp.

Ebb®lbTXT (Y −Xa) = 0, ∀b ∈ Rp.


Ez csak úgy lehetséges, ha

XT (Y −Xa) = 0,

azazXTY = XTXa

adódik, ami nem más, mint a (6.3) normálegyenlet. A normálegyenlet mindigkonzisztens, hiszen az XTY vektor benne van az XT mátrix oszlopvektorai általkifeszített altérben, és ugyanezt az alteret feszítik ki az XTX mátrix oszlopai is.A megoldás pontosan akkor egyértelm¶, ha az XTX mátrix rangja r = p(≤ n),ilyenkor a megoldás

a = (XTX)−1XTY

alakban írható. A gyakorlatban általában az XTX mátrix invertálható. Az avektornak a normálegyenlet megoldásaként kapott becslése torzítatlan, igaz akövetkez® állítás:

113. Állítás. Ha r = p és ε ∼ Nn(0, σ2In), akkor a ∼ Np(a, σ

2(XTX)−1).

AGaussMarkov-tétel szerint aminimális kovarianciamátrixú az a-ra vonatkozólineáris, torzítatlan becslések között.

114. Tétel. Legyen r = p és a az a paramétervektor tetsz®leges lineáris torzí-tatlan becslése. Ekkor

D2(a) ≤ D2(a),

azaz a D2(a)− D2(a) mátrix pozitív szemidenit.

A σ2 közös szórásnégyzet becsléséhez vezessük be a következ® jelölést:

S2ε := ∥Y −Xa∥2 = (Y −Xa)T (Y −Xa),

ezt a mennyiséget reziduális varianciának nevezzük.A geometriai szemlélet (projekciók) alapján S2

ε a következ® alakban is írható:

S2ε = (Y −PY)T (Y −PY) = ((I−P)Y)T ((I−P)Y) =

= YT (I−P)2Y = YT (I−P)Y,

mivel I −P is egy projekció mátrixa, melynek rangja n − p. Ezért S2ε az I.3.6.

Állítás a. része alapján el®állítható n−p db. független, σ2 varianciájú, normáliseloszlású valószín¶ségi változó négyzetösszegeként, így S2

ε ∼ σ2χ2n−p, továbbá

E(S2ε ) = σ2(n− p). Ebb®l az is következik, hogy

σ2 =S2ε

n− p

torzítatlan becslés σ2-re. Megjegyezzük, hogy amennyiben az X mátrix rangjar < p, a P projekció rangja is r, következésképpen

σ2 =S2ε

n− r


a σ2 paraméter torzítatlan becslése. Megjegyezzük, hogy ha a konstans tagot isbecsüljük, akkor a nevez®ben n− r − 1 áll.

Az alábbi animáció szemlélteti, hogy nagy szórás esetén egy pont mennyireváltoztatja meg a becslést.

AH0 : a1 = · · · = an = 0

Nullhipotézis tesztelésére a likelihood-hányados próbát használjuk, ebben a sz-erencsés esetben a λn próbafüggvény az ismert (F(p, n− p)) eloszlású

F =Y⊤PY

Y⊤(I−P)Y· n− p

p

statisztikának szigorúan monoton függvénye.

6.2. Feladatok

1. Legyen (Y,X1, . . . , Xm) ∼ N (0,C), ahol cii = 1 és c1i = ci1 = 1/m, Cminden más eleme 0. Adjuk meg az E((Y − g(X1, . . . , Xm))2)-et mininal-izáló regressziós függvényt!

Tipp: a meghatározásához ld. lineáris regresszió

Válasz: l(X) = (X1 + . . .+Xm)/m.

2. Igaz-e, hogy ha X,Y véges szórású valószín¶ségi változók, valamint Y ∼aX + b a legjobb lineáris közelítés négyzetes értelemben, akkor

(a) r(X,Y ) = a · D(X)

D(Y )?

(b) Tetsz®leges valós számokra E((Y −(aX+b))2) ≥ (1−r(X,Y ))D2(Y )?

Tipp: Centráljuk az Y és X valószín¶ségi változókat:

X ′ = E(X) Y ′ = Y − E(Y ).

Ebb®l a modell alapján azonnal leolvasható, hogy ha a ismert, akkor

b = E(Y )− aE(X).

Válasz: Mindkett® igaz.

3. Legyen (Y,X1, . . . , Xm) ∼ N (m,C). Adjuk meg az E((Y−g(X1, . . . , Xm))2)-et mininalizáló regressziós függvényt!

Tipp: Jelölje ℓ(x1, . . . , xm) azt a lineáris függvényt amely a lineárisfüggvények körében minimalizálja a E((Y − ℓ(X1, . . . , Xm))2) négyzeteseltérést. E((Y − ℓ(X1, . . . , Xm))Xj) = 0 minden j = 1, . . . ,m-re. A 90Állítás miatt ebb®l következik, hogy Y − ℓ(X1, . . . , Xm) független az Xj

valószín¶ségi változóktól.

Válasz: Alkalmazzuk a 16 és 17 Állításokat

6.2. FELADATOK 129

4. Igazoljuk, hogy ha X,Y véges szórású valószín¶ségi változók, valamintY ∼ aX + b a legjobb lineáris közelítés négyzetes értelemben, akkor

(a) r(X,Y ) = a · D(X)

D(Y ),

(b) Tetsz®leges valós számokra E((Y −(aX+b))2) ≥ (1−r(X,Y ))D2(Y ).

Tipp: Centráljuk az Y és X valószín¶ségi változókat:

X ′ = E(X) Y ′ = Y − E(Y ).

(a) Ebb®l a modell alapján azonnal leolvasható, hogy ha a ismert, akkor

b = E(Y )− aE(X).

(b) Ezek után az a paramétert becsülhetjükaz Y ′ ∼ aX ′ modell alapján.

Válasz:

(a) Az Útmutató (b) pontja alapján nyilvánvaló.

(b) Ha a és b a becslés alapján kapott számok, akkor a kérdés (b) pon-tjában egyenl®ség áll, egybként pedig a Schwartz-egyenl®tlenség következménye.

5. Tekintsük az (X,Y ) véletlen vektort, az l1(X) = aX + b (amelyre E((Y −l1(X))2) minimális) és az l2(Y ) = cY + d (amelyre E(X − l2(Y ))2 min-imális) regressziós egyeneseket. Mikor teljesül, hogy c = 1/a?

Tipp: Oldjuk meg a

E(Y ) = a+ E(X)bE(XY ) = E(X)a+ [E(X)]2b

normálegyenletet, és ugyanezt az X ↔ Y szerepcserével.

Válasz: Ha Cov(X,Y ) = ±1.

6. Legyenek x1, . . . , xn mérési pontok, továbbá Y1, . . . , Yn változók amelyekkielégítik a Yi = axi + b + ϵi, i = 1, . . . , n regressziós modellt, ahol amérési hibák ϵ1, . . . , ϵn ∼ N (0, σ2) független valószín¶ségi változók.

(a) Adjunk maximum likelihood becslést az (a, b, σ2) paraméterre a Yminta segítségével! (Mi köze a kapott becslésnek a legkisebb né-gyzetek módszeréhez?)

(b) Igazoljuk, hogy a és b fenti becslései pontosan akkor korrelálatlanok,ha x = 0.

(c) Adjunk kondencia-intervallumot a-ra, ha b = 0 és σ ismert.

(d) Konstruáljunk a H0 : a = a0 és H1 : a = a0 hipotézisekhez ε ter-jedelm¶ próbát, feltéve, hogy b és σ2 ismert!

(e) Konstruáljunk likelihood-hányados próbát H0 : a = a0 és H1 : a = a0hipotézisekhez, ha b = 0 és σ2 ismeretlen!


(f) Konstruáljunk likelihood-hányados próbát H0 : a = a0 és H1 : a = a0hipotézisekhez, ha b és σ2 ismeretlen!

(g) Hogyan ellen®rizhetjük a modell alkalmazhatóságát, azaz a mérésihibákra vonatkozó feltételek teljesülését?

Tipp: Az egyszer¶bb írásmód kedvééert bevezetjük a következ® jelöléseket:

X =(x1, . . . , xn)⊤

Y =(Y1, . . . , Yn)⊤.

Továbbá írjuk fel a minta s¶r¶ségfüggvényét ismert a, b és σ2 paraméterekmellett (Nota Bene: xi-k NEM valószín¶ségi változók):

f(y1, . . . , yn) =1

(2πσ2)n/2exp−

∑ni=1(yi − axi − b)2

2σ2 (6.4)

(a) Írjuk fel a modell alapján az Y1, . . . , Yn valószín¶ségi változók likeli-hood függvényének logaritmusát. Az a és b paraméterek becslése ép-pen a lineáris modell (legkisebb négyzetek módszere) alapfeladatánakmegoldása. Ezután alkalmazzuk a töbdimenziós M-L becslés paragra-fusban tárgyalt módszert.

(b) Írjuk fel a normálegyenletet, ami ekkor két független egyenlet lesza-ra és b-re, b = Y. Megforditva: oldjuk meg a normálegyenletet.

(c) Az egyszer¶ség kedvéért tegyük fel, hogy σ2 = 1. A normálegyenletmegoldása: a = X⊤Y

X⊤XEkkor a ∼ N (a, (X⊤X)−1).

(d) Alkalmazzuk az u-próbát a (c) pont felhasználásával.

(e) A próbafüggvényt két s¶r¶ségfüggvény hányadosaként kapjuk meg:a számlálóban a minta s¶r¶ségfüggvényében a = a0, b = 0 és σ2

ugyanezen feltevések melletti S(ε, a0, 0) =∑ni=1(yi−a0xi)2/n beslése

áll, míg a nevez®beli s¶r¶ségfüggvényben a = a, b = 0 és σ2 ugyanezenfeltevések melletti S(ε, a, 0) =

∑ni=1(yi − axi)

2/n becslése áll. Veg-yük észre, hogy az exponenciális faktor mindkét esetben e−n/2-véegyszer¶södik.

(f) Hasonló a (d) ponthoz, csak σ2 becsleésében b = 0 helyett mind aszámlálóban mind a nevez®ben b = b áll.

(g) Azt kell ellen®rizni, hogy az egyes reziduális epszilonok függetlenazonos eloszlásúk-e. Ilyenkor autokovarianciát alkalmazunk, ami ittazt jelenti, hogy a rezidualis szórások indexeit 1-gyel eltoljuk és azeredeti valamint az eltolt vektor kovarianciáját számojuk.

Válasz:

(a) Az Útmutató alapján csak a σ2 becslésére kell kitérni: Jelölje a, il-letve b az a, illetve b paraméterek M-L becsléseit továbbá legyenS(ε) =

∑ni=1(Yi − axi − b)2 reziduális szórásnégyzet. A σ2 M-L bec-

slése S(ε)/n.

6.2. FELADATOK 131

(b) Az egyik irány várható érték képzéssel adódik a Tippb®l. A másikirány abból következik, hogy a normálegyenlet megoldásaként (l. (c)pont) számított Cov(a, b) = cx, ahol c = 0.

(c) a± 1√X⊤X

Φ−1(1− ε/2).

(d) Ha

a ∈[a0 −

1√X⊤X

Φ−1(1− ε/2), a0 +1√

X⊤XΦ−1(1− ε/2)

].

elvetjük a H0 hipotézist.

(e) Az Útmutató alapján a λ(y1, . . . , yn) próbafüggvény az exonenciálistényez®k elött álló tényez®k hányadosa lesz:

λ(y1, . . . , yn) =

( ∑ni=1(yi − axi)

2∑ni=1(yi − a0xi)2

)n/2(f)

λ(y1, . . . , yn) =

( ∑ni=1(yi − axi − b)2∑ni=1(yi − a0xi − b)2

)n/2(g)

7. Tekintsük az Y = a⊤x+ϵ regressziós modellt, ahol ϵ ∼ N (0, σ2), σ2 ismertértékre. Konstruáljuk meg a Neyman-Pearson alaplemma segítségével aH0 : a = a0 vs. H1 : a = a1 egyszer¶ alternatívához tartozó ε terjedelm¶próbát!

Tipp: Írjuk fel a feladatban szerepl® modellt koordinátánként.

Yi =d∑j=1

ajxi j

Írjuk fel a minta s¶r¶ségfüggvényeit ismert a0, (a1) és σ2 paraméterekmellett:

f0(y1, . . . , yn) =1

(2πσ2)n/2exp−

∑ni=1(yi −

∑dj=1 a0,jxi j)

2

2σ2

f1(y1, . . . , yn) =1

(2πσ2)n/2exp−

∑ni=1(yi −

∑dj=1 a1,jxi j)

2

2σ2

Tegyünk két észrevételt.

(a) f1/f0 hányados kitev®jében csak a∑ni=1 yi(

∑dj=1 a1,jxi j−

∑dj=1 a0,jxi j)

tag konstansszorosa szerepel.


(b) Mivel az els®fajú hiba rögzitett a feladat valójában nem más mintu-próba szerkesztése

∑dj=1 a0,jxi j várható érték¶ σ2 szórásnégyzet¶

normális eloszlásra n minta alapján.

Válasz: Ha∑dj=1 a1,jxi j >

∑dj=1 a0,jxi j akkor a kritikus tartomány

√nY −

∑dj=1 a0,jxi j

σ> Φ−1(1− ε)

8. Tekintsük az Y = a1x1 + . . . + adxd + b + ϵ regressziós modellt és a H0 :a1 = . . . = ad = 0 hipotézist tesztel® regresszióanalízist.

(a) Legyen Q =∑ni=1(Yi−Y )2, Qr =

∑ni=1(Yi−Y )2 és Qe =

∑ni=1(Yi−

Yi)2, ahol Yi = a1xi,1+ . . .+ adxi,d+ b. Igazoljuk, hogy Q = Qr+Qe.

(b) Jelölje Rn a többszörös korrelációs együttható becslését. Mutassukmeg, hogy R2

n = Qr

Q .

(c) Igazoljuk, hogy a próbastatisztika F = (n−d−1)Qr

dQe=

(n−d−1)R2n

d(1−R2n)

alakok-ban is felírható!

(d) Vessük össze a regresszióanalízist a korrelációs együtthatókra vonat-kozó tesztekkel! Indokolt-e a regresszióanalízist függetlenség tesztelésérehasználni?

Tipp:

Válasz:

9. Vessük össze a lineáris regresszió megoldását (a = C−1d, ha a várhatóértékek 0-k) a determinisztikus változók esetén kapott megoldással (a =(X⊤X)−1X⊤Y)!

Tipp:

Válasz: Vegyük észre, hogy (XX⊤) éppen C M-L becslése.

10. Igazoljuk, hogy X⊤X pontosan akkor nemszinguláris, ha X oszlopvektorailineárisan függetlenek.

Tipp: Lehetne hivatkozni lineáris algebrai tételekre, de a legkisebb né-gyzetek módszerének témaköréhez tartozó egyszer¶ meggondolás is cél-ravezet®.

Válasz: A legkisebb négyzetek módszerének geometriai interpretációjakövetkez®: Keressük az Y vektornak az X mátrix oszlopvektorai általkifeszített térre való mer®leges vetületét. Ez a vetület pontosan akkor fe-jezhet® ki egyértelm¶en ezen vektorok lineáris kombinációjával, ha lineárisanfüggetlenek. A normálegyenlet egyértelm¶ megoldhatóságanak pedig ép-pen az a szükséges és elegséges felétele, hogy az XXtop mátrix nemszin-guláris.

6.3. TESZTEK 133

11. Tekintsük a következ® multiplikatív modellt: Y = bXa11 ·. . .·Xak

k . Vezessükvissza a lineáris modellre, és adjunk becslést a paraméterekre a módosítottmodellben a legkisebb négyzetek módszerével! Más becslést kapnánk-e,ha a legkisebb négyzetek módszerét közvetlenül az eredeti modellre alka-lmaznánk?

Tipp: Az eredeti modell helyett tekintsük az alábbi logaritmikus mod-ellt: log Y = log b+ a1 logX1 + . . .+ ak logXk.

Válasz: A feladat elo® részének megoldásat tartlamazza a Tipp, a má-sodik részre a válasz, IGEN, mas becslést kapnánk, ez ellen®rizhet® ab = 0, a2 = 0, . . . , ak = 0 modellen két mintaelem esetén.

12. Polinomiális regresszió esetén a modell Y = b+ a1X + . . .+ akXk alakú.

A megoldást úgy keresik, hogy az Xi = Xi valószín¶ségi változókat for-málisan függetleneknek tekintik és megoldják a rájuk vonatkozó több-változós lineáris regresszió feladatát. Viszont Xi és Xj általában nemfüggetlen változók. Okoz-e ez problémát a megoldás egyértelm¶sége tek-intetében? Miért?

Tipp: Írjuk fel a modellhez tartozó normálegyenlet mátrixát a várhatóérték képzés el®tt, pl k = 2-re:

R(

1 X X2)

Ez a mátrix a egy valószín¶séggel 1-rangú, amib®l nem következik, hogya várható érték vétel után is 1-rangú marad.

Válasz: valójában nem okoz problémát, mert Y -t az X Hermite-polinomjaival is közelíthetjük (ezek éppen a Gauss-s¶r¶ségrenézve ortogonális polinomok, amelyekb®l az X hatványai egyértelm¶envisszaszámolhatók) és ebben a sémában a normálegyenlet mátrixadiagonalis lesz! Mármost ez túl megy a zaróvizsga tételeken!!!!!

6.3. Tesztek

7. fejezet

Lineáris módszerek 3.: Egy- éstöbbszempontosvarianciaanalízis


A varianciaanalízis speciális lineáris modelleket vizsgál, kísérlettervezésben ésmin®ségellen®rzésben felmerül® hipotézisek tesztelésére. A tekintett modellekspecikuma az, hogy a legkisebb négyzetek módszerénel alkalmazott modell-ben a beállítható mérési pontok mátrixa helyett 0-1 elemekb®l álló ún. struk-túramátrixszal dolgozunk, amelyet úgy állítunk össze, hogy bizonyos meggyelésekcsak bizonyos paraméterekt®l függjenek. A hipotézisek vizsgálata is a likelihoodhányados próba analógiájára történik.

Gyakorlati alkalmazásokban olyan mintákat vizsgálunk, melyeket különböz®körülmények közt gyeltünk meg, és célunk éppen annak a megállapítása, vajonezek a körülmények jelent®sen befolyásolják-e a mért értékeket. Tehát mintánkateleve csoportokba osztottan kapjuk, feltesszük azonban, hogy a különböz® cso-portokban felvett minták egymástól függetlenek, normális eloszlásúak és azonosszórásúak.

A Tananyagban csak az egyszempontos varianciaanalízissel és a kétszempon-tos varianciaanalízis interakciót tesztel® változatával foglalkozunk, ugyanis azinterakció nélküli kétszempontos varianciaanalízis csak formálisan bonyolultabbaz egyszempontosnál, de új jelenséget nem vizsgál.

7.1.1. Egyszempontos varianciaanalízis

Valamilyen szempont alapján (például különböz® kezelések) k csoportban különvégzünk meggyeléseket. Az egyes csoportokban a mintaelemek száma általábannem egyenl®: jelölje ni az i. csoportbeli mintaelemek számát, n =

∑ki=1 ni pedig

az összminta elemszámát. Az i. csoportban az Xi ∼ N (bi, σ2) valószín¶ségi

135

136FEJEZET 7. LINEÁRIS MÓDSZEREK 3.: EGY- ÉS TÖBBSZEMPONTOS VARIANCIAANALÍZIS

változóra vett mintaelemeket

Xij ∼ N (bi, σ2), (j = 1, . . . , ni)

jelöli. Ezek egymás közt és különböz® i-kre is függetlenek, azonos szórásúak.A várható értékekre a bi = m + ai felbontást alkalmazzuk, ahol m a várhatóértékek súlyozott átlaga, ai pedig az i. csoport hatása:

m =1

n

k∑i=1

nibi, ai = bi −m (i = 1, . . . , k).

Könnyen látható, hogyk∑i=1

niai = 0. (7.1)

Ezekkel a jelölésekkel az egyszempontos modell

Xij = m+ ai + εij (j = 1, . . . , ni; i = 1, . . . , k)

alakban írható, ahol az εij ∼ N (0, σ2) független valószín¶ségi változók véletlenhibák.

Lineáris modellr®l van szó, hiszen ha meggyeléseinket az

Y := (X11, . . . , X1n1 , X21, . . . , X2n2 , . . . , Xk1, . . . , Xknk)T

ε := (ε11, . . . , ε1n1 , ε21, . . . , ε2n2 , . . . , εk1, . . . , εknk)T∑k

i=1 ni = n-dimenziós vektorban, ai paramétereinket pedig az a = (a1, . . . , ak)T

vektorban helyezzük el, akkor az (5.2) modell az

Y = B · a+ 1 ·m+ ε

alakban írható, ahol 1 ∈ Rn az azonosan 1 koordinátájú vektor, B pedig azalábbi (7.2) alakú struktúramátrix:

B =

1 0 01 0 01 0 00 1 00 1 00 1 00 1 00 0 10 0 10 0 10 0 10 0 1

(7.2)

(Ebben a példában k = 3, n1 = 3, n2 = 4 és n3 = 5.)


Látható, hogy rangB = k, az oszlopok által kifeszített k-dimenziós alteretjelölje F ; nyilván 1 ∈ F . A paramétereket közvetlenül a legkisebb négyzetekmódszerével becsüljük, azaz keressük a

k∑i=1

ni∑j=1

ε2ij =k∑i=1

ni∑j=1

(Xij −m− ai)2 (7.3)

kifejezés minimumát az m,a1, . . . , ak paraméterekben az (7.1) kényszerfeltételmellett. Vezessük be a csoportátlagokra ill. a teljes mintaátlagra az

Xi. =1

ni

ni∑j=1

Xij (i = 1, . . . , k) ill. X.. =1

n

k∑i=1

ni∑j=1

Xij

jelöléseket! Könnyen látható, hogy a paraméterek legkisebb négyzetes becslései

m = X.. és ai = Xi. − X.. (i = 1, . . . , k)

lesznek. Ugyanism helyébe a nyilvánvaló X..-ot írva az (7.3) kifejezés minimumakereshet® az egyes ai-kben külön-külön csak a küls® szumma i-edik tagjábanálló négyzetösszeg minimalizálásával , hiszen ai becslése csak az Xij , j =1, . . . , ni mintaelemekt®l függ (i = 1, . . . , k), és a Steiner-tétel alapján a fentilesz. (A szélsh®érték számítás módszereivel ellen®rízhet® a fenti heurisztikusszámolás helyessége.)

A minimum értéke

Qe =k∑i=1

ni∑j=1

(Xij − m− ai)2 =

k∑i=1

ni∑j=1

(Xij − Xi.)2

lesz. A Legkisebb négyzetek módszere paragrafus jelöléseivel Qe az S2ε reziduális

variancia. Az alább taglalandó vetítéssel Qe a mer®leges komponens hosszánaka négyzete, míg a vetület hosszának négyzete:

Qa = ∥Ba∥2 =

ni∑i=1

nia2i =

k∑i=1

ni(Xi. − X..)2.

Ebben az egyszer¶ esetben minden projekciót pontosan leírunk. AQe kvadratikusalakot deniáló projekció A mátrixa, amellyel

Qe = YTAY,

a következ® szimmetrikus, idempotens mátrix:

A =

A1 0 . . . 0

0 A2 . . . 0

. . . . . . . . . . . .

0 0 . . . Ak

,


ahol az Ai diagonális blokkok:

Ai =

1− 1ni

− 1ni

. . . − 1ni

− 1ni

1− 1ni

. . . − 1ni

. . . . . . . . . . . .

− 1ni

− 1ni

. . . 1− 1ni

(i = 1, . . . , k)

alakúak, és az A projekció az F altér Rn-beli ortogonális kiegészít® alterérevetít. Rangja n− k.

A Qa kvadratikus alakot deniáló

Qa = YTPY

P projekció az 1 ∈ Rn vektornak az F altérbeli ortogonális kiegészít® alterérevetít, rangja k− 1. A Q = Qa +Qe kvadratikus alaknak megfelel® projekció ittmost nem In, hanem

A+P = In − 11T ,

amely az 1 vektor Rn-beli ortogonális kiegészít® alterére vetít.

A gyakorlati alkalmazók terminológiájával élve: a fenti kvadratikus alakoksegítségével a mintaelemek teljes mintaátlagtól vett eltéréseinek négyzetösszega(Q) felbomlik csoportok közötti (between, Qa) ill. csoportokon belüli (within,Qe) részre a következ®képpen:

Q =

k∑i=1

ni∑j=1

(Xij − X..)2 =

k∑i=1

ni∑j=1

[(Xij − Xi.) + (Xi. − X..)]2 =

=k∑i=1

ni∑j=1

(Xij − Xi.)2 +

k∑i=1

ni∑j=1

(Xi. − X..)2 =

=

k∑i=1

ni(Xi. − X..)2 +

k∑i=1

ni∑j=1

(Xij − Xi.)2 = Qa +Qe,

és ezt a felbontást a projekciók ismerete nélkül, viszonylag egyszer¶ számolássalis megkaphattuk volna, miután a [. . . ]2 négyzetreemelésnél kihasználható, hogya kétszeres szorzatok összege 0.

A fenti felbontásokat az alábbi ún.ANOVA (ANalysis Of VAriances) táblázat-


ban foglaljuk össze.

A szóródás oka Négyzetösszeg Szabadsági Empirikus

fok szórásnégyzet

Csoportok között Qa =∑ki=1 ni(Xi. − X..)

2 k − 1 s2a = Qa

k−1

Csoportokon belül Qe =∑ki=1

∑ni

j=1(Xij − Xi.)2 n− k s2e =

Qe

n−k

Teljes Q =∑ki=1

∑ni

j=1(Xij − X..)2 n− 1 -

A fenti modellben el®ször az m = 0 hipotézist teszteljük. Ha ezt elutasítjuk

(az összes várható érték nem 0, azaz van ún. f®hatás), akkor a

H0 : a1 = · · · = ak = 0, tömören a = 0

hipotézist vizsgáljuk. A A legkisebb négyzetek módszere paragrafusban leír-takhoz hasonlóan látható, hogy a likelihood-hányados statisztika aQa/Qe hánya-dos monoton fogyó függvénye (ez a hányados annál nagyobb, minél nagyobba csoportok közötti variancia a csoportokon belülihez képest, ami ellentmondH0-nak).

A Qe-ben szerepl® lineáris kifejezések mindegyikének várható értéke 0, ugya-nis a csoportokon belül a várható értékek egyenl®ek a mintaátlag várható értékével:

E(Xij − Xi.) = E(Xij)− E(Xi.) = ai − ai = 0, (i = 1, . . . , k)

akár igazH0, akár nem. Tehát az I.3.6. Állítás a. része értelmébenQe ∼ σ2χ2(n−k).

A Qa-ben szerepl® lineáris kifejezések várható értéke:

E(Xi. − X..) = E(Xi.)− E(X..) = ai −1

n

k∑j=1

njaj (i = 1, . . . , k) ,

amely csak akkor lehet minden i-re 0, ha H0 fennáll. Ezesetben szintén az I.3.6.Állítás a. része miatt Qa ∼ σ2χ2(k − 1), és az el®bbi állítás b. része alapján Qeés Qa függetlenek (megjegyezzük, hogy csak a null-hipotézis fennállása eseténlesz Qa centrális χ2-eloszlású).

Így bevezetve az

s2a =Qak − 1

ill. s2e =Qen− k

kifejezéseket, ezek azonos (σ2) szórásúak, függetlenek, hányadosuk pedig H0

fenállása esetén F -eloszlást követ k − 1 ill. n− k szabadsági fokkal:

F =s2as2e

=QaQe

· n− k

k − 1∼ F(k − 1, n− k),


és ez az F is szigorúan monoton csökken® függvénye a likelihood hányadosstatisztikának.

Megjegyezzük, hogy a a fenti F statisztika levezethet® a likelihood hányadospróba alkalmazása és a vetítések felírása nélkül is.

7.1.2. Többszempontos varianciaanalízis interakcióval

Itt is két különböz® szempont alapján kialakított k ·p csoportban végzünk meg-gyeléseket, de cellánként több (mondjuk minden cellában n) meggyelést. Azel®z® rész példájával élve: k féle technológiával p féle gépen gyártanak alkatrészeketés mérik azok szakítószilárdságát. Itt azonban feltételezzük, hogy a kétféle szem-pont hatása nem független, (nem mindegy, hogy melyik gépen melyik gyártásitechnológiát alkalmazzuk).

Jelölje Xijl az els® szempont alapján i-edik, a második szempont alapjánpedig j-edik csoportban végzett l-edik meggyelést, példánkban az i-edik tech-nológiával a j-edik gépen gyártott l-edik termék szakítószilárdságát (i = 1, . . . , k; j =1, . . . , p; l = 1, . . . , n).

Tehát összmintánk elemszáma kpn. A mintaelemek függetlenek ésXijl ∼ N (m+ ai + bj + cij , σ

2), azaz lineáris modellünk most a következ®:

Xijl = m+ ai + bj + cij + εijl, (i = 1, . . . , k; j = 1, . . . , p) (7.4)

ahol az εijl ∼ N (0, σ2) független valószín¶ségi változók véletlen hibák. Itt ai-k jelölik az egyik, bj-k a másik tényez® hatásait, cij-k pedig az interakciókat.Feltesszük (m-be való beolvasztással elérhet®), hogy

k∑i=1

ai = 0,

p∑j=1

bj = 0,

k∑i=1

cij = 0 (j = 1, . . . , p) és

p∑j=1

cij = 0 (i = 1, . . . , k).

A B struktúramátrix alakja most:


B =

10 100 10000010 100 10000010 010 01000010 010 01000010 001 00100010 001 00100001 100 00010001 100 00010001 010 00001001 010 00001001 001 00000101 001 000001

(7.5)

(Ebben a példában k = 2, p = 3, és n = 2.)Az (7.4) modell az

Y := (X111, . . . , X11n, X121, . . . , X12n, . . . , Xkp1, . . . , Xkpn)T

ε := (ε111, . . . , ε11n, ε121, . . . , ε12n, . . . , εkp1, . . . , εkpn)T

és azabc = (a1, . . . , ak, b1, . . . , bp, c11, . . . , ckp)

T

jelölések, továbbá a B struktúramátrix segítségével az

Y = B · abc+ 1 ·m+ ε

lineáris modell alakját ölti, ahol 1 ∈ Rkpn az azonosan 1 komponens¶ vektor, l.(7.5).

Jelölje F a B mátrix oszlopvektorai által kifeszített alteret, míg Fa, Fb, ésFc jelölje rendre az eks® k a következ® p oszlop és az utolsó k · p oszlop általkifeszített alteret.

Jelölje F B mátrix oszlopvektorai által kifeszített alteret, míg Fa, Fb, és Fcjelölje rendre az es® k a következ® p oszlop és az utolsó k·p oszlop által kifeszítettalteret.

Vegyük észre, hogy 1 ∈ Fa, 1 ∈ Fb és 1 ∈ Fc. Jelölje Fa1 illetve Fb1 az 1vektor ortogonális kiegészít®jét Fa-ban illetve Fb-ben, továbbá Fcab az Fa és Fbáltal generált altér ortogonális kiegészít®jét Fc-ben, valamint Fe az F ortogonáliskiegészít®jét Rn-ben.

Mivel az 1 vektort Fa Fb és Fc is tartalmazza: dim(Fa1) = k−1, dim(Fb1) =p−1, dim(Fcab) = kp−(k−1)−(p−1)+1 = (k−1)(p−1), és dim(Fe) = kp(n−1).Jelölje az Fa1-ra, Fb1-re, Fcab-re és Fe-re vetít® projekciókat rendre Pa, Pb, Pc

és Pe. A fentiek miatt

In = 11T +Pa +Pb +Pc +Pe .

El®ször a legkisebb négyzetek módszerével megbecsüljük a paramétereket.Ehhez keressük a

k∑i=1

p∑j=1

n∑l=1

ε2ijl =k∑i=1

p∑j=1

n∑l=1

(Xijl −m− ai − bj − cij)2 (7.6)


kifejezés minimumát azm,a1, . . . , ak, b1, . . . , bp paraméterekben az (7.1.2) kénysz-erfeltételek mellett.

Vezessünk be néhány jelölést:

Xi.. =1

pn

p∑j=1

n∑l=1

Xijl (i = 1, . . . , k)

X.j. =1

kn

k∑i=1

n∑l=1

Xijl (j = 1, . . . , p)

Xij. =1

n

n∑l=1

Xijl (i = 1, . . . , k; j = 1, . . . , p)

X... =1

kpn

k∑i=1

p∑j=1

n∑l=1

Xijl.

Ezekkel a paraméterek legkisebb négyzetes becslései:

m = X... ,

ai = Xi.. − X... (i = 1, . . . , k) ,

bj = X.j. − X... (j = 1, . . . , p) ,

cij = Xij. − Xi.. − X.j. + X... (i = 1, . . . , k; j = 1, . . . , p) ,

az (7.6) kifejezés minimuma pedig

Qe =k∑i=1

p∑j=1

n∑l=1

(Xijl − m− ai − bj − cij)2

lesz.

Ha a Pa, Pb, Pc és Pe projekcóknak rendre az Y vektorral képzett Qa, Qb,Qc és Qe kvadratikus formák felelnek meg, akkor igaz a

Q = Qa +Qb +Qc +Qe (7.7)

varianciafelbontás, ahol a mintaelemek teljes mintaátlagtól vett eltéréseinek né-


gyzetösszegét (Q) felbontjuk a következ® ANOVA-táblázat szerint:

A szóródás oka Négyzetösszeg Szabadsági Empirikus

fok szórásnégyzet

a-hatások Qa = pn∑ki=1(Xi.. − X...)

2 k − 1 s2a = Qa

k−1

b-hatások Qb = kn∑pj=1(X.j. − X...)

2 p− 1 s2b =Qb

p−1

ab-interakció Qc = n∑ki=1

∑pj=1(Xij. − Xi.. − X.j. + X...)

2 (k − 1)(p− 1) s2c =Qc

(k−1)(p−1)

Véletlen hiba Qe =∑ki=1

∑pj=1

∑nl=1(Xijl − Xij.)

2 kp(n− 1) s2e =Qe

kp(n−1)

Teljes Q =∑ki=1

∑pj=1

∑nl=1(Xijl − X...)

2 kpn− 1 -

Miután az m = 0 hipotézist elutasítottuk, a fenti modellben háromféle null-

hipotézist akarunk vizsgálni, az egyik és a másik szempont szerint megnézni,hogy a csoporthatások azonosak-e, továbbá, hogy interakciók léteznek-e. Az els®tényez® hatására vonatkozóan tehát vizsgáljuk a

H0a : a1 = a2 = · · · = ak = 0

hipotézist (példánkban azt, hogy a gyártási technológia nincs hatással az alkatrészszakítószilárdságára). Ezzel párhuzamosan a második tényez® hatására vonatkozóanvizsgáljuk a

H0b : b1 = b2 = · · · = bp = 0

hipotézist (példánkban azt, hogy a gyártó gép megválasztása nincs hatássalaz alkatrész szakítószilárdságára). Továbbá az interakciókra vonatkozóan vizs-gáljuk a

H0ab : cij = 0, (i = 1, . . . , k; j = 1, . . . , p)

hipotézist (példánkban azt, hogy a gyártó gép nem hat a gyártási technológiára).A Qe-ben szerepl® lineáris kifejezések mindegyikének várható értéke 0. A

Qa-ban szerepl® lineáris kifejezések várható értéke csak akkor lehet minden i-re 0, ha H0a fennáll. Hasonlóan, a Qb-ben szerepl® lineáris kifejezések várhatóértéke csak akkor lehet minden j-re 0, ha H0b fennáll. A Qc-ben szerepl® lineáriskifejezések várható értéke pedig csak akkor lehet minden (i, j)-re 0, ha H0ab

fennáll.Az (7.7) felbontásban a kvadratikus alakok rangja itt is összeadódik:

kpn− 1 = (k − 1) + (p− 1) + (k − 1)(p− 1) + kp(n− 1).

Így igazak az alábbi állítások:

• e. Qe/σ2 ∼ χ2(kp(n− 1)), akár fennállnak a nullhipotézisek, akár nem.


• a. H0a fennállása esetén Qa/σ2 ∼ χ2(k − 1) és független Qe-t®l.

• b. H0b fennállása esetén Qb/σ2 ∼ χ2(p− 1) és független Qe-t®l.

• c. H0ab fennállása esetén Qc/σ2 ∼ χ2((k − 1)(p− 1)) és független Qe-t®l.

Ezért nullhipotéziseink vizsgálatára a következ® statisztikákat használhatjuk.El®ször a kölcsönhatást, vagyis a H0ab hipotézist vizsgáljuk. Ennek fennálása es-etén

Fab =s2cs2e

∼ F((k − 1)(p− 1), kp(n− 1)),

azaz, ha a fenti Fab statisztika értéke nagyobb vagy egyenl®, mint az F((k−1)(p−1), kp(n− 1))-eloszlás (1−α)-kvantilise, akkor H0ab-t 1−α szinten elutasítjuk,vagyis elfogadjuk, hogy van kölcsönhatás a két szempont között, legalábbis bi-zonyos (i, j) indexpárokra. Ebben az esetben a H0a, H0b hipotéziseket nincsértelme vizsgálni.

AmennyibenH0ab-t elfogadjuk, akkor aH0a ésH0b hipotézisekt®l függetlenülQc ∼ χ2((k − 1)(p − 1)) és független Qe-t®l. Így ezeket összeadhatjuk, és a σ2

szórásnégyzetre most már a (k − 1)(p − 1) + kp(n − 1) = kpn − k − p + 1szabadságfokú

s2e =Qc +Qe

kpn− k − p+ 1

becslést kapjuk.Ezekután a H0a hipotézis vizsgálatára az

Fa =s2as2e

statisztikát használjuk, amely H0a fennállása esetén F(p− 1, kpn− k − p+ 1)-eloszlást követ. Hasonlóan, a H0b hipotézis vizsgálatára az

Fb =s2bs2e

statisztikát használjuk, amely H0b fennállása esetén F(k − 1, kpn− k − p+ 1)-eloszlású. Ha a H0a vagy/és H0b hipotézist elutasítjuk, akkor az el®z® pon-tokéhoz hasonlóan vizsgálhatjuk az a- vagy/és b-hatásokat ill. azok különbségét.

7.2. Feladatok

1. Tekintsük az egyszempontos varianciaanalízis modelljében a paramétereklegkisebb négyzetek módszerével kapott becsléseit.

(a) Mutassuk meg, hogy ezek maximum likelihood becslések!

(b) * Számoljuk ki ezeket a becsléseket Lagrange-multiplikátor módszer-rel!

7.2. FELADATOK 145

Tipp: Lásd 4. feladat (a) pontját.

Válasz: Az Útmutató alapján nyilvánvaló.

2. Tekintsük az egyszempontos varianciaanalízis csoporthatás-vizsgálatát, aholQe =

∑ki=1

∑ni

j=1(Xij −Xi·)2 és Qa =

∑ki=1 ni(Xi· −X ··)

2.

(a) Mutassuk meg, hogy Qe/σ2 ∼ χ2(n− k)!

(b) Igazoljuk, hogy H0 teljesülése mellett Qa/σ2 ∼ χ2(k − 1), de ha H0

nem teljesül, Qa nem χ2 eloszlású!

(c) Adjuk meg H0 mellett Qa és Qe várható értékét és szórásnégyzetét!

Tipp:

(a) A FisherCochran-tételhez f¶zött megjegyzeés a szabadságfokok heurisztikusszámolásárol alapján itt a szabadságfok n−k, mert az n valószín¶ségiváltozót tartalmazo kvadratikus alakban k becsult paraméter van.

(b) Ha H0 fennáll akkor (a) az pontbeli eredmény és FisherCochrantétel közvetlen következménye, míg ha nem teljesül, akkor Qa nem 0várható érték¶ valószín¶ségi változók négyzetének összege.

(c) A képletgy¶jtemény alapján számolunk

Válasz:

(a) Az Útmutató alapjaán nyilvanvaló.

(b) Az Útmutató alapjaán nyilvanvaló.

(c) EQa = (k − 1)/σ2 D2Qa = 2(k − 1)/σ2 EQe = (n − k)/σ2 D2Qa =2(n− k)/σ2

3. Adjunk maximum likelihood becslést σ2-re az egyszempontos varianci-aanalízis modelljében! Torzítatlan lesz-e becslésünk?

Tipp: Az el®z® feladatban szerepl® Qa és Qe független kvadratikus alakokalpajan számoljunk.

Válasz: σ2 = (Qa +Qe)/n, ami torzított becslés.

4. Mutassuk meg, hogy az egyszempontos varianciaanalízis csoporthatás-vizsgálata

(a) likelihood-hányados próba!

(b) a kétmintás t-próba általánosítása több mintára!

Tipp: Valójában F-próba.

Válasz:


5. Tekintsük az (X,Y ) vektorváltozót, ahol X normális eloszlású, Y pedigvéges sok értéket felvev® diszkrét változó. Csoportosítsuk a mintát az Yértékei szerint. Alkalmazhatjuk-e az egyszempontos varianciaanalízist Xés Y függetlenségének tesztelésére?

Tipp: Vizsgáljuk meg milyen hipotézist tesztel a varianciaanalízis!

Válasz: Csak a várható értékek azonos voltát teszteli, nem a független-séget.

6. Tekintsük a kovarianciaanalízis modelljét és ebben egy n elem¶ mintátegy el®re tervezett hatás és egy kísér® változó esetén: Yi = bia+ dic+ εi,ahol a, c paraméterek, bi-k tervezett hatások, di-k kísér® változók, εi ∼N (0, σ2), i = 1, . . . , n független hibák.

(a) Adjunk becslést a paraméterekre a legkisebb négyzetek módszerével!

(b) Konsturáljunk likelihood-hányados próbát a H0 : c = 0 hipotézistesztelésére!

Tipp: Vegyük észre, hogy a feladat független a kovarianciaanalízis mod-elljét®l, egyszer¶ kétváltozós lineáris modellr®l van szó.

(a) An∑i=1

Yibi = an∑i=1

b2i + cn∑i=1

bidi

n∑i=1

Yidi = an∑i=1

bidi + cn∑i=1

d2i

normálegyenletet kell megoldani.

(b) A λ(y1, . . . , yn) próbafüggvény

λ(y1, . . . , yn) =

(∑ni=1(yi − abi − cdi)

2∑ni=1(yi − abi)2

)n/2alakú lesz (l. 6.4 feladat (e) pontját)

Válasz: Az Útmutatók alapján nyilvánvaló.

7. Tekintsünk egy mintát, amely teljesíti az alábbi modellt:

Yi,j = axi,j + ci + εi,j ,

i = 1, . . . , r, j = 1, . . . , ni, ahol c1, . . . , cr és a paraméterek, xi,j-k (deter-minisztikus) kísér® változók, εi,j ∼ N (0, σ2) független hibák.

(a) Adjunk becslést a paraméterekre a legkisebb négyzetek módszerével!

(b) Mutassuk meg, hogy a fenti modell a kovarianciaanalízis egy modellje.

Tipp:

Válasz:

7.3. Tesztek

8. fejezet

Kontingenciatáblák elemzése:diszkriminanciaanalízis,korrespondenciaanalízis,információelmélet


8.1.1. Diszkriminanciaanalízis

Jelen feladatban objektumokat szeretnénk a rajtuk végrehajtott többdimenz-iós meggyelések alapján el®re adott osztályokba besorolni. Például pácienseketklinikai- vagy pszichiátriai teszteredményeik alapján szeretnénk beteg- ill. kon-trollcsoportba, vagy többféle betegcsoportba besorolni; vagy egy új egyedet mértértékei alapján valamely ismert fajba akarunk besorolni.

A módszert úgy kell elképzelni, hogy els® lépésben egy ún. tanuló-algoritmusthajtunk végre. Az objektumoknak kezdetben létezik egy osztálybasorolása. Eztúgy adjuk meg, hogy a meggyelt többdimenziós, folytonos eloszlású valószín¶ségiváltozó komponensein kívül bevezetünk egy, az osztálybatartozásra jellemz® dis-zkrét valószín¶ségi változót, mely annyiféle értéket vesz fel, ahány osztály van;ez utóbbit egy szakért® a mérésekt®l függetlenül állapítja meg. Az egyes osztá-lyok adatai alapján diszkrimináló algoritmust készítünk, és megnézzük, hogyaz algoritmus szerint melyik osztályba kerülnének eredeti objektumaink. Amen-nyiben a téves osztálybasorolások száma nem túl nagy, úgy tekintjük, hogy azalgoritmus által adott diszkrimináló függvény a továbbiakban is használható azadott csoportok elkülönítésére.

A tényleges osztályozás gyelembevételével bevezetjük a következ®ket. Jelöljek az osztályok számát, továbbá

a. jelölje az egyes osztályokhoz tartozó p-dimenziós mintaelemek s¶r¶ség-

147

148FEJEZET 8. KONTINGENCIATÁBLÁK ELEMZÉSE: DISZKRIMINANCIAANALÍZIS, KORRESPONDENCIAANALÍZIS, INFORMÁCIÓELMÉLET

függvényét f1(x), . . . , fk(x) (abszolút folytonos eloszlásokat feltételezünk);

b. jelölje π1, . . . , πk az egyes osztályok a priori valószín¶ségeit;

Az a.-beli s¶r¶ségeket osztályonként becsüljük a mintatákból, a b.-beli a pri-ori valószín¶ségek pedig lehetnek az egyes osztályok relatív gyakoriságai. Így vis-szük bele tudásunkat az alábbi algoritmusba. Ha már adva lenne a p-dimenziósmintatér egy X = X1 ∪ · · · ∪ Xk partíciója, akkor a x ∈ X mintaelemet akkorsoroljuk a j-edik osztályba, ha x ∈ Xj . A cél az, hogy a legkisebb veszteséggeljáró partíciót megkeressük. Ehhez jelölje rij ≥ 0 (i, j = 1, . . . k) azt a veszteséget,ami akkor keletkezik, ha egy i-edik osztálybelit a j-edik osztályba sorolunk (aveszteségek nem feltétlenül szimmetrikusak, de feltesszük, hogy rii = 0), éslegyen Li az i-edik osztálybeliek besorolásának átlagos vesztesége (rizikója):

Li =

∫X1

ri1fi(x) dx+ · · ·+∫Xk

rikfi(x) dx, (i = 1, . . . , k),

ahol összegeztük a veszteségeket azokra az esetekre, mikor az i-edik osztálybelitaz 1., . . . , k. osztályba soroltuk.

Most nem az egyes Li veszteségeket, hanem az

L =k∑i=1

πiLi

átlagos Bayes-féle veszteséget (rizikót) minimalizáljuk.

L =

k∑i=1

πi

k∑j=1

∫Xj

rijfi(x) dx =

k∑j=1

∫Xj

k∑i=1

πirijfi(x) dx = −k∑j=1

∫Xj

Sj(x) dx,

ahol azSj(x) = −[π1r1jf1(x) + · · ·+ πkrkjfk(x)]

függvényt j-edik diszkrimináló informánsnak nevezzük, és argumentumában azx mintaelem szerepel (j = 1, . . . , k). A negatív el®jel miatt Sj-k növekedése azátlagos veszteség csökkenését eredményezi, azaz a

k∑j=1

∫Xj

Sj(x) dx

kifejezést szeretnénk maximalizálni a mintatér összes lehetséges mérhet® partí-cióján.

Célszer¶nek t¶nik tehát egy x mért értékekkel rendelkez® objektumot abbaaz osztályba sorolni, melyre diszkrimináló informánsa a legnagyobb értéket veszifel. Ennek az eljárásnak a jogosságát a következ® tétel biztosítja.

115. Tétel. Legyen az X mintatér X ∗1 ∪· · ·∪X ∗

k partíciója olyan, hogy x ∈ X ∗j -

ból Sj(x) ≥ Si(x) következik az összes i = j indexekre (j = 1, . . . , k). Akkor azX ∗

1 , . . . ,X ∗k osztályozással az L átlagos veszteség minimális lesz.


A tétel állítása az alábbi lemma közvetlen következménye.

116. Lemma. Legyenek g1, . . . , gk Rp-n értelmezett valós függvények. LegyenRp = X1 ∪ · · · ∪ Xk a p-dimenziós euklideszi tér egy partíciója. Tegyük fel, hogyaz Rp = X ∗

1 ∪ · · · ∪ X ∗n partícióra teljesülnek a

gi(x) ≥ gj(x), ha x ∈ X ∗i ∀j = i; i = 1, . . . , k

egyenl®tlenségek. Ekkor

k∑i=1

∫X∗

i

gi(x) ≥k∑i=1

∫Xi

gi(x). (8.1)

A Lemma bizonyítását egy ábra szemlélteti.Jelölje IA(x) az A ⊂ Rp halmaz indikátorfüggvényét! A (8.1)-beli egyen-

l®tlenségek miatt

k∑i=1

IX∗i(x)gi(x) = max

i∈1,...,kgi(x) ≥

k∑i=1

IXi(x)gi(x). (8.2)

A (8.1) egyenl®tlenség (8.2) integrálásával adódik.Megjegyezzük, hogy az alkalmazásokban az optimális partíciót a (2.4) egyen-

l®tlenségek segítségével deniáljuk. A partíció nem egyértelm¶, ha van olyani = j indexpár, hogy gi(x) = gj(x) egy nem-0 mérték¶ halmazon. Ilyenkor ezta halmazt tetsz®legesen oszthatjuk fel X ∗

i és X ∗j között.

A gi(x) = Si(x) helyettesítéssel adódik a tétel állítása.Most néhány egyszer¶sít® feltevést vezetünk be. Ha az rij veszteségekre ninc-

senek adataink, és az összes téves besorolást egyformán akarjuk büntetni, akkorjobb híján az rij = 1 (i = j) és rii = 0 választással élünk. Ezzel

Sj(x) = −k∑i=1

πirijfi(x) = −∑i =j

πifi(x) = −k∑i=1

πifi(x)+πjfj(x) = πjfj(x)+c,

ahol a c konstans nem függ j-t®l. Valójában tehát az x mért értékekkel ren-delkez® objektumot az l. osztályba soroljuk, ha

πlfl(x) = maxj∈1,...,k

πjfj(x).

Tegyük fel, hogy az egyes osztályoknak különböz® paraméter¶, p-dimenziósnormális eloszlások felelnek meg. Azaz, ha X ∈ Np(mj ,Cj), akkor

fj(x) =1

(2π)p/2|Cj |1/2e−

12 (x−mj)

TC−1j (x−mj).

Tekintsük az osztálybasorolás alapját képez® πjfj(x) mennyiségek természetesalapú logaritmusát, a logaritmus monoton transzformáció lévén ez ugyanarra a


8.1. ábra. A mintatér felosztása diszkrimináló informánsokkal

j-re lesz maximális, mint az eredeti kifejezés, s®t az összes j-re közös ln 1(2π)p/2

-t®l is eltekinthetünk. Az így kapott módosított j-edik diszkrimináló informánstS′j-vel jelöljük, és alakja miatt kvadratikus diszkriminancia szkórnak is szokás

nevezni:

S′j(x) = −1

2ln |Cj | −

1

2(x−mj)

TC−1j (x−mj) + lnπj .

Ha a kovarianciamátrixok azonosak: C1 = · · · = Ck = C, akkor S′j(x)-b®l a j-


t®l független − 12 ln |C| és a kvadratikus alak kifejtésében fellép®, j-t®l ugyancsak

független −12x

TC−1x rész elhagyható, a maradék pedig x lineáris függvényekéntírható. Ezt nevezzük lineáris informánsnak:

S′′j (x) = mT

j C−1x− 1

2mTj C

−1mj + lnπj . (8.3)

Eljárásunk tehát a következ®: minden osztályra kiszámoljuk az S′′j (x) értékét

(j = 1, . . . k), és objektumunkat abba az osztályba soroljuk, amelyikre az S′′j (x)

lineáris informáns értéke a legnagyobb. A 115 Tétel garantálja, hogy ekkor át-lagos veszteségünk minimális lesz.

Amennyiben csak két osztályunk van, objektumunkat az xmeggyelés alapjánaz els® osztályba soroljuk, ha S′′

1 (x) ≥ S′′2 (x), különben a másodikba. Azaz az

S′′1 (x)− S′′

2 (x) különbség el®jele fogja eldönteni az osztálybatartozást. De

S′′1 (x)− S′′

2 (x) = L(x)− c,

ahol (8.3) alapján

L(x) = (mT1 −mT

2 )C−1x és

c =1

2(mT

1 C−1m1 −mT

2 C−1m2)− lnπ1 + lnπ2.

A fenti L(x)-et Fisher-féle diszkriminancia függvénynek is szokták nevezni,és ennek alapján döntjük el az osztálybatartozást: ha L(x) ≥ c, akkor objek-tumunkat az els®, ha pedig L(x) < c, akkor a második osztályba soroljuk. AzL(x) lineáris kifejezésben az egyes xi változók együtthatói egyfajta súlyokkéntis szolgálnak, azok a változók fejtik ki a leger®sebb hatást a két csoport dis-zkriminálásában, amely a legnagyobb súllyal szerepelnek.

Ha az átlagos veszteséget akarjuk minimalizálni, normális eloszlású mintákesetén a fenti eljárás keresztülvihet® az egyes osztályokban számolt empirikuskovarianciamátrixokkal és az osztályok relatív gyakoriságaival becsült apriorivalószín¶ségek segítségével. Létezhetnek azonban ún. látens osztályok (pl. egyújfajta betegség, újfajta faj), ami ronthat a módszer alkalmazhatóságán. Szük-ség van ezért különféle hipotézisvizsgálatokra. Pl. két osztály esetén, az els®osztályba való besorolhatóság a

T1 =[(m2 −m1)

TC−1(X−m1)]2

(m2 −m1)TC−1(m2 −m1)∼ χ2(1) (8.4)

statisztikával, míg a második osztályba való besorolhatóság a

T2 =[(m2 −m1)

TC−1(X−m2)]2

(m2 −m1)TC−1(m2 −m1)∼ χ2(1) (8.5)

statisztikával tesztelhet®, ugyanis ha X ∼ Np(mj ,C) , akkor C−1(X −mj) ∼Np(0,C

−1), (m2 −m1)TC−1(X−mj) ∼ Np(0, (m2 −m1)

TC−1(m2 −m1)),s utóbbinak standardizáltja lesz a (8.4)- ill. (8.5)-beli Tj statisztika (j = 1, 2).


0

0.05

0.1

0.15

0.2

0.25

8.2. ábra. Elméleti és empirikus diszkriminanciafüggvény 2 dimenzióban

Ha mind T1, mind T2 szignikánsan nagyobb az 1-paraméter¶ χ2-eloszlásadott (pl. 95%-os) kvantilisénél, akkor egy látens harmadik osztály jelenlétéregyanakodhatunk.

Számítsuk most ki két p-dimenziós normális eloszlású, azonos C kovarianci-amátrixú minta esetén a helytelen osztálybasorolások valószín¶ségeit! Az egysz-er¶ség kedvéért legyen most két egyforma népesség¶ mintánk, azaz az apriorivalószín¶ségekre a π1 = π2 = 1/2 feltételezéssel élünk. A számolást nem rés-zletezzük, ebben az esetben a veégeredmény meglep®en egyszer¶:


Legyenσ2 = (m1 −m2)

TC−1(m1 −m2). (8.6)

Ekkor mindkét típusú hibás osztálybasorolás valószín¶sége:

P = 1− Φ

(1

2σ

).

Ez nem meglep®, hiszen a (8.6) szerint σ annál nagyobb, minél távolabb van-nak egymástól a két csoport standardizált" várható értékei. A diszkriminálóinformánsokban szerepl® paramétereket a mintából becsüljük, minél több aparaméter, annál pontatlanabb az egyes paraméterek becslése; azt is mond-hatjuk, hogy a paraméterek a konkrét mintához vannak adaptálva. Ezért, haaz eljárás rizikóját a nem megfelel® osztályba sorolt egyedek száma alapján azalább ismertetend® módon becsüljük, a valódi veszteségfüggvénynél kisebb torzí-tott becslést kapunk. E torzítás kivédésére alkalmazzák az ún. cross-validation(kereszt-kiértékelés) módszert: a paramétereket a minta egy része (60% a szoká-sos hányad) alapján becsüljük, míg az osztályozás min®ségét a paraméterbec-slésben fel nem használt mintaelemekkel teszteljük (40%). A torzítás csökken-tésére Tukey [] javasolt egy szellemes általa jackknife-nak (bicskának) nevezett,nagy számolásigény¶ módszert. Ezt a módszert az algoritmikus modellek fe-jezetben ismertetjuk

8.1.2. Korrespondanciaanalízis

Ebben és a következ® paragrafusban minden eloszlás diszkrét és véges, ezt atovábbiakban külön nem említjük.

A korrespondanciaanalízis kategórikus változók közti kapcsolatok elemzéséreszolgál a változó-kategóriák metrikus megjelenítése alapján. Kategórikus, másnéven kvalitatív változó alatt olyan diszkrét eloszlású valószín¶ségi változótértünk, amely véges sok értéket vesz fel, és az értékek általában nem nagyságren-det tükröznek, hanem csak a változó lehetséges értékeit kódolják (pl. a hajszínváltozó sz®ke, barna, fekete, vörös értékei az 1,2,3,4 számokkal kódolhatók).

A Tananyagban csak két kategórikus változót vizsgálunk, az adatok kontin-genciatábla (gyakoriság- vagy rekatív gyakoriságtábla) formájában vannak megadva.A probléma a következ®: az X és Y diszkrét valószín¶ségi változók n ill. mkülönböz® kategóriát tartalmaznak, az egyszer¶ség kedvéért jelölje értékkés-zletüket az 1, 2, . . . , n ill. az 1, 2, . . . ,m halmaz. X és Y nem függetlenek,értékeiket nem specikáljuk, célunk éppen az értékek alkalmas megválasztásalesz. Egy közös meggyelésükre vonatkozó minta alapján adva van egy n ×m-es kontingenciatábla az fij ún. cellagyakoriságokkal (fij az X változó i-edikés az Y változó j-edik kategóriájába es® meggyelések számát jelenti). LegyenN =

∑ni=1

∑mj=1 fij a meggyelések száma, ezzel callánként leosztva az

rij =fijN

(i = 1, . . . , n; j = 1, . . . ,m)

relatív gyakoriságokhoz jutunk. Ezeket tekinthetjük a két diszkrét eloszlásúvalószín¶ségi változó (az egyik n, a másik m különböz® értéket vesz fel) együttes


eloszlásának, és R-rel jelöljük. Ugyancsak R jelöli az rij számok alkotta n×m-esmátrixot. Jelölje

pi = ri. (i = 1, . . . , n) ill. qj = r.j (j = 1, . . . ,m)

a peremeloszlásokat (azaz az egyes kategóriák valószín¶ségeit), ezeket röviden P -nek ill. Q-nak fogjuk nevezni, az elemeiket f®diagonálisként tartalmazó n×n-esill. m×m-es diagonális mátrixokat pedig P ill. Q jelöli.

Célunk a kontingenciatáblának valamilyen alacsonyabb rangú táblával valóközelíése. Ehhez a kanonikus korrelációanalízisnél leírtakhoz hasonlóan keresünkolyan, értékeiket a P - ill. Q-eloszlás valószín¶ségei szerint felvev®, egységszórású,páronként korrelálatlan valószín¶ségi változókat, ún. faktorokat úgy, hogy a meg-egyez® index¶ faktorok korrelációja maximális legyen. Ilyen módon a kontingen-ciatábla el®áll a faktor valószín¶ségi változók értékei (szkórok) diádszorzatainaksúlyozott összegeként. A legnagyobb súlyok közül bizonyos számút megtartva akontingenciatábla egy alacsonyabb rangú közelítését kapjuk.

Mi csak a 2 rangú közelítéssal foglalkozunk, ami visszavezethet® a Rényi-félemaximálkorreláció feladatára: adott két kategórikus változó együttes eloszlása(együttes relatív gyakorisága, azaz egy n×m gyakoriságtábal). Keressük azokataz α és β valós számérték¶ véletlen vektorokat, amelyek marginális eloszlásaimegegyeznek az adott kontingencia táblából számolt marginális eloszlásokkal,és az együttes eloszlás alapján számított korrelációjuk maximális. A margináliseloszlás általános és egzakt denicióját l. a következ® paragrafusban (117).

Látni fogjuk, hogy ezen véletlen vektorok együttes eloszlása az eredeti kontin-genciatábla 2 rangú közelítése. Ha az itt tárgyalt módszerrel magasabb rangúközelítéseket is számulunk, akkor ezek "együttes eloszlásában" NEGETÍV valószín¶ségekis el®fordulhatnak.

A feladat pontos leírásához jelölje αl ill. βl a sor- ill. oszlop-faktorokat (l =1, 2 . . . ,minn,m). A faktorok szórására és korrelálatlanságára tett feltevésekazt jelentik, hogy

EPαlαl′ =n∑i=1

αl(i)αl′(i)pi = δll′ (l, l′ = 2 . . . ,minn,m) ,

EQβlβl′ =m∑j=1

βl(j)βl′(j)qj = δll′ (l, l′ = 2 . . . ,minn,m) ,

ahol δll′ a Kronecker-delta, αl(i) ill. βl(j) pedig az αl ill. βl valószín¶ségi vál-tozók pi ill. qj valószín¶séggel felvett értékei. A cél az αl, βl párok egymásutánimeghatározása oly módon, hogy az el®z®ekkel való korrelálatlansági feltételekmellett

ERαlβl =n∑i=1

m∑j=1

αl(i)βl(j)rij (l = 1 . . . ,minn,m) (8.7)

maximális legyen. A korrespondanciafaktorok l > 1 esetén egységszórásúak,kés®bb pedig látni fogjuk, hogy várható értékük 0, ezért (8.7) egyben az azonos


index¶ faktorpárok közti korrelációt is jelenti. Az l = 1 esetben adódó faktorpártagjaitól nem követeljük meg, hogy 0 várható érték¶ek és 1 szórásúak legyenek,de (8.7) ezesetben is maximális.

A megoldáshoz egy α, β változópárt a következ® transzformációnak vetünkalá:

x(i) :=√piα(i), (i = 1, . . . , n) ,

y(j) :=√qjβ(j), (j = 1, . . . ,m) .

Jelölje x = (x(1), . . . , x(n))T ill. y = (y(1), . . . , y(m))T a fenti komponensekb®lálló vektort. Amennyiben α ill. β jelöli az α ill. β valószín¶ségi változók felvettértékeib®l álló n- ill. m-dimenziós vektort,

α = P−1/2x ill. β = Q−1/2y.

α = P−1/2x ill. β = Q−1/2y.

Az α, β valószín¶ségi változókra tett (1.1) feltételek miatt ∥x∥=1 és ∥y∥=1.A maximalizálandó (8.7) kifejezés pedig:

ERαβ =n∑i=1

m∑j=1

α(i)β(j)rij =n∑i=1

m∑j=1

x(i)y(j)rij√pi√qj

= xTBy

alakban írható, ahol az n×m-es B mátrix a következ®:

B = P−1/2RQ−1/2.

Keresend®max

EPα2=1,EQβ2=1ERαβ = max

∥x∥=1, ∥y∥=1xTBy.

Az 158. Tétel alapján az utóbbi kifejezés maximuma a B mátrix legnagyobbszinguláris értéke, és felvétetik az ehhez tartozó saját bázispáron, jelölje ezeketu1 ill. v1. Így

α1 = P−1/2u1 ill. β1= Q−1/2v1

lesz az els® összetartozó faktorpár. Könny¶ látni, hogy α1 ≡ 1, β1 ≡ 1 és s1 = 1,ui. a CauchySchwarz egyenl®tlenség miatt ERαβ ≤ 1, ugyanakkor az azonosan1 értéket felvev® α, β párokkal ERαβ =

∑ni=1

∑mj=1 rij = 1 teljesül. Az α1, β1

faktorokat triviális faktoroknak is szokták nevezni, várható értékük 1, szórásuk0, kovarianciájuk is 0. A többi faktor korrelálatlansága velük éppen azt jelenti,hogy azok várható értéke 0. Tekintsünk egy ilyen α, β párt. Ezekre tehát

EPα = 0, D2Pα = EPα2 = 1, EQβ = 0, D2

Qβ = EQβ2 = 1.

Tekintsük most velük a következ® szekvenciális feltételes széls®értékkeresési fe-ladatot. El®ször keresend®

Ismét a 158. Tételre hivatkozva adódik, hogy a maximum a B mátrix má-sodik legnagyobb szinguláris értéke, s2, és az u2, v2 saját bázispáron vétetik fel.Ezek transzformáltjai lesznek az

α2 = P−1/2u2 ill. β2= Q−1/2v2


ún. korrespondancia-faktorok. Az s2 szám éppen a Rényi-féle maximál korrelá-ció.

8.1.3. Információelméleti módszerek

Mivel itt is diszkrét eloszlásokkal foglalkozunk, az (Ω,A,P) valószín¶ségi mez®deníciójában szerepl® Ω halmaz mindig véges. Az Ω-án deniálható összes elos-zlások családját D(Ω)-val jelöljük.

A vizsgált eloszlások tipikus példája, a d-szempontos osztályozás, amikora valószín¶ségek a d-dimenziós tömbbe vannak rendezve. Az i-edik szempontkategóriáinak számát jelölje ri, ekkor az Ω elemei

ω = (j1, . . . , jd), 1 ≤ j1 ≤ r1, 1 ≤ j2 ≤ r2, . . . , 1 ≤ jd ≤ rd

alakúak; ezeket szokták celláknak nevezni. Az X(ω) = X(j1, . . . jd) cellagyako-riságokból állló mitát d-dimenziós kontingenciatáblának, pontosabban r1×r2,× · · ·×rd méret¶ táblának nevezzük.

117. Deníció. (Marginális eloszlás.) Megjegyezzük, hogy az elnevezés a latinmargo (genitivus: marginis) szóból származik. Tetsz®leges γ ∈ 1, . . . , d az Xkontingenciatábla, illetve egy p ∈ D(Ω) eloszlás γ-marginálisán azt a

∏i∈γ ri-

dimenziós Xγ vektort, illetve pγ vektort értjük, amelynek Xγ(i1, . . . , i|γ|), il-letve pγ(i1, . . . , i|γ|) komponensei mindazon X(ω), illetve p(ω) elemek összegévelegyenl®k, melyekre ω = (j1, . . . , jd)-nek γ-beli index¶ koordinátái rendre i1, . . . , i|γ|.Ha |γ| = k, akkor k-dimenziós marginálisról beszélünk.

A fenti formális deníció nehezen érthet®, de az alábbi, a d = 2, r1 = 3r2 = 3 esetet illusztráló táblazatokból kit¶nik, hogy valójában csak egy jólismertfogalom általánosításának kissé nehézkes, de elkerülhetetlen formalizálásáról vanszó.

A könnyebb olvashatóság kedvéért a valószín¶ségeket százalékban adjuk meg.A 8.1 Táblázat egy háromdimenziós eloszlás táblázata, a szemléletesség kedvéértgondoljuk az i és j koordináták által meghatározott 3×3 (i-vel és j-vel indexelttáblázatokat 3 vízszintes rétegnek, míg a k index az egyes rétegek magasságatjelzi).

k1 k1 k1 k2 k2 k2 k3 k3 k3

j1 2 5 2 1 3 4 6 15 6j2 1 3 4 2 5 2 3 9 12j3 1 1 1 1 1 1 3 3 3

i1 i2 i3 i1 i2 i3 i1 i2 i3

8.1. táblázat. Háromdimenziós eloszlás

A 8.2 Táblázat az eredeti háromdimenziós eloszlás (i, k) kétdimenziós marginálisátillusztrálja: a j indexre össszegzünk 9 rögzített (i, k) párra.


i1 i2 i3

k1 4 9 7k2 4 9 7k3 12 27 21

8.2. táblázat. Marginálisok

Végül a fenti kétdimenziós marginális eloszlás elemeit a k index szerintösszegezzük (ami ekvivalens azzal, hogy az eredeti eloszlás elemeit a j és ak indexekre összegezzük minden rögzített i értékre).

i1 i2 i3

20 45 35

8.3. táblázat. Összegzett marginálisok

Ennek a paragrafusnak az a célja, hogy a többdimenzós gyakorisagtáblázatokmögötti eloszlást minél kevesebb paraméterrel írja le információelméleti módsz-erek segítségével. A becslési feladatoknak két típusát különböztetik meg .Küls® feltételekkel meghatározott feladatok. Ebben az esetben feltételez-zük, hogy az X minta p valódi eloszlása egy F eloszláscsaládhoz tartozik. Ap ∈ F eloszlás meghatározásának általánosan elfogadott módja, hogy megker-essük azt a p∗ ∈ F eloszlást amely az alább ismertetett eltérések valamelyikénekértelmében legközelebb van a pX empirikus eloszláshoz. Ugyanez a módszer a121 Lemma alapján alkalmazható annak a hipotézisnek a vizsgálatára, hogy azX minta származhat-e egy F-beli eloszlásból.Bels® feltételekkel meghatározott (modellalkotási) feladatok. Itt az Xmintában foglalt információt kevesebb adattal, általában bizonyos S1, . . . , Srstatisztikák mintabeli átlagaival kívánjuk reprezentálni. Ha ismereteink mintavé-tel el®tti állapotát q ∈ D(Ω) eloszlás jellemzi (ennek legtöbbször az Ω-ánértelmezett egyenletes eloszlást vesszük), akkor az

F =

p :∑ω∈Ω

p(ω)Si(ω) =∑ω∈Ω

pX(ω)Si(ω), i = 1, . . . , r

(8.8)

eloszláshalmazhoz legközelebbi p∗ eloszlást tekintjük a modellalkotási feladatmegoldásának.

Eloszlások eltérése

Az eloszlások egymástól való eltérésére számos, az információelméletben használatosmér®szám ismeretes, ezek általánosítását az ún. f -eltérést Csiszár Imre vezettebe (l. [9]) 1967-ben.


Miel®tt rátérnénk az információs geometria tárgyalására itt közöljük az ehhezkapcsolódó feladatokban szükséges Jensen-egyenl®tlenséget.

118. Tétel (Jensen-egyenl®tlenség.). Legyen f(x) (x ∈ R) valós érték¶ kon-vex függvény, X pedig egy valószín¶ségi változó. Tegyük fel, hogy E(X) és E(f(X))léteznek. Ekkor

E (f(X)) ≥ f (E(X)) . (8.9)

Legyen f(u) a pozitív félegyenesen értélmezett konvex függvény, amelyref(1) = 0, és legyen megállapodás szerint

f(0) = limu→0

f(u), 0f(a

0) = a · lim

u→∞

f(u)

u.

119. Deníció (f-eltérés). Tetsz®leges p ∈ D(Ω) és q ∈ D(Ω) eloszlások f-eltérésén a

Df (p∥q) =∑ω∈Ω

q(ω)f

(p(ω)

q(ω)

)(8.10)

mennyiséget értjük.

A tananyagban f(u)-t háromféleképpen választjuk meg:

• (i) f(u) = |u− 1|

• (ii) f(u) = (u− 1)2

• (iii) f(u) = u log u

Az (i), (ii) és (iii) függvényeknek rendre a∑ω |p(ω)−q(ω)| variációs távolság,

a∑ω

1q(ω) (p(ω)− q(ω))2 Pearson-féle χ2-eltérés, illetve a

Df (p∥q) =∑ω∈Ω

p(ω) logp(ω)

q(ω)(8.11)

KullbackLeibler-féle diszkrimináló információ (ezt a rövidség kedvéért a továb-biakban egyszer¶en divergenciának nevezzük) felel meg.

120. Lemma. Df (p∥q) ≥ 0, ha f(u) az u = 1 pontban szigorúan konvex, akkoraz egyenl®ség csak p = q esetén teljesül.

Bizonyítás Lásd ???? Feladat.A fenti Lemma állításából nem következik, hogy az f-eltérés távolság, mert

általában sem a szimmetria, sem a háromszög egyenl®tlenség nem teljesül. Afelsorolt 3 eltérés közül csak az (i) variációs távolság valódi távolság.

Jelölje T (p) a p eloszlás tartóját:

T (p) := ω : p(ω) > 0.

Nyilvánvaló, hogy D(p∥q) akkor és csak akkor véges, ha T (p) ⊆ T (q).A következ® Lemma lehet®séget teremt az f-eltérések statisztikai próbákban

történ® felhasználására.


121. Lemma. (Az f-eltérés és a χ2-eloszlás kapcsolata) Ha az eltérést deniálóf(u) függvény az u = 1 pontban szigorúan konvex, az u = 1 pont egy környezetébenkétszer folytonosan dierenciálható, és f ′′(1) > 0, akkor az egymáshoz közeli pés q eloszlások f-eltérése a χ2-eltérésük egy konstansszorosával közelíthet®, pon-tosabban bármely ε > 0-hoz van olyan δ > 0, hogy(

f ′′(1)

2− ε

)∑ω∈Ω

(p(ω)− q(ω))2

q(ω)≤ D(p∥q) ≤

≤(f ′′(1)

2+ ε

)∑ω∈Ω

(p(ω)− q(ω))2

q(ω),

(8.12)

ha |p(ω)− q(ω)| ≤ δq(ω) minden ω ∈ Ω-ra.

A Lemma feltétele teljesül a divergenciára.A kontingenciatáblázatok elemzésekor alapfeladat az, hogy egy megkeressük

egy F ⊆ D(Ω) eloszláscsaládnak adott p eloszlástól legkevésbé eltér® elemét.Ezt kétféleképpen tehetjük meg.

122. Deníció (Vetületek). I-vetület Egy q ∈ D(Ω) eloszlásnak F ∈ D(Ω)eloszláshalmazra vonatkozó I-vetülete az a p∗ ∈ F eloszlás, amelyre

D(p∗∥q) = minp∈F

D(p∥q) <∞. (8.13)

L-vetület Egy p ∈ D(Ω) eloszlásnak F ∈ D(Ω) eloszláshalmazra vonatkozóL-vetülete az a q∗ ∈ F eloszlás, amelyre

D(p∥q∗) = minq∈F

D(p∥q) <∞. (8.14)

Az ??? feladatban fogalmaztuk meg a következ® lemma egyik allítását.Miel®tt a lemmát kimondanánk vezessük be a pA(ω) := p(ω)

P (A) ha ω ∈ A,

pA(ω) := 0, ha ω ∈ A jelölést, és analóg módon a qA(ω) jelölést is.

123. Lemma. Legyenek, A1, . . . , Ar az Ω valószín¶ségi tér páronként diszjunktrészhamazai melyekre ∪ri=1Ai = Ω(teljes eseményrendszer). Ekkor tetsz®leges pés q eloszlásokra:

Df (p∥q) ≥r∑i=1

q(Ai)f

(p(Ai)

q(Ai)

). (8.15)

Egyenl®ség akkor érvényes ha pAi = qAi minden olyan i-re, amelyre p(Ai)q(Ai) >0. Ha f szigorúan konvex, akkor az egyenl®ségnek ez elégséges feltétele.

A fenti Lemma lehet®vé teszi, hogy egy q eloszlásnak meghatározzuk az I-vetületét egy speciális eloszláshalmazra; nevezetesen azon eloszlások halmazára,amelyek szerint egy A1, . . . , Ar teljes eseményrendszer elemeinek valószín¶ségeiadottak:

Fp : p(Ai) = πi. (8.16)


124. Tétel. (Jerey-szabály.) Ha q(Ai) > 0 minden i-re, amelyre πi = 0

minp∈F

D(p∥q) = D(p∗∥q) =r∑i=1

q(Ai)f

(πi

q(Ai)

),

aholp∗(ω) =

πiq(Ai)

q(ω)

minden ω ∈ Ω-ra.

Vegyük észre, hogy ebben az esetben az I-vetület nem függ az eltérést meghatározófüggvényt®l; ez általában nincs így.

A Jerey-szabállyal egy speciális küls® feltételekkel megadott feladatot oldunkmeg, ugyanis ha q = pX, akkor p∗ az (8.16) F eloszláscsalád pX-hez legközelebbieleme lesz a becslés eredménye. Ugyanakkor a Jerey szabállyal kapott p∗ becs-lés teljesíti a bels® feltételekkel megadott feladat (8.8) egyenl®ségét is.

Minimális diszkrimináló információ módszernek (MDI) nevezzük azt az eljárást,amikor a becslés az F eloszláscsaládnak a q eloszláshoz KullbackLeibler értelem-ben legközelebbi p eleme

Most megmutatjuk, hogy a polinomiális eloszlás maximum-likelihood becsléseaz empirikus eloszlás divergencia szerinti L-vetülete a polinomiális eloszlásokhalmazára. Minden ω ∈ Ω-ra az ω kategóriába es® elemek száma legyen X(ω),az X(ω) komponenseib®l alkotott vektor az X minta, a mintaelemszám N :=∑ω∈Ω X(ω), pX = 1

NXEzekkel a jelölésekkel az X minta log-likelihood függvénye:

L(pX) = log

[N !∏

ω∈Ω X(ω)!

∏ω∈Ω

p(ω)X(ω)

]= a(X) +

∑ω∈Ω

X(ω) log p(ω) =

= b(X)−N logpX(ω)

p(ω)= b(X)−ND(pX∥p),

(8.17)Ahol a(X) és b(X) csak a mintától (a becsülend® p paramétervektortól nem)

függ® így a maximumot nem befolyásoló függvényeket jelölnek.A fenti egyenl®ségb®l adódik

ND(pX∥p) = L(pX)− b(X),

tehát L(pX) ugyanarra a p vektorra veszi fel a maximumát, amelyre ND(pX∥p)a minimumát.

Ez a becslési módszer a küls® feltételekkel megadott feladat megoldását adjaabban a speciális esetben, amikor az F eloszláshalmaz az Ω véges halmazonértelmezett összes lehetséges eloszlást tartalmazza.

Ha q az Ω-án egyenletes eloszlás, akkor a divergencia deníciójából következik

D(p∥q) =∑ω∈Ω

p(ω) log p(ω) + log |Ω|,


tehát az I-vetület most éppen az a p ∈ F eloszlás, amelynek a

H(p) = −∑ω∈Ω

p(ω) log p(ω)

Shannon-entrópiája maximális.Ezért a rendkívül népszer¶ maximális-entrópia becslési módszer speciális

esetként tartalmazza az MDI-módszert.Az f-eltérés nem távolság, ennek ellenére bizonyos geometriai állítások az

f-eltérésre is igazak. Az információelmélet geometriai megközelítése az elemimatematikai példatáráról jól ismert N. N. Csencov [8] orosz matematikustólszármazik.

Most megmutatjuk, hogy speciális duális eloszláscsaládok esetén az f-eltérésreteljesül a Pitagorasz-tétel.

Legyenek S1, . . . , Sr az Ω halmazon értelmezett tetsz®leges valós függvények,és legyen S0 az azonosan 1 függvény. Jelölje S azt az (r+1)×|Ω| típusú mátrixot,amelynek i-edik sora Si(ω), i = 0, . . . , r

Az S mátrix segítségével két eloszláscsaládot deniálunk.

125. Deníció. (Lineáris és exponenciális eloszláscsalád.) Legyenek p0 ∈ D(Ω)és q0 ∈ D(Ω) tetsz®leges eloszlások. Az

L = L(S, p0) := p : Sp = Sp0 (8.18)

eloszláscsaládot az S mátrixhoz és p0 eloszláshoz tartozó lineáris eloszlásc-saládnak nevezzük. Az

E = E(S, q0) := q : q = q0 exp(S⊤τ), (8.19)

ahol q0 exp(S⊤τ) a q0(ω) exp(∑ri=0 Si(ω)τi) komponensekb®l álló vektort jelenti,

és τ befutja mindazokat az r+1-dimenziós vektorokat amelyekre q0 exp(S⊤τ) ∈D(Ω), exponenciális eloszláscsaládnak nevezzük. Ez azt jelenti, hogy τ1, . . . , τrtetsz®legesek és

τ0 = − log∑ω∈Ω

q0(ω) exp(

r∑i=1

Si(ω)τi).

Vegyük észre, hogy a deniáló q0 eloszlás eleme E-nak a τ = (τ0 = 0, τ1 =0, . . . , τr = 0) választással.

A (8.18) denícióból következik, hogy a lineáris eloszláscsalád az R|Ω| eu-klideszi tér zárt halmaza, míg az (8.19) deníció alapján látható, hogy az ex-ponenciális eloszláscsalád nem zárt (egy valószín¶ség tetsz®legesen közel lehet0-hoz, de nem lehet egyenl® vele). A család lezártját clE(S, q0)-lal, vagy egysz-er¶en clE-vel jelöljük.

Jegyezzük meg, hogy minden q ∈ E eloszlásra T (q) = T (q0) és mindenq ∈ clE eloszlásra T (q) ⊂ T (q0)

Továbbá vegyük észre, hogy ha a (8.18) és a (8.19) deníciókban szerepl® Smátrixot újabb sorok hozzávételével egy S mátrixszá egészítjük ki, akkor

L(S, p0) ⊂ L(S, p0) és E(S, p0) ⊃ E(S, p0).


126. Tétel. (Az információs geometria Pitagorasz-tétele.) Tegyük fel, hogy a(8.18) és a (8.19) eloszláshalmazok metszete nem üres: L ∩ clE = ∅. Ekkor L-nek és E-nek pontosan egy p∗ közös eleme van, és erre

D(p∥q) = D(p∥p∗) +D(p∗∥q), ha p ∈ L, q ∈ clE , (8.20)

továbbá

T (p∗) =∪

p ∈ LT (p) ⊂ T (q0)

T (p) (8.21)

és

p∗(ω) = q0(ω) exp

(r∑i=0

Si(ω)τ∗i

), ha ω ∈ T (p∗) (8.22)

ahol τ∗ = (τ∗1 , . . . τ∗r )

⊤ alkalmas vektor.

Bizonyítás A Tananyagban általában nem közlünk bizonyításokat, de a 126Tétel érdekessége miatt a (8.20) azonosságot bebizonyítjuk.

A divergencia deníciójából következik , hogy tetsz®leges q = q0 exp(S⊤τ) ∈

E és q′ = q0 exp(S⊤τ ′) ∈ E eloszlásokra és a t(p) ⊂ T (q0) feltételt kielégít®

p ∈ D(Ω) eloszlásra

D(p∥q)−D(p∥q′) =∑ω∈Ω

p(ω) logq′(ω)

q(ω)= p⊤S⊤(τ ′ − τ).

Ezért p ∈ L, T (p) ⊂ T (q0) esetén

D(p∥q)−D(p∥q′) = f(q, q′) (8.23)

(azaz nem függ p-t®l, ha q ∈ E , q′ ∈ E). Határátmenettel adódik, hogy (8.23)akkor is igaz marad ha q és q′ a b®vebb clE-nek eleme, kizárva azokat a p-ketamelyekre D(p∥q) = ∞. Most p∗ ∈ L∩E esetén q′ szerepét p∗-nak adva a (8.23)egyenl®ségb®l adódik, hogy

D(p∥q)−D(p∥p∗) = D(p∗∥q)−D(p∗∥p∗)

Mivel D(p∗∥p∗) = 0 a (8.20) egyenl®séget bebizonyítottuk.Kiegészítés. A L ∩ clE = ∅ feltétel pontosan akkor teljesül, ha T (p) ⊆ T (q0).

127. Megjegyzés. A divergencia nemnegatív voltából következik, hogy a p∗ =L ∩ E halmaz egyetlen eleme egyidej¶leg a q eloszlás L-re vett I-vetülete és a p-eloszlás E-re vett L-vetülete.


A bels® és küls® feltételekkel meghatározott feladatok részletesebbelemzése

1. Bels® feltételekkel meghatározott feladatok. Legyen pX az X mintaempirikus eloszlása, q0 a mintavétel el®tti ismereteinket jellemz® eloszlás, éslegyenek S1, . . . , Sr azok a statisztikák, amelyeknek mintabeli átlagait a márvázolt modellalkotási feladathoz fel kívánjuk használni. Ekkor a modellalkotásifeladat MDI-megoldásán a q0-nak az

L = L(S, pX) = p : Sp = SpX (8.24)

lineáris eloszláscsaládra vonatkozó p∗ I-vetületét értjük. A továbbiakban feltesszük,hogy T (q) = Ω. A 126 Tétel kiegészítése szerint a p∗ I-vetület létezik és egyértelm¶.Struktúrális 0-nak nevezzük a (8.24) eloszláscsaládra nézve azokat az ω ∈ Ωelemeket, amlyekre minden p ∈ L eloszlásra p(ω) = 0. Feltesszük, hogy azX mintában nincsenek struktúrális 0-k. Ez a helyzet, ha minden ω ∈ Ω-raaz X(ω) = 0. Ekkor a már említett kiegészítés szerint a p∗ I-vetület az L ∩E metszet egyetlen eleme, (éppen a struktúrális 0-k hiánya miatt nem kell Elezárását tekinteni), és p∗ megegyezik a pX E-ra vonatkozó L-vetületével, azazaz ismeretlen eloszlás maximum-likelihood becslésével [l. (8.17)].

H az X kontingenciatáblában van struktúrális 0 akkor a modellalkotási fel-adat p∗ megoldasa csak a clE-ben és

p∗(ω) =

q0(ω) exp

∑γ∈Γ

τγω

, ha ω ∈ T (p∗)

0, ha ω ∈ T (p∗).

Az MDI-megoldásként kapott p∗ eloszlás akkor tekinthet® a pX empirikuseloszlás adekvát modelljének, ha aD(pX∥p∗) divergencia kicsi, ennek kvantitatívmérésére az 121 Lemma nyújt lehet®séget.

Ha az X egy q ∈ D(Ω) eloszlásból vett N elem¶ minta , akkor a (8.12) képletalapján:

2ND(pX∥q) ∼∑ω∈Ω

(X(ω)−Nq(ω))2

Nq(ω), ha N → ∞. (8.25)

Itt a ∼ jel azt jelenti, hogy a két oldal hányadosa sztochasztikusan tart 1-hez.A jobb oldali tört aszimptotikusan |Ω| − 1 szabadságfokú χ2 eloszlású.1. Küls® feltételekkel meghatározott feladatok. Ezekben a feladatok-ban az MDI-módszer akkor célszer¶, ha az ott szerepl® F eloszláscsalád egyL(S, p0) lineáris eloszláscsalád. Ha feltesszük, hoy az X minta valamelyik (is-meretlen) p ∈ L eloszlásból származik, ennek az eloszlásnek az MDI-becslésén apX empirikus eloszlás L-re vonatkozó p∗ I-vetületét értjük, feltéve, hogy erreteljesül T (p∗) = T (pX). (Az I-vetület (8.13) deníciójából következik, hogyT (p∗) ⊆ T (pX), azonban a valódi tartalmazás kizárható, mert ekkor az X mintabiztosan nem származhatna a p∗ eloszlásból.)


A 126 Tétel szerint a p∗ MDI-becslés pX helyett bármely q ∈ E(S, pX) L-re vonatkozó I-vetületeként is megkapható. Ez azt jelenti, hogy az adott MDI-becslési feladat eredménye nem változik, ha a pX empirikus eloszlást egy korábbiMDI-becsléssel helyettesítjük, feltéve, hogy abban a becslésben alkalmazott azL′ családot deniáló S′ mátrix sorai benne vannak az S sorai által kifeszítettaltérben. (l. ??? Feladat).

Az MDI-becslés most is felhasználható a p ∈ L hipotézis tesztelésére, ugyanisa (8.25) formulához hasonlóan adódik, hogy ha a valódi eloszlás p, akkor

2NDf (p∥pX) ∼∑ω∈Ω

(X(ω)−Np(ω))2

Np(ω), ha N → ∞. (8.26)

Itt a Df eltérést az f(u) = − log u választással kell számolni. A (8.26) képletteldeniált statisztika aszimptotikusan |Tp|−1 szabadságfokú χ2 eloszlást követ. A126 Tétel (8.20) képlétét alkalmazva a k'ek[varianciaanalíizis]b®l ismert szórás-négyzet felbontást is kaphatunk:

2NDf (p∥pX) = 2NDf (p∥p∗) + 2NDf (p∗∥pX),

ahol az összeadandók aszimptotikusan függetlenek, az els® tag szabadságfoka|Tp| − 1 − r, míg a második tag szabadságfoka r azaz az L lineáris családotdeniáló mátrix nem konstans sorainak száma.

8.1.4. Az I-vetület numerikus meghatározása

Ebben a pontban egyetlen módszert ismertetünk nevezetesen azt amelyik akkoralkalmazható, ha az L lineáris család olyan L1, . . . ,Lr lineáris családok metszeteamelyekre való egyes I-vetületek explicite meghatározhatók. Ez a helyzet, amikoraz eloszláscsalád bizonyos γ-marginálisok el®írásával van megadva:

L = p : pγ = pγ0 , γ ∈ Γ.

128. Tétel. Legyenek L1, . . . ,Lr lineáris eloszláscsaládok, L ∩ri=1 Li és legyenq0 tetsz®leges olyan eloszlás, amelyhez található a T (p) ⊆ T (q0) feltételt kielégít®p ∈ L. Értelmezzük a p∗1, p

∗2, . . . eloszlásokat a következ® iterációval: p∗0 = q0, és

n = 1, 2, . . . esetén

p∗n a p∗n−1L-re vonatkozó I-vetülete,

ahol Ln = Li ha n = kr + i.Ekkor q0-nak L-re vonatkozó I-vetülete:

p∗ = limn→∞

p∗n.

8.2. Feladatok

1. Bizonyítsuk 120 Lemmát, azaz azt az állítást,

8.2. FELADATOK 165

hogy ha az f-eltéréstt deniáló f(u) függvény az u = 1 pontban szigorúankonvex, akkor Df (p∥q) ≥ 0, és egyenl®ség csak akkor áll fenn, ha p = q.

Tipp: Alkalmazzuk a Jensen-egyenl®tlenséget az f(u) fügvényre, az X =p(ω)q(ω) valószín¶ségi változóra és a q eloszlás szerinti várható értékre. Vegyükészre, hogy ebben a szereposztásban

f(E[X]) = f

(∑ω∈Ω

q(ω) · p(ω)q(ω)

)= f(1) = 0.

Ha f(u) az u = 1 pontban szigorúan konvex, és p = q akkor f(p/q) > 0így E[f(X)] > 0.

Válasz:

2. Bizonyítsuk be a következ® állítást.

Legyenek,A1, . . . , Ar az Ω halmaz páronként diszjunkt részhamazai melyekre∪ri=1Ai = Ω. Ekkor tetsz®leges p és q eloszlásokra:

Df (p∥q) ≥r∑i=1

q(Ai)f

(p(Ai)

q(Ai)

).

Az állítás szemléletes tartalma az, hogy a durvított eloszlások f-eltérésenem nagyobb, mint az eredeti eloszlásoké.

Tipp: Vezessük be a pA(ω) := p(ω)P (A) ha ω ∈ A, pA(ω) := 0, ha ω ∈ A

jelölést, és analóg módon a qA(ω) jelölést.

A fenti jelölésekkel

Df (p∥q) =r∑

ω∈Ai

q(ω)

(p(ω)

q(ω)

).

Alkalmazzuk a Jensen-egyenl®tlenséget az f fügvényre, a p(ω)q(ω) valószín¶ségi

változóra a qAi(ω) feltételes eloszlás szerinti várható értékkel.

Válasz:

3. Legyen Ω tetsz®leges véges halmaz. Keressük meg azt az Ω-n értelmezettp(ω) eloszlást amelyre a

H(p) = −∑ω∈Ω

p(ω) log p(ω)

entrópia maximális. Mennyi a maximális érték?

Tipp: Alkalmazzuk a a széls®érték-számítás Lagrange-multiplikátor mód-szerét! (Aki nem ismeri ezt a módszert, oldja meg a feladatot az |Ω| = 2esetben.)

Válasz: p(ω) = 1|Ω| , H = log |Ω|.


4. Legyen Ω = 0, 1, . . . , n, r = 1, S1(ω) = ω. Legyen továbbá p0 ∈ D(Ω)tetsz®leges q0 pedig az (n, 12 ) paraméter¶ binomiális eloszlás.

(a) Bizonyítsuk be, hogy a fenti jelölésekkel az L(S, p0) lineáris elos-zlászcsalád mindazon p = (p(0), p(1), . . . p(n)) eloszlások összessége,amelyek várható E0 értéke megegyezik p0-éval, azaz

n∑i=0

p(i)i =

n∑i=0

p0(i)i,

az E(S, q0) exponenciális eloszláscsalád az n, π paraméter¶ binomiáliseloszlások összessége, ahol nπ = E0.

(b) Adjuk meg az exponenciális család q = q0 exp(S⊤τ) el®állításában

szerepl® τ = (τ0, τ1)⊤ vektort a binomiális eloszlás π paraméterével.

Tipp: Idézzük fel a k'ek[lineáris és exponenciális eloszláscsalád dení-cióját]

Válasz:τ1 = log

π

1− π, τ0 = n log(2− 2π).

5. Legyen S olyan mátrix, amely az S mátrixból további sorok hozzáadásá-val nyertünk. Jelölje az S mátrix az eredeti p0, és q0 által deniált elos-zláscsaládokat L(S, p0) és E(Sq0). (Az E(Sq0) deníciójában szerepl® τvektorok lehetséges halmaza is kib®vül.)

Tegyük fel, hogy L ∩ clE = ∅ és L ∩ clE = ∅.Ekkor minden p ∈ L és q ∈ clE eloszlásra

D(p∥q) = D(p∥p∗) +D(p∗∥q)D(p∥p∗) = D(p∥p∗) +D(p∗∥p∗),

(8.27)

ahol p∗ ∈ L ∩ clE és p∗ ∈ L ∩ clE .Tipp: Idézzük fel a lineáris és exponenciális eloszláscsalád denícióját ésaz információs geometria Pitagorasz-tételét. A különböz® eloszláscsaládokviszonyait, és az ebben elhelyezked® eloszlásokat az alábbi ábra szemlélteti.

Válasz:

8.3. Tesztek

1. Az alábbi f fügvények közül jelöljük meg azokat amelyekhez tartozó f-eltérés távolság.

(a) f(u) = (u− 1)2

(b) f(u) = (1−√u)

8.3. TESZTEK 167

L~

E

~EL p q

p* p*~

8.3. ábra. Eloszláscsaládok

(c) f(u) = |u− 1|(d) f(u) = u− log u

Válasz: c

2. Az X és Y véletlen változók 4-4 értéket vehetnek fel,

együttes eloszlásukat az alábbi mátrix tartalmazza.

2 3 4 5

2 3 4 5

2 3 4 5

2 3 4 5

Az alábbi sorok melyikében állnak az X illetve az Y valószín¶ségi vál-tozóhoz tartozó marginális eloszlás valószín¶ségei?

(a) (1, 2, 3, 4)

(b) (1, 2, 3, 4)

(c) (1, 2, 3, 4)

(d) (1, 2, 3, 4)

Válasz: válasz: itt a számoktól függ,

3. Az alábbi állítások közül melyik igaz Jerey-szabályra?

(a) A Jerey-szabállyal csak I-vetületet számolunk.

(b) A Jerey-szabállyal csak L-vetületet számolunk.

(c) A Jerey-szabállyal I- és L-vetületet számolunk.

(d) A Jerey-szabállyal nem vetületet számolunk.

Válasz: c


4. Az alábbi állítások közül melyik igaz Jerey-szabályra?

(a) A Jerey-szabály a lineáris eloszláscsaládra érvényes.

(b) A Jerey-szabály az exponenciális eloszláscsaládra érvényes.

(c) A Jerey-szabály eredménye függ az eltérést deniáló függvényt®l.

(d) A fentiek közül egyik sem igaz.

Válasz: d

5. A lineáris (exponenciális) eloszláscsaládot egy S (r+1)×|Ω| típusú mátrixdeniálja.

Az alábbi állítások közül melyek igazak?

(a) Ha az Smátrixot további sorokkal b®vítjük, az általa deniált lineáriseloszláscsalád b®vül, valamint az általa deniált exponenciális elos-zláscsalád b®vül.

(b) Ha az Smátrixot további sorokkal b®vítjük, az általa deniált lineáriseloszláscsalád sz¶kül, valamint az általa deniált exponenciális elos-zláscsalád b®vül.

(c) Ha az Smátrixot további sorokkal b®vítjük, az általa deniált lineáriseloszláscsalád b®vül, valamint az általa deniált exponenciális elos-zláscsalád sz¶kül.

(d) Ha az Smátrixot további sorokkal b®vítjük, az általa deniált lineáriseloszláscsalád sz¶kül, valamint az általa deniált exponenciális elos-zláscsalád sz¶kül.

Válasz: b

9. fejezet

Klaszteranalízis,többdimenziós skálázás


9.1.1. Klaszteranalízis

A diszkriminanciaanalízist®l eltér®en itt nem adott osztályokkal dolgozunk, hanemmagukat az osztályokat (klasztereket) keressük, azaz objektumokat szeretnénkosztályozni a rajtuk végrehajtott többdimenziós meggyelések alapján (ugyanezmegtehet® a változókkal is az objektumok alapján).

A minimalizálandó veszteségfüggvény, aminek segítségével az osztályozástvégrehajtjuk egyel®re csak vázlatosan a következ®. Az n db objektum ap-dimenziós mintatér pontjainak tekinthet® (p < n), és euklideszi metrikábandolgozunk. Tekintsük minden egyes osztályra az adott osztálybeli objektumoksúlypontját, és vegyük az objektumok négyzetes eltérését (távolság-négyzetét)a súlyponttól. Az így kapott mennyiségeket utána összegezzük az osztályokraés keressük azt az osztályszámot, hozzá pedig az osztályokat, melyekre ez aveszteség minimális.

Arra vonatkozóan, hogy hogyan alakult ki ez a veszteségfüggvény, rövidenutalunk a varianciaanalízisre, ahol a

T =W +B

szórásnégyzet-felbontás alapvet®. A minta teljes (Total) varianciáját a csopor-tokon belüli (Within) és a csoportok közötti (Between) varianciákra bontjukfel.

Az objektumok minden egyes partíciójához létezik ilyen felbontás, és a klaszterezés(osztálybasorolás) annál homogénebb, minél kisebb W a B-hez képest, azaz a

W

B=

W

T −W

169

170 FEJEZET 9. KLASZTERANALÍZIS, TÖBBDIMENZIÓS SKÁLÁZÁS

kifejezést szeretnénk minimalizálni, ami (T x lévén) W minimalizálásával ek-vivalens.

Legyenek C1, . . . , Ck a klaszterek (ezek a mintateret alkotó objektumok partí-cióját jelentik diszjunkt, nem-üres részhalmazokra). A j. klaszter súlypontja

sj =1

|Cj |∑xi∈Cj

xi.

A Cj-beliek négyzetes eltéréseinek összege sj-t®l:

Wj =∑xi∈Cj

∥xi − sj∥2 =1

|Cj |∑

i,xi′∈Cj

i<i′∥xi − xi′∥2.

(Az utolsó egyenl®ség egyszer¶ geometriai meggondolásból adódik, így még asúlypont kiszámolása sem szükséges.)

Megjegyezzük, hogy a fenti euklideszi távolságok az eredeti adatok orto-gonális transzformációira invariánsak, a célfüggvény csak a pontok kölcsönöshelyzetét®l függ. Ezekután keresend® a

W =k∑j=1

Wj → min.

veszteség-minimum, amelynek zikai jelentése a k db. súlypontra vonatkozótehetetlenségi (inercia) nyomatékok összege.

Itt az euklideszi távolságnégyzetek helyett más metrikával is dolgozhatunk,pl. vehetjük az f(∥xi∥) függvényeket, ahol f folytonos, monoton növ®

A minimalizálás természetesen az összes lehetséges k-ra (1 ≤ k ≤ n), ésemelett az összes lehetséges klaszterbesorolásra vonatkozik. Ismert tény, hogyaz összes partíciók száma az ún. Bell-szám:

ω(n) =n∑k=1

n

k

,

ahol aznk

-val jelölt ún. másodfajú Stirling-féle szám egy n-elem¶ halmaz

k nem-üres, diszjunkt részhalmazra való összes lehetséges partícióinak számátjelöli (k = 1, . . . , n). Ezek k és n függvényében meghatározhatók az

n

k

=

1

k!

k−1∑r=0

(−1)r(k

r

)(k − r)n

egzakt formulával (n = 1, 2, . . . ; k = 1, 2, . . . , n).A W veszteségfüggvény kiértékelése a kombinatorikusan lehetséges véges

számú esetre elvileg keresztülvihet®, a gyakorlatban azonban nagyon id®igényeslenne, ui. be lehet látni (l. [20]), hogy

n

n−kaz n-nek 2k-fokú polinomja (8 ob-

jektum, 4 klaszter esetén is84

= 1701 lehet®séget kellene végigszámolnunk).

Nézzünk helyette inkább egy jól bevált algoritmust:


k-közép (MacQueen) módszer: a minimalizálandó veszteségfüggvény

W =k∑j=1

∑xi∈Cj

∥xi − sj∥2.

Itt k adott (geometriai vagy el®zetes meggondolásokból adódik), és induljunkki egy kezdeti C(0)

1 , . . . , C(0)k klaszterbesorolásból (pl. kiszemelünk k távoli ob-

jektumot, és mindegyikhez a hozzájuk közelieket soroljuk, egyel®re csak durvamegközelítésben). Egy iterációt hajtunk végre, a lépéseket jelölje m = 1, 2, . . . .Tegyük fel, hogy az (m − 1)-edik lépésben az objektomoknak már létezik egyk klaszterbe sorolása: C(m−1)

1 , . . . , C(m−1)k , a klaszterek súlypontját pedig jelölje

s(m−1)1 , . . . , s

(m−1)k (a 0. lépésbeli besorolásnak a kezd® klaszterezés felel meg).

Azm-edik lépésben átsoroljuk az objektumokat a klaszterek között a következ®kép-pen: egy objektumot abba a klaszterbe sorolunk, melynek súlypontjához a legközelebbvan. Pl. xi-t az l. klaszterbe rakjuk, ha

∥xi − s(m−1)l ∥ = min

j∈1,...,k∥xi − s

(m−1)j ∥

(ha a minimum több klaszterre is eléretik, akkor a legkisebb index¶ ilyenbesoroljuk be), azaz xi ∈ C(m)

l lesz. Kétféle módon is el lehet végezni az objek-tumok átsorolását: vagy az összes objektumot átsoroljuk az (m− 1)-edik lépés-ben kialakult klaszter-súlypontokkal számolva, majd a régi súlypontok körülkialakult új klasztereknek módosítjuk a súlypontját, vagy pedig az objektumokatx1, . . . ,xn szerint sorravéve, mihelyt egy objektum átkerül egy új klaszterbe,módosítjuk annak súlypontját. Így a végén nem kell már újra súlypontokat szá-molnunk, és az iterációszám is csökkenhet, ui. célratör®bb (mohó) az algorit-mus. Miután az összes objektumot átsoroltuk, az új C(m)

1 , . . . , C(m)k klaszterezás-

b®l és az új s(m)1 , . . . , s

(m)k súlypontokból kiindulva ismét teszünk egy lépést.

Meddig? Választhatunk többféle leállási kritériumot is, pl. azt, hogy az objek-tumok már stabilizálódnak a klaszterekben, és a klaszterek nem változnak aziteráció során. Az eljárást animáció szemlélteti.

Az agglomeratív ill. divizív módszerek a klaszterszámot fokozatosan csökken-tik ill. növelik. Ezek közül is az ún. hierarchikus eljárások terjedtek el, aholúgy csökkentjük ill. növeljük a klaszterszámot, hogy minden lépésben bizonyosklasztereket összevonunk ill. szétvágunk. Például nézzünk egy agglomeratív, hi-erarchikus eljárást. A kezdeti klaszterszám k(0) = n, tehát kezdetben mindenobjektum egy külön klasztert alkot. Az iteráció a következ®: tegyük fel, hogyaz m. lépésben már csak k(m) db. klaszterünk van. Számítsuk ki a klaszter-középpontokat (súlypontokat). Ezek euklideszi távolságai egy k(m) × k(m)-es,szimmetrikus ún. távolság-mátrixot alkotnak (f®diagonálisa 0). Azokat a klasztereket,melyek távolsága egy adott korlátnál kisebb, egy klaszterbe vonjuk össze, ilyenmódon egy lépésben persze kett®nél több klaszter is összevonódhat. Végül,legfeljebb n lépésben már minden összeolvad, és csak egy klaszterünk lesz.

A mellékelt ún. dendrogram (l. 9.1 ábra) egy agglomeratív eljárást szemléltet(5 objektummal). Az eljárás megtekinthet® animáción is. Nem szükséges persze


9.1. ábra. dendrogram

végigcsinálni az összes lépést. Agglomeratív eljárások esetén a W veszteségfüg-gvény általában monoton n®, azt kell meggyelni, hol ugrik meg drasztikusan.Ha végigcsináljuk az összes lépést, a dendrogramot szemlélve próbálunk meg egyésszer¶ klaszterszámot találni (a mellékelt példában lehetne ez 2). Ilyen agglom-eratív, hierarchikus eljárás a legközelebbi szomszéd módszer is, amely akkor isösszevon két klasztert, ha létezik közöttük egy lánc, amelyben az egymás utánielemek már közelebb vannak egymáshoz egy adott korlátnál. Ezt az algoritmustKruskal dolgozta ki (l. [18]).

9.1.2. Többdimenziós skálázás

Tegyük fel, hogy n db. objektum mindegyikén végeztünk p számú meggyelást(n és p viszonya most tetsz®leges). Célunk az objektumok vagy/és változókmegjelenítése valamely (lehet®leg alacsony dimenziós) euklideszi tér pontjaiként.Amenynyiben meggyeléseink egy n×p-es adatmátrix formájában vannak megadva,ennek sorai tekinthet®k az objektumokat reprezentáló p-, oszlopai pedig a vál-tozókat reprezentáló n-dimenziós pontoknak. A probléma az, hogy n és p ál-talában nagy, mi pedig inkább 1-,2-, esetleg 3-dimenziós ábrákon szeretnénktájékozódni. El®fordulhat az is, hogy nincsen szabályos adatmátrixunk, hanemcsak az objektumok vagy/és változók közti ún. hasonlósági vagy különböz®ségimér®számok adottak, és csupán ezek alapján szeretnénk reprezentálni adatainkat.

A következ®kben az objektumok alacsony dimenziós reprezentálásával (skálázásá-val) fogunk foglalkozni. A leírtak értelemszer¶en alkalmazhatók a változókra is.A precíz tárgyaláshoz bevezetünk néhány deníciót és jelölést.

9.2. FELADATOK 173

129. Deníció. A D = (dij)ni,j=1 mátrixot távolság-mátrixnak nevezzük, ha

(i) dii = 0, i = 1, . . . , n;

(ii) dij = dji ≥ 0, 1 ≤ i < j ≤ n; dik ≤ dij + djk, i, j, k ∈ 1, . . . , n.

130. Deníció. Az n × n-es D távolságmátrixot euklideszinek nevezzük, havalamely p pozitív egész mellett vannak olyan x1, . . . ,xn ∈ Rp vektorok, hogy

dij = ∥xi − xj∥ (i, j = 1, . . . n).

Legyen Hn := In− 1n1n1

Tn az ún. centráló mátrix. Miután n-et rögzítettük, a H

mátrix alsó indexét elhagyjuk. A következ® tétel szükséges és elégséges feltételtad arra, hogy egy távolságmátrix euklideszi legyen.

131. Tétel. Az n× n-esmxD távolság-mátrix akkor és csak akkor euklideszi, ha a B := HAH mátrixpozitív szemidenit, ahol az A mátrix elemei: aij = −1

2d2ij.

A Tételt nem bizonyítjuk, de megmutatjuk, hogy ha a B mátrix pozitívszemidenit, akkor hogyan találjuk meg egy alkalmas Rp euklideszi térben apontoknak megfelel® vektorokat. Mivel B Gram-mátrix el®áll B = XXtop alak-ban, ahol X egy n× p ,átrix, melynek sorai az x⊤

1 , . . . ,x⊤n vektorok. Ekkor igaz

a dij = ∥xi − xj∥ összefüggés.Általában semmi garancia nincs arra, hogy aD távolságmátrix euklideszi. Ha

D nem euklideszi, akkor 131 Tételben szerepl® B mátrix indenit. Tegyük fel,hogy az n×n-es B-nek p darab pozitív sajátértéke van (λ1(B) ≥ · · · ≥ λp(B)) ésa B = UΛU⊤ spektrálfelbontásbeli Λ-ban a sajátértékek nem-növekv® sorrend-ben vannak rendezve. Az 153 Tétel (Weyl perturbációs tétel) szerint tetsz®legesBp szimmetrikus mátrixra

maxj

|λj(B)− λj(Bp)| ≤ ∥B−Bp∥.

A fenti egyenl®tlenség bal oldalának minimuma a p rangú, pozitív szemidenitBp mátrixok körében aBmátrix legnagyobb abszolút érték¶ negatív sajátértéke.A Bp =

∑pi=1 λi(B)uiu

Ti mátrixon ez a minimum eléretik. Ily módon Bp-b®l

a fenti módon konstruált D távolságmátrixot a D mátrix euklideszi távolság-mátrixszal való optimális közelítésének tekinthetjük.

9.2. Feladatok

9.3. Tesztek


BpDebrecen

Eger

Gyõr

Kecskemét

Miskolc Nyíregyháza

Pécs

Szeged

Szfv

szolnokSzombathely

9.2. ábra. Városok eredeti pozíciójukban

Bp

Debrecen

Eger

Gyõr

Kecskemét

Miskolc

Nyíregyháza

Pécs

Szeged

Szfv

Szolnok

Szombathely

9.3. ábra. Városok közelítése légvonalbeli távolságmátrix alapján

9.3. TESZTEK 175

Bp

Debrecen

Eger

Gyõr

Kecskemét

MiskolcNyíregyháza

Pécs

Szeged

Szfv

Szolnok

Szombathely

9.4. ábra. Városok közelítése közúton mért távolságmátrix alapján

Bp Debrecen Eger

Gyõr

Kecskemét

Miskolc

Nyíregyháza

Pécs

Szeged

Szfv

Szolnok

Szombathely

9.5. ábra. Városok közelítése Manhattan távolságmátrix alapján


9.6. ábra. Eredeti és légvonalban mért távolságmátrix alapján kapott térkép

9.7. ábra. Eredeti és közúton mért távolságmátrix alapján kapott térkép

9.3. TESZTEK 177

9.8. ábra. Eredeti és Manhattan távolságmátrix alapján kapott térkép

10. fejezet

Többváltozós küszöbmodellek,logit, probit


10.2. Feladatok

10.3. Tesztek

179

180FEJEZET 10. TÖBBVÁLTOZÓS KÜSZÖBMODELLEK, LOGIT, PROBIT

11. fejezet

Randomizált módszereknagyméret¶ problémákra


A töbváltozós statisztikai módszerek jelent®s része (faktor-, klaszter és korre-spondenciaanalízis) valamely mátrix spektrális vagy szinguláris felbontásán ala-pul, s mivel a statisztika egyik célja nagy adattömeg leírása minél kevesebbadattal ezen módszerekben csak néhány kiugró saját- vagy szinguláris értéket ésa hozzájuk tartozó sajátvektorokat, illetve sajátvektor párokat kell meghatároz-nunk. A napjainkban egyre elterjedtebb ún. adatbányászatnak is a szingulárisérték felbontás az alapja. Itt mátrixok mérete (m × n) milliószor milliós lehet,ugyanakkor a hagyományos szinguláris érték felbontási algoritmusok számításigényeO(minmn2,m2n).

Több kezdeti kísérlet után Frieze, A., Kannan, R., és Vempala, S. [13] java-soltak véletlen kiválasztáson alapuló hatékony módszert egy nagyméret¶ Amátrix k-nál kisebb rangú D∗ mátrixszal való közelítésére. Az általuk alka-lmazott véletlen kiválasztásnál a sorok kiválasztásának valószín¶sége arányos asor euklideszi norma négyzete / A hyperref[?]Frobenius-norma négyzete menny-iséggel, a soron belül az elemek kiválasztásának valószín¶sége (feltéve, hogy azadott sort kiválasztottuk) arányos az adott elem négyzete / A Frobenius-normanégyzete mennyiséggel. Alaptételük a következ®t állítja.

132. Tétel. Legyen A egy m×n mátrix, legyen rögzítve k ∈ Z+ ε > 0 és δ > 0.Ekkor van olyan véletlenített algoritmus, amely leírja azt a legfeljebb k-rangú D∗

mátrixot amelyre lagalább 1− δ valószín¶séggel teljesül a

∥A−D∗∥2F ≤ minD,rkD≤k

∥A−D∥2F + ε∥A∥2F .

Az algoritmus csak k-ban, 1ε -ban és log 1

δ -ban polinomidej¶,m-t®l és n-t®l független.Az igy kapott leírás alapján D∗ explicit módon kiszámítható O(kmn) lépésben.

181

182FEJEZET 11. RANDOMIZÁLTMÓDSZEREKNAGYMÉRET PROBLÉMÁKRA

A következ® tétel Achlioptas-tól és McSherryt®l származik [1]. Miel®tt ki-mondanánk bevezetjük egy m × n-es A mátrixszal azonos méret¶ mátrixbanmeglev® minimális lineáris struktúrát mér®Ψmennyiséget. Legyen b = maxi,j |aij |és legyen Q egy olyan m×n-es Q mátrixok halmaza, amelyek elemei b-vel vagy−b-vel egyenl®k.

Ψ(A) = minQ∈Q

∥Q∥

133. Tétel. Legyen A tetsz®leges m × n-es mátrix és s > 1 tetsz®leges valósszám. Legyen továbbá A olyanm×n-es véletlen mátrix, melynek elemi függetlenekés tetsz®leges i, j indexpárra

aij =

0, 1− 1

s valószín¶séggel

saij ,1s valószín¶séggel.

(A függetlenség visszatevéses mintavétellel mindig elérhet®)Ha még

s ≤ m+ n

116log6(m+ n)

is teljesül, akkor

P(∥A− Ak∥ ≤ ∥A−Ak∥+ 7

√sΨ(A)

)≥ 1− 1

m+ n,

ahol Ak, illetve Ak jelóli az A, illetve A mátrixot legjobban közelít® k-rangúmátrixot.

A tétel bizonyítása azon alapszik, hogy az A − A mátrix alkalmas elren-dezéssel Wigner-típusú mátrixszá alakítható. A Wigner-mátrixok maximálissajátértéke eloszlásának fels® farkára jó becslések ismertek.

11.2. Feladatok

11.3. Tesztek

12. fejezet

Algoritmikus modellek


12.1.1. ACE-algoritmus (általánosított regresszióra)

A Breiman és Friedman ([[7]]) által kifejlesztett algoritmus az alábbiakban vázoltáltalános regressziós feladat numerikus megoldására szolgál igen tág keretekközött (kategorikus adatokra, id®sorokra ugyanúgy alkalmazható, mint olyantöbbváltozós adatokra, ahol a változók egy része abszolút folytonos, más részediszkrét).

Az Y függ® és azX1, . . . , Xp független változóknak keresend®k olyanΨ,Φ1, . . . ,Φpmérhet®, nem-konstans valós érték¶ függvényei (szkórjai), amelyekkel

e2(Ψ,Φ1, . . . ,Φp) = E

Ψ(Y )−p∑j=1

Φj(Xj)

2

/D2(Ψ(Y )) (12.1)

minimális adott (yk, xk1, . . . , xkp : k = 1, . . . , n) adatrendszer alapján.Valójában feltételes minimumot keresünk a D2(Ψ(Y )) = 1 feltétel mellett.

Lineáris transzformációkkal elérhet®, hogy E(Ψ(Y )) = E(Φ1(X1)) = · · · =E(Φp(Xp)) = 0 és D2(Ψ(Y )) = 1 legyen.

Amennyiben a változók együttes (p+1)-dimenziós eloszlása ismert, az algo-ritmus a következ®. Legyenek Ψ(0)(Y ),Φ

(0)1 (X1), . . . ,Φ

(0)p (Xp) a feltételeknek

eleget tev® kezdeti függvények. Az iteráció (m + 1)-edik lépése a következ®(mindig csak egyik függvényt változtatjuk).

1. Rögzített Φ(m)1 (X1), . . . ,Φ

(m)p (Xp) esetén

Ψ(m+1)(Y ) :=E(∑pj=1 Φ

(m)j (Xj) |Y )

D(∑pj=1 Φ

(m)j (Xj) |Y )

.

183

184 FEJEZET 12. ALGORITMIKUS MODELLEK

2. RögzítettΨ(m+1),Φ(m+1)1 (X1), . . . ,Φ

(m+1)i−1 (Xi−1),Φ

(m)i+1(Xi+1), . . . ,Φ

(m)p (Xp)

esetén

Φ(m+1)i (Xi) := E

[Ψ(m+1)(Y )−i−1∑j=1

Φ(m+1)j (Xj)−

p∑j=i+1

Φ(m)j (Xj)] |Xi

i = 1, . . . , p .

Az iterációt akkor hagyjuk abba, ha a (12.1)-beli célfüggvény értéke márkeveset változik.

Az algoritmust részletesebben leírjuk abban az esetben, amikor a valószín¶ségiváltozók ismeretlen folytonos eloszlásúak, és a feltételes várható érték vételt asimítás helyettesíti.

Nyilván világos az algoritmus elnevezése: ACE=Alternating Conditional Ex-pectation (alternáló feltételes várható érték).

Ha az együttes eloszlást nem ismerjük, az n mintaelemet tartalmazó ada-trendszer alapján minimalizálandó célfüggvényt akkor is felírhatjuk

1

n

n∑k=1

Ψ(yk)−p∑j=1

Φj(xkj)

2

alakban, melyet azzal a kényszerfeltétellel minimalizálunk, hogyΨ(Y ) empirikusszórásnégyzete 1. Az iterációs lépések a fentiek azzal a különbséggel, hogy afeltételes várható értéket is a minta alapján képezzük. Például 2 változó esetén(p = 1) ennek becslése a következ®:

E(Φ(X)|Y = y) =∑

k : xk=x

Φ(xk)/∑

k : yk=y

1 ,

vagyis átlagoljuk az azonos Y értéket felvev® mintaelemekhez rendelt Φ(xk)-katY összes meggyelt értékére. Pl. ha Y a szemszín és Φ(X) a hajszín szkórja,akkor átlagoljuk az azonos szemszín¶ek hajszín-szkórjait, majd átlagoljuk azazonos hajszín¶ek az Ψ(y) szemszín-szkórjait, és normálunk. Az algoritmuslényege éppen abban áll, hogy ezt felváltva hajtjuk végre, miközben a másikváltozót rögzítjük.

A fenti algoritmus ismeretlen mintaeloszlások esetén csak akkor m¶ködik, haa tapasztalati feltételes várható értékek kiszámíthatók, azaz a minta együtteseloszlása diszkrét. Breiman és Friedman a minták simításának módszerét aján-lották folytonos valószín¶ségi változók esetére. A jelölésekben melyek kisséeltérnek a szokásostól az idézett dolgozatot követjük.

Jelölje X az adathalmazt (mintát), azaz az Rp euklideszi tér N pontjábólálló x1, . . .xN, azaz

x1 1 . . . x1 px2 1 . . . x2 p...

...xN 1 . . . xN p


adatmátrixot. RögzítettX-re legyen F (X) az összesX-en értelmezett valósérték¶Φ fügvények tere, azaz egy Φ ∈ F (X) függvénytN valós szám (Φ(x1), . . . ,Φ(xN))deniál. Legyen továbbá F (xj) (j = 1, . . . , p) az összes x1 j , . . . , xN j halmazonértelmezett valósérték¶ függvények tere.

134. Deníció. Az X mintára értelmezett S : F (X) 7→ F (xj) Sj függvényt azX minta xj szerinti simításának nevezzük. Ha Φ ∈ F (X), jelöljük az F (xj) tér-ben Sj képét Sj(Φ|xj)-vel, a függvény értékét a k-adik adaton pedig Sj(Φ|xk j)-vel

Feltesszük, hogy az alábbi tulajdonságok teljesülnek.

(i) Linearitás: minden Φ1, Φ2 ∈ F (X), valamint minden valós α és β számra

S(αΦ1 + βΦ2) = αSΦ1 + βSΦ2.

(ii) Konstans meg®rzés: ha Φ ∈ D azonosan konstans (Φ ≡ c), akkor SΦ = Φ.

(iii) Korlátosság: Az S simítás korlátja M , ha minden Φ ∈ F (X)-re

∥SΦ∥N ≤M∥Φ∥N ,

ahol ∥ · ∥N az Np dimenziós euklideszi norma. (Egy X minta N darab pdimenziós vektorból áll!)

Példák.

1. Legközelebbi szomszéd módszer: Rögzitsünk egy M < N2 természetes szá-

mot. Rendezzük a mintát a j-edik koordinatája szerint. Az itt alkalmazottjelölésekben ez azt jelenti, hogy x1 j < x2 j < · · · < xN j ; feltesszük, hogynincsenek egyenl® elemek. Legyen

S(Φ|xk j) =1

2M

N∑m=−M,m=0

Φ(xk+m).

Ha valamelyik oldalon (pl. a végén) már nincs M pont, egészítsük ki azösszegzést a másik oldalról (pl. az elejér®l) vett pontokkal.

2. Magfüggvény módszer: Legyen K(x) olyan valós nemnegatív érték¶ függ-vény, amely maximumát a 0 pontban veszi fel.

Legyen

S(Φ|xk j) =∑Nm=1 Φ(xm)K(xmj − xk,j)∑N

m=1K(xmj − xk,j)

Vegyük észre, hogy ha a j-edik változó szerint simítunk, akkor lényegébena Φ(x) függvényt átlagoljuk a j-edik változó mentén, ez felel meg a megfelel®feltételes várható érték vételnek.

Most egy kett®s ciklussal deniáljuk a BreimanFriedman numerikus algo-ritmust. Az algoritmus k¶ls® ciklusában θ-t, bels® ciklusában Φj-ket j = 1, . . . , pváltoztatjuk. A küls® ciklus n-edik lépése után e szerz®k két lehet®séget javasol-nak:


(a) Megtartjuk a bels® ciklusban kapott Φ-k értékeit (restart),

(b) Kinullázzuk a korábbi Φ értékeket (friss start).

Kett®s ciklus.

0. Inicializálás:

θ(0)(yk) = yk Φ(0)j (yk j) = 0.

1. Küls® ciklus (n = 1, 2, . . . -re): legyen θ(n) = Sy(∑pj Φj)/∥Sy(

∑pj Φj)∥N .

Térjünk vissza a bels® ciklushoz minden j-re Φ(0)j = Φj-vel (restart) vagy

minden j-re Φ(0)j = 0-val (friss start).

2. Bels® ciklus (m = 0, 2, . . . -re): a küls® ciklus n-edik szintjén θ(n)-nel ésΦ

(0)j -vel (j = 1, . . . , p) kezdünk.

Futtasuk a legbels® ciklust m-et növelve.

3. Legbels® ciklus (j-re, m x): j = 1, 2, . . . , p. Legyen

Φ(m+1)j = Sj

θ(n) −∑i<j

Φ(m+1)i −

∑i>j

Φ(m)i

(12.2)

3' Legbels® ciklus vége.

2' A bels® ciklus megáll ha∑pj=1 ∥Φ

(m+1)j −Φ

(m)j ∥m növelésével alig változik.

1' A küls® ciklus megáll, ha ∥θ(n) −∑pj=1 Φj∥ n növelésével alig változik.

Kett®s ciklus vége.

135. Megjegyzés. Vegyük észre, hogy

1. A bels® ciklusban, amikor a j-edik változó szerint simítunk, ( a (12.2)formula) akkor θ(m) −

∑i<j Φ

(m+1)i -nek a j-edik változó szerinti feltételes

várható értékét vesszük.

2. A küls® ciklusban az y változó szerint simítunk, ezt formálisan nem deniál-tuk, de belevehettük volna az X mintába, p+ 1-edik változóként.

A fenti algoritmus konvergenciáját A Breiman és Friedman ([7]) speciális, ne-hezen ellen®rizhet® feltételek mellett igazolták. A gyakorlat azt mutatja, hogya módszer a feladatok széles körére jól alkalmazható.


12.1.2. Jackknife eljárás

Az M. H. Quenouille [28] által 1954-ben által javasolt, a becslés torzításátcsökkent® módszernek J. W. Tukey [32] adta a jackknife (zsebkés) elnevezést.Az elnevezés azt fejezi ki, hogy maga az eljárás els®sorban kis minták esetén számos más célra is alkalmazható, mert a normális eloszlásra kidolgozott mód-szereket jól imitálja olyan esetekben is, amikor a normalitás sérül. A jackknifeazonban nem mindenre jó gyógyszer, egy egyszer¶ ellenpéldán megmutatjukkorlátjait.

A jackknife az adatok jól megválasztott csoportosításán alapszik, a csoportokkombinációi alapján becsléseket konstruálunk, amelyek átlaga lesz a jackknifebecslés. Itt csak az egyelem¶ csoportokat használó eljárást ismertetjük.

A jackknife módszer alábbi vázlatos ismertetésében Rupert Miller [23] és [24]dolgozataira támaszkodunk.

Legyen X = (X1, . . . , Xn) független azonos eloszlású minta egy Pθ eloszlás-ból, ahol θ ∈ Θ ismeretlen paraméter. Jelölje θ := θ(X) a θ paraméter valamilyenbecslését a teljes minta alapján; a továbbiakban a becslések argumentumábanem írjuk be a mintaelemeket. Jelölje θ−i (i = 1, . . . , n) azt a becslést, amelyetaz i-edik mintaelem elhagyásával kapunk. Képezzük az ún. pszeudoértékeket (azelnevezés Tukey-t®l származik):

θi := nθ − (n− 1)θ−i (12.3)

136. Deníció. A θ paraméter jackknife becslése a θi pszeudoértékek átlaga:

θ• =1

n

n∑i=1

θi = nθ − (n− 1)θ−• , (12.4)

ahol θ−• = 1n

∑ni=1 θ−i.

137. Állítás. A jacknife becslés pontosan eliminálja a torzítás 1n rend¶ tagját.

Mivel ez az állítás éppen a jackknife-becslés alapvet® tulajdonságát jellemzi(tulajdonképpen ezt a célt valósítja meg az eljárás) közöljük a rövid és tanulságosbizonyítást.Bizonyítás Ha E(θ) = θ + a

n + bn2 + . . . , akkor

E(θ•) = n(θ+a

n+b

n2+. . . )−(n−1)(θ+

a

n− 1+

b

(n− 1)2+· · · = θ− b

n(n− 1)+. . . )

QEDTukey szerint a θi pszeudoértékek közelít®leg függetlenek; ha ez a feltevés

igaz, akkor D2(θ•) becslése az

1

n(n− 1)

n∑i=1

(θi − θ•)2 (12.5)


statisztika lehet, és a

t = (θ• − θ)

[1

n(n− 1)

n∑i=1

(θi − θ•)2

]−1/2

(12.6)

statisztika közelít®leg t(n− 1) eloszlású, így alkalmas hipotézisvizsgálatra éskondenciaintervallum szerkesztésre. Ezt illusztráljuk a következ® példán.

Legyen X1, . . . , Xn független, azonos F ((x − µ)/σ) eloszlású minta, ahol Fismeretlen eloszlásfüggvény µ és σ ismeretlen lokációs és skálaparaméterekkel(µ = E(X1), σ2 = D2(X1)). Tegyük fel, hogy F -nek létezik a negyedik momen-tuma. A σ2 paraméter torzítatlan becslése

S∗n2 =

1

n− 1

n∑i=1

(Xi − X)2.

Alkalmazzuk a jackknife eljárást!

θi =S∗n2 +

n

n− 2

(Xi − X)2 − n−1 ·n∑j=1

(Xj − X)2

,

θ• =S∗n2 és

n∑i=1

(θi − θ•)2 =

n2

(n− 2)2

n∑i=1

(Xi − X)2 − n−1n∑j=1

(Xj − X)2

2

.

(12.7)

Ahogyan az (12.5) becslés alapján megkonstruáltuk az (5.4) statisztikát, az(12.7) statisztikák alapján σ2 paraméter θ• jackknife becslésére (ami itt azonos ahagyományos S∗

n2 torzítatlan becsléssel!) közelít® t-statisztikát konstruálhatunk:

t = (θ• − σ2)

[1

n(n− 1)

n∑i=1

(θi − θ•)2

]−1/2

.

Egy kissé mesterkélt ellenpéldán megmutatható, hogy az (12.6) statisztikaeloszlása er®sen eltérhet az n− 1 szabadsági fokú Student-eloszlástól. A példátnem ismertetjük.

jackknife módszer a diszkriminanciaanalízis kereszt-kiértékelésére. Tegyükfel, hogy N elem¶ (X1, . . . , XN ) mintára alkalmazunk egy tetsz®leges diszkrim-ináló eljárást. A következ®t kell tennünk: az eljárást N -szer végrehajtjuk úgy,hogy kihagyjuk az Xi, i = 1, . . . , N mintaelemet, majd megnézzük, hogy a ki-hagyott (Xi) elemet melyik osztályba sorolta az így szerkesztett eljárás. A kapotteredményeket átlagolva megkapjuk a hibás (és természetesen a helyes) besorolá-sok relatív gyakoriságát.


12.1.3. Bootstrap eljárás

A paragrafusnak ebben a részében els®sorban A. B. Efron 1997-ben megje-lent alapvet® [10] dolgozatára, valamint G. J. Babunak és C. RadhakrishnaRao-nak a Handbook of Statistics [2] 9. kötetében megjelent összefoglaló is-mertetésére, és az abban idézett irodalomra támaszkodunk. A paragrafus ele-jén ismertetett jackknife algoritmus els®sorban arra alkalmas, hogy valamelyeloszlás ismeretlen paraméterének a torzítását csökkentse, és számos esteben jóközelítést adjon a becslés szórásnégyzetére. Az Efron által javasolt bootstrap (szószerint csizmahúzó); a statisztikán kívül pl. az informatikában is használatos eln-evezés a bonyolult problémákat kezel® általános receptekre) módszerrel a becsl®statisztikák eloszlása is jól kezelhet®.A bootstrap statisztika deníciója és eloszlásának meghatározása. Legyen X =(X1, . . . , Xn) független minta egy tetsz®leges F eloszlásból, és legyen T (X, F )az X mintától függ® statisztika.

A korábbi a paraméteres statisztikával foglalkozó fejezetekben F -r®láltalában feltettük, hogy normális eloszlású, és ekkor a gyakran alkalmazottT (X, F ) statisztikák eloszlását analitikusan is meg tudtuk határozni. Más eset-ben ha statisztika független azonos eloszlású valószín¶ségi változók normáltösszege volt a centrális határeloszlás-tételre hivatkoztunk.

Kis mintaelemszám és ismeretlen F esetén a T (X, F ) statisztika eloszlásátközelíthetjük a mintából becsült Fn empirikus eloszlás alapján számított elos-zlással. Megjegyezzük, hogy pl. az X átlag eloszlásának kiszámításához az Fnn-szeres konvolúcióra van szükség, amelynek m¶veletigénye O((log n)n2), amielfogadható, ennek ellenére a bonyolultabb statisztikák eloszlásának az Fn em-pirikus eloszlás alapján történ® közvetlen meghatározása körülményes. Erre isalkalmas az Efron [10] által javasolt bootstrap eljárás.

A bootstrap statisztika eloszlása meghatározásának laggyakrabban használtmódszere a nyers r®, azaz a Mont Carlo módszer. Rögzített F -hez vegyünk egyfüggatlen azonos (Fn) eloszlású X = (X1, . . . , Xn) ún. bootstrap mintát. Ez agyakorlatban azt jelenti, hogy az eredeti X mintából visszatevéssel kiválasztunkn elemet.

Ennél szosztikáltabb módszer a centrális határeloszlás-tétel élesítésének al-kalmazása a bootstrap mintára. Ha az F (x) folytonos eloszlás harmadik abszolútmomentuma véges, akkor a klasszikus BerryEsseen-tétel (l. pl [15] szerint

supx

|P(X− µ ≤ xσ

)− Φ(x)| = O(n−1/2) (12.8)

Ez az egyenl®tlenség nem javítható, de ha az F eloszlásnak létezik a k-adik (k > 3) abszolút momentuma, akkor a (12.8) képletben szerepl® explicit

módon megadható, és a külonbség rendje O(1/

√ns−2

)lesz (Ljapunov tétele

l. [15]). Mivel az Fn eloszlás momentumai megegyeznek a tapasztalati momen-tumokkal, az idézett tétel alkalmazható az Fn eloszlás analitikus alakban történ®közelítésére (X helyett X, µ = overlineX szereposztással).

Most megfogalmazunk egy tételt, amely az X és bootsrap minta átlagaközötti eltérésére állít a (12.8) egyenl®tlenségnél pontosabb becslést. Miel®tt ezt


kimondanánk, emlékeztetünk a rácsos eloszlás fogalmára: egy F eloszlás rácsos,ha növekedési pontjainak halmaza R ekvidisztáns pontjaiból áll. Az F eloszlásszerinti mértéket P-vel jelöljük. K. Singh (l. [31]) tétele:

138. Tétel. Tegyük fel, hogy X = (X1, . . . , Xn) független minta egy F nemrácsos eloszlásból, amelynek várható értéke µ szórása σ és a harmadik abszolútmomentuma véges. Legyen X = (X1, . . . , ,Xn) az Fn alapján kisorsolt bootstrapminta. Ekkor majdnem minden (X1, . . . , Xn, . . . ) realizációra

supx

∣∣∣∣∣∣P ((X− µ) ≤ σ)− P

( ¯X− X) ≤ x

√√√√ 1

n

n∑j=1

(Xj − X)2

∣∣∣∣∣∣ = o(n−1/2)

A következ® Babutól származó példa (l. [2]) illusztrálja, hogy nem lehetvakon bízni a bootstrap módszerben. Legyen X = (X1, . . . , Xn) standard nor-mális eloszlásból származó független minta. Mivel

√nX standard normális elos-

zlású, µ = 0, n(X)2−µ2 ∼ χ2(1). Legyen X = (X1, . . . , Xn) a bootstrap minta.Megmutatható, hogy az ( ¯X2−X2) majdnem minden végtelen (X1, . . . ,Xn, . . . )realizációra divergál!

ebb®l feladat gyártható: miért mond ez látszólag ellent a Steineregyenl®tlenségnek?

Második példánk a diszkriminanciaanalízis hibabecslése. Az egyszer¶seg ked-véért tegyük fel, hogy csak két mintánk van:

X1, . . . ,Xn ∼ F = N (m1,C)

ésY1, . . . ,Ym ∼ G = N (m2,C),

ahol az Xi és Yj p-dimenziós véletlen vektorok teljesen függetlenek. A meg-gyelt értékek: x1, . . .xn, illetve y1, . . . ,ym. A minta alapján megbecsüljük azm1 és m2 várhatóérték vektort, valamint a C kovariancaiamátrixot, legyeneka becslések: m1, m2 és C. Ezeket a becsléseket a A diszkrdec25.tex-beliszovegben most szamozatlan a regi konyvben 311. o. 2.9 en itt nemtudom beirni... formulába beírva eljárást kapunk arra, hogy eldöntsük: egyúj x meggyelést az F vagy a G eloszlást követi-e. Ha

x ∈ B := x : (mT2 − mT

1 )C−1x > c

akkor az x meggyelést a G eloszlást követ®k csoportjába soroljuk. Az osztály-ozás várható hibáját még az új meggyelések beérkezése el®tt szeretnénk meg-becsülni. Az

error :=|i : xi ∈ B|

m(12.9)

nyilván alulbecsüli a hibát, mert az osztályozó eljárást a minta alapján sz-erkesztettük, az mintegy adaptálódott a mintához. A valódi várható hiba

error := PF i : xi ∈ B

12.2. FELADATOK 191

lenne.R((X,Y), (F,G)) := error− error.

Az R bootstrap veszteség momentumait nyers er®-vel (Monte Carlo módsz-errel) határozhatjuk meg. Az F és G eloszlásból generálunk n, illetve m xi,illetve yj bootstrap mintaelemet, ezek alapján kiszámítjuk az F és G eloszlá-sok paramétereit, meghatározzuk a B bootstrap kritikus tartományt. Így az Rbootstrap veszteség egy realizációja:

R = R((X, Y), (F , G)) =|i : xi ∈ B|

m− |i : xi ∈ B|

m.

Ezen eljárás elegend®en sok független ismétlése után a keresett momen-tumok átlagolással nyerhet®k. Ilymódon becslést kapunk az R veszteségfüg-gvény várható értékére, amivel az osztályozás hibájának (12.9) becslését kor-rigálhatjuk.

Megjegyezzük, hogy a programcsomagok kiszámítják a hibavalószín¶ség jack-knife becslését is olymódon, hogy minden egyes mintaelem kihagyásával megsz-erkesztik a kritikus tartományt, majd megvizsgálják, hogy a kihagyott elemmelyik tartományhoz tartozik. Az így tapasztalt hibás döntések relatív gyako-risága a hibavalószín¶ség becslése. Efron idézett dolgozatában egy 10 és egy 20elem¶ mintára ismerteti mindkét eljárás eredményét; nincs lényeges különbség.

12.2. Feladatok

1. LegyenX = (X1, . . . , Xn) standard normális eloszlásból származó függetlenminta. Mivel

√nX standard normális eloszlású, µ = 0, n(X)2−µ2 ∼ χ2(1).

Legyen X = (X1, . . . , Xn) a bootstrap minta. Megmutatható, hogy az( ¯X2 − X2) majdnem minden végtelen (X1, . . . , Xn, . . . ). Mutassuk meg,hogy ez az állítás látszólag ellentmond a Steiner-egynl®ségnek.

Tipp:Az 1n [∑nj=1(Xj−X)]2 valószín¶ségi változók aszimptotikusan valóban

χ2(1) eloszlásúak, Irjuk fel rájuk a Steiner-egyenl®séget, felhasználva, hogyE(Xj) = X.

Válasz:

1

n

[sumn

j=1(Xj − X)]2

− (n ¯X2 − X2) = 2X2 − 2X ¯X.

A fenti egyenl®ség jobb oldala a nagy számok törvénye miatt 0-hoz tart,de nomabb meggondolások alapján kiderül, hogy ez nem elegend® az(n ¯X2 − X2) bootstrap statisztika eloszlás szerinti konvergenciájához.

Útmutatások, végeredmények

12.3. Útmutatások

12.4. Végeredmények

193

13. fejezet

Függelék

13.1. Függelék 1: Lineáris algebrai emlékeztet®

Jelölje Rn az n-dimenziós valós euklideszi teret (elemei n-dimenziós valós kom-ponens¶vektorok, melyek összeadása és valós számmal való szorzása értelmezvevan a szokásos m¶veleti tulajdonságokkal, továbbá a vektortér a ⟨·, ·⟩ skalárisszorzás m¶veletével is el van látva). Az Rn térben tekintsük a standard ε1, . . . , εnbázist (az εi vektor i-edik koordinátája 1, többi koordinátája pedig 0). Ha askaláris szorzást nem deniáljuk konkrét formulával, akkor fel kell tennünk, hogyaz ε1, . . . , εn bázis ortonormált:

⟨εi, εj⟩ = δij =

0, ha i = j

1, ha i = j.(13.1)

Az Rn vektorait x, y, z, . . . -vel jelöljük, ezeket oszlopvektoroknak tekintjük; hasorvektorokként szeretnénk tekinteni, akkor az x⊤, y⊤, z⊤, . . . jelölést használjuk.Az x vektor kooordinátái ebben a bázisban x1, . . . , xn, azaz x =

∑ni=1 xiεi. Az

(13.1) megállapodás miatt ⟨x,y⟩ = x⊤y, azx vektor euklideszi normája pedig ∥x∥ =

√x⊤x =

√∑ni=1 x

2i .

Az A : Rn → Rn lineáris transzformációt azonosítjuk azzal az n × n-esA := (aij)

ni,j=1 mátrixszal, melynek j-edik oszlopában azAεj vektor koordinátái

állnak. Ha egy x vektor A-val való transzformáltja y, azt az Ax = y, vagymátrixalakban azAx = y (yi =

∑nj=1 aijxj) jelöléssel fejezzük ki. AzA := (aij)

és B := (bij) n × n-es mátrixok szorzata dení ció szerint AB := (cik) =(∑nj=1 aijbjk). Az I := (δij)

ni,j=1 mátrixot n-dimenziós egységmátrixnak (iden-

titásnak) nevezzük. Az elnevezést az IA = AI = A öszefüggés indokolja. Azn × n-es A mátrix A−1 inverzét az AA−1 = A−1A = I összefüggés deniálja(ez pontosan akkor létezik, ha az |A| mátrix alább deniált determinánsa nem0). Közvetlen számolással meggy®z®dhetünk arról, hogy, ha az A és B mátrixokinvertálhatók, akkor az AB mátrix is invertálható, és (AB)−1 = B−1A−1.

Az A mátrix |A| determinánsa a mátrix oszlopavektorai által deniált n-dimenziós parallelepipedon el®jeles térfogata, ami az alábbi képlettel számítható

195

196 FEJEZET 13. FÜGGELÉK

ki:

|A| =∑

π ∈ az (1, . . . , n)

permutációinak halmaza

(−1)π [inverzióinak száma]a1π(1) · · · · · anπ(n).

(13.2)Jelöljük Aij-vel annak az (n− 1)× (n− 1)-es mátrixnak a determinánsát, ame-lyet úgy kapunk A-ból, hogy elhagyjuk az i-edik sorát és a j-edik oszlopát. Azadj (A) := ((−1)i+jAji)

nj,i=1 mátrixot A adjungált mátrixának nevezik, l. [30].

Az A−1 mátrix pontosan akkor létezik, ha |A| = 0, és ekkor

A−1 =1

|A|adj (A) .

Vegyük észre, hogy a determináns egy n2 változós függvény (polinom), ígyvan értelme a mátrixelemek szerinti deriválásnak. A (13.2)-beli deníciót fel-használva kapjuk, hogy

∂|A|∂aij

= (−1)i+jAij . (13.3)

Egy f(A) (f : Rn2 → R) mátrixfüggvény mátrixelemek szerinti deriváltjaibólálló mátrixot szokás ∂f

∂A -val is jelölni, ezzel a jelöléssel (13.3) a

∂|A|∂A

= adj (Aqtop)

tömör alakba írható át.Ha az A−1 mátrix nem létezik, akkor azt mondjuk, hogy az A által deniált

A transzformáció szinguláris.A mátrix-jelölést alkalmazva Im(A) az A mátrix ab1, . . . ,abn oszlopvek-

torai által kifeszített Span(ab1, . . . ,abn) altér (ezt onnan is látni, hogy Ax =∑ni=1 xiabi), a Ker(A) altér pedig azon x vektorokból áll, amelyek ortogonálisak

azAmátrix soraira, azaz azA⊤ (A transzponáltja) oszlopaira, vagyis az Im(A⊤)altérre. Ezzel igazoltuk a következ®t.

139. Állítás. A Ker(A) és Im(A⊤) alterek egymás ortogonális komplementereiRn-ben, tehát dim(Ker(A)) + dim(Im(A⊤)) = n.

140. Deníció. Az U transzformáció ortogonális, ha deniáló mátrixára igazaz U⊤U = I összefüggés.

Ez azt jelenti, hogyU oszlopai ortonormáltak. Belátható, hogy ekkorU soraiis ortonormátak, ezért igaz az UU⊤ = I összefüggés is.

Az ilyen U mátrixot ortonormált mátrixnak is szokták nevezni.

141. Deníció (szimmetrikus mátrix). Az A n × n-es valós mátrix szim-metrikus, ha A⊤ = A, vagy, ami ugyanaz: aij = aji minden (i, j) (i = 1, . . . , n;j = 1, . . . , n) indexpárra.

13.1. LINEÁRIS ALGEBRA 197

142. Deníció (projekció). P transzformáció ortogonális projekció, ha P szim-metrikus és idempotens, azaz PP = P.

A P operátor az Im(P) altérre vetít. Mivel P szimmetrikus, 139. állítás miatta Ker(P) és a Im(P) egymás ortogonális komplementerei, tehát minden x ∈ Rnvektor el®áll x = y + z alakban, ahol y ∈ Im(P), z ∈ Ker(P). Ezért Px = y,innen az elnevezés. Ha H ⊂ Rn egy altér, PH jelöli a H-ra való vetítést.

143. Állítás. Ha A és B tesz®leges n × n-es mátrixok és x ∈ Rn tetsz®legesvektor, akkor (AB)⊤ = B⊤Atop és

(A⊤x)⊤Bx = x⊤WBx .

144. Deníció (kvadratikus alak, denitás). Legyen A egy n×n-es, szim-metrikus mátrix. Az

x⊤Ax =

n∑i=1

n∑j=1

aijxixj

számot az A által deniált kvadratikus alaknak nevezzük. Az aij illetve xi számokaz A mátrix elemei illetve az x vektor koordinátái. Az A mátrixot pozitív denit(szemidenit)nek nevezzük, ha az x⊤Ax kvadratikus alak pozitív (nem-negatív) minden, nem azonosan 0 komponens¶x vektorra. Hasonlóan, az A mátrixnegatív denit (szemidenit), ha az x⊤Ax kvadratikus alak negatív (nem-pozitív)minden, nem azonosan 0 komponens¶x vektorra. Ha pedig az x⊤Ax kvadratikusalak mind pozitív, mind negatív értékeket felvehet (természetesen más-más xvektorokra), akkor az A mátrixot indenitnek nevezzük. Szinguláris (nem in-vertálható) mátrixok a szemidenitek és az indenitek egy része.

145. Deníció. Legyenek A és B szimmetrikus mátrixok. Azt mondjuk, hogyA > B, ha A−B szigorúan pozitív denit. Azt mondjuk, hogy A ≥ B, ha A−Bpozitív szemidenit.

146. Tétel. Az A mátrix akkor és csak akkor szimmetrikus, ha minden x, y ∈Rn vektorpárra

x⊤Ay = y⊤Ax .

Megjegyezzük, hogy egy B mátrix pontosan akkor pozitív szemidenit, ha ún.Gram-mátrix, azaz van olyan A mátrix, hogy B = A⊤A.

Az alábbi tétel (l. [19] 149. o.) kovarianciamátrixok összehasonlításánál hasznoslehet.

147. Tétel. Legyenek A és B invertálható szimmetrikus mátrixok. Ha A ≤ B,akkor B−1 ≤ A−1

148. Deníció (sajátérték, sajátvektor). Az u ∈ Rn nem azonosan 0 kom-ponens¶vektort az n× n-es A mátrix sajátvektorának nevezzük, ha van olyan λvalós szám (sajátérték), amellyel Au = λu teljesül.


Ezzel ekvivalens a következ® állítás: dim(Ker(A−λI)) > 0, illetve dim(Im(A−λI)) < n, azaz az A− λI mátrix nem invertálható.

A sajátértékek geometriájáról a Gersgorin-tétel segítségével nyerhetünk hasznosinformációt.

149. Tétel (Gersgorin). Legyen A egy tetsz®leges (komplex elem¶) n × n-esmátrix. Legyen Ci az aii körüli ri :=

∑nk=1k =i |aik| sugarú nyílt körlemez a

komplex számsíkon. Ekkor az A mátrix valamennyi sajátértéke a

D := ∪ni=1Ci

tartományban helyezkedik el.

150. Megjegyzés. Az alábbi egyszer¶észrevétel is rendkívül hasznos lehet asajátértékek geometriájának vizsgálatánál.

151. Tétel (spektrál-leképezés tétel). Ha P (·) tetsz®leges polinom, és λ azA mátrix sajátértéke, akkor P (λ) a P (A) mátrix sajátértéke.

152. Tétel (spektrálfelbontási tétel). Az n×n-es szimmetrikus, valós elem¶Amátrixnak van pontosan n valós sajátértéke (nagyság szerint csökken® sorrend-ben jelölje ®ket λ1 ≥ λ2 ≥ · · · ≥ λn), és az ezekhez tartozó u1,u2, . . . ,unsajátvektorok megválaszthatók úgy, hogy ortonormáltak legyenek (egy ilyen u1, . . . ,unrendszert ortonormált sajátvektor rendszernek nevezünk). Mátrixalakban ez az

A = UΛUT =n∑i=1

λiuiuTi (13.4)

felbontást jelenti, ahol az n×n-es Λ diagonális mátrix a λ1, . . . , λn sajátértékekettartalmazza f®diagonálisában, az U ortogonális mátrix pedig a hozzájuk tartozósajátvektorokat tartalmazza oszlopaiban, a sajátértékek sorrendjének megfelel®en.Az (13.4) felbontást az A mátrix spektrálfelbontásának nevezzük.

Szimmetrikus mátrixok sajátértékeinek becslésének hasznos eszköze a Weyl per-turbációs tétel

153. Tétel.maxj

|λj(A)− λj(B)| ≤ ∥A− B∥. (13.5)

Vegyük észre, hogy ha a B mátrix k-rangú, akkor (13.5) baloldala nem kisebb,mint λ∗k+1(A), viszont a B :=

∑ki=1 λ

∗iu

∗iu

∗Ti mátrixra teljesül

∥A− B∥ = λ∗k+1(A).

Ezzel bebizonyítottuk, hogy a k-rangú szimmetrikus mátrixok körébenA legjobbközelítése B.

Ez az észrevétel képezi a f®komponensanalízis alapját.A Weyl perturbációs tétel tetsz®leges mátrixokra is általánosítható.

13.1. LINEÁRIS ALGEBRA 199

154. Tétel. Legyen A tetsz®leges m× n-es valós elem¶ mátrix. Akkor

minBB k-rangú

∥A− B∥ = sk+1 ,

és a minimum a B = VSkU mátrixon éretik el, ahol Sk az els® k szingulárisértéket, valamint 0-kat tartalmazó (esetleg téglalap alakú) diagonális mátrix, Ués V pedig az A mátrix szinguláris felbontásában szerepl® ortogonális márixok.

155. Megjegyzés. Az (13.4) formula azt jelenti, hogy az A mátrix egydimen-ziós alterekre való mer®leges vetítések valós lineáris kombinációjaként áll el®.

Tetsz®leges valós n × n-es mátrixot nem lehet ortogonális bázisban diagonal-izálni, s®t egyáltalán nem lehet diagonalizálni, mert pl. a |A − λI| = 0 karak-terisztikus egyenletnek komplex gyökei vannak, ilyen pl. a sík α szöggel valóelforgatását megadó (

sinα cosα− cosα sinα

)mátrix. Ilyenkor a mátrix komplex euklideszi térbeli ortogonális bázisban dia-gonalizálható, de ha a karakterisztikus egyenletnek többszörös (valós vagy kom-plex) gyöke van, akkor el®fordulhat (nem szükségképpen!), hogy a mátrixnakmég a komplex térben is n-nél kevesebb sajátvektora van, így ferde" bázisbansem diagonalizálható, pl. (

1 10 1

).

Más módszert kell találni a mátrixok egyszer¶bb alakban való felírására. Erreszolgál a poláris felbontás tétele, amely a komplex számok z = reiφ alakúfelírásának messzemen® általánosítása.

156. Tétel (a poláris felbontás tétele). Tetsz®legesA négyzetes mátrix felírhatóWB alakban, ahol B pozitív szemidenit (szimmetrikus), W pedig ortogonális.A B mátrix mindig egyértelm¶en meghatározott, míg W csak abban az esetben,ha A invertálható.

A tétel közvetlen következménye a négyzetes mátrixokra vonatkozó

157. Tétel (szinguláris felbontási tétel). Tetsz®leges A négyzetes mátrix-hoz van olyan S = diag (s1, . . . , sn) diagonális, valamint U és V unitér mátrix,hogy

A = VSUT =n∑i=1

siviuTi . (13.6)

• 1. A poláris (és a szinguláris) felbontásban szerepl® U mátrix u1, . . . ,unoszlopvektorai rendelkeznek a következ® tulajdonsággal:

(Aui)T (Auj) = δijs

2i


• 2. AV mátrix v1, . . . ,vn oszlopvektoraira igaz az si ·vi = Aui összefüggés.

• 3. Az u1, . . . ,un vektorrendszer az ATA, míg a v1, . . . ,vn vektorrendszerazAAT sajátvektorrendszere. (Az els® állítás a konstrukció következménye,a második pedig az AAT = VSUTUSVT = VS2VT egyenl®ségsorozat-ból adódik.)

• 4. Egy szimmetrikus mátrix szinguláris értékei a sajátértékek abszolútértékei. Egyik oldali szinguláris vektoroknak megfelel a sajátvektorok bármelyrendszere, legyen ez az ui rendszer, a másik oldali szinguláris vektorokpedig a vi = ±ui vektorok lesznek, ahol az el®jel a megfelel® λi sajátértékel®jele.

• 5. ∥A∥ = s1.

158. Tétel. Legyen A tetsz®leges m× n-es valós elem¶mátrix. Akkor

minBB k-rangú

∥A−B∥ = sk+1 ,

és a minimum a B = VSkU mátrixon éretik el, ahol Sk az els® k szingulárisértéket, valamint 0-kat tartalmazó (esetleg téglalap alakú) diagonális mátrix, Ués V pedig az A mátrix szinguláris felbontásában szerepl® ortogonális márixok.

159. Deníció (mátrix nyoma). A trA =∑ni=1 aii mennyiséget az A n×n-

es mátrix nyomának nevezzük.

általában nem igaz, hogy az 1, . . . , k számok tetsz®leges π(·) permutációjára

tr (A1 . . .Ak) = tr (Aπ(1) . . .Aπ(k)),

de ha π(·) ciklikus, akkor a tr(·) függvény kommutatív:

tr (A1 . . .Ak) = tr (A2 . . .AkA1) = tr (A3 . . .AkA1A2),

s.í.t..Szükségünk lesz még a p × n-es A és a q × m-es B mátrixok Kronecker-

vagy tenzor-szorzatára. Ez alatt azt a pq×nm-es, A⊗B-vel jelölt hipermátrixotértjük, melynek pn darab q×mméret¶blokkja van: az (i, j) blokk az aijBmátrix(i = 1, . . . p; j = 1, . . . , n). A Kronecker-szorzás asszociatív, a mátrixösszeadásranézve disztributív, viszont általában nem kommutatív. Igaz azonban, hogy

(A⊗B)T = AT ⊗BT .

Amennyiben A és B négyzetes mátrixok például A n × n-es, B pedigm×m-es, akkor

|A⊗B| = |A|m · |B|n,továbbá, ha mindkett® invertálható, akkor Kronecker-szorzatuk is az, és

(A⊗B)−1 = A−1 ⊗B−1.

13.2. FÜGGELÉK 2: VALÓSZÍNSÉGELMÉLETI KÉPLETGYJTEMÉNY201

13.2. Függelék 2: Valószín¶ségelméleti képletgy¶jtemény

13.2.1. Kolmogorov axiómái:

• (i) Adva van egy nem üres Ω halmaz (az eseménytér), Ω elemeit elemieseményeknek nevezzük, és ω-val jelöljük.

• (ii) Ki van tüntetve az Ω részhalmazainak egy A algebrája (Ω ∈ A, A ∈A ⇒ Ω \A ∈ A, A ∈ A & B ∈ A ⇒ A ∪B ∈ A).

• (iii) A σ-algebra, azaz Ak ∈ A (k = 1, 2, . . . ) ⇒ ∪∞k=1Ak ∈ A.

• (iv) Minden A ∈ A eseményhez hozzá van rendelve egy P (A) nemnegatívszám, az A esemény valószín¶sége.

• (v) P (Ω) = 1.

• (vi) Ha Ak ∈ A (k = 1, 2, . . . ) páronként egymást kizáró események, akkorP (∪∞

k=1Ak) =∑∞k=1 P (Ak).

13.2.2. Szitaformula:

n = 3 esetben:P (A1 ∪A2 ∪A3) = P (A1) + P (A2) + P (A3)− P (A1 ∩A2)− P (A1 ∩A3)−

P (A2 ∩A3) + P (A1 ∩A2 ∩A3)

Tetsz®leges n-re:

P (A1 ∪ · · · ∪An) =n∑k=1

(−1)kS(n)k ,

aholS(n)k :=

∑1≤i1<···<ik≤n

P (Ai1 ∩Ai2 ∩ · · · ∩Aik).

13.2.3. Események függetlensége, feltételes valószín¶ség

Események függetlensége: Az A1, . . . , An események páronként (ill. teljesen)függetlenek, ha minden 1 ≤ j < k ≤ n párra P (Aj ∩ Ak) = P (Aj) · P (Ak) (ill.minden 1 ≤ i1 < · · · < ik ≤ n indexsorozatra P (Ai1 ∩ · · · ∩Aik) = P (Ai1) · · · · ·P (Aik)). A teljes függetlenség implikálja a páronkénti függetlenséget.

Feltételes valószín¶ség: P (A|B) := P (A∩B)P (B) , ha P (B) > 0.

Teljes eseményrendszer:

A1, . . . , An ∈ A, P (Ai ∩Aj) = 0 ha i = j és P (∪ni=1Ak) = 1.

Bayes tétele: Ha A1, . . . , An teljes eseményrendszer és P (B) > 0:

P (A1|B) :=P (B|A1) · P (A1)∑nk=1 P (B|Ak) · P (Ak)

.


13.2.4. Valószín¶ségi változó

Valószín¶ségi változó: Az Ω halmazon értelmezett olyan ξ(ω) valós érték¶füg-gvény, amelyre ξ(ω) < x ∈ A minden valós x-re. Ha ξ értékkészlete a ter-mészetes számok halmaza, akkor diszkrét valószín¶ségi változóról beszélünk.

Függetlenség: A ξ1, . . . , ξn valószín¶ségi változók páronként (ill. teljesen) függetlenek,ha a ξ1(ω) < x1, . . . , ξn(ω) < xn események páronként (ill. teljesen) függetlenekx1, . . . , xn minden értékére.

Eloszlás (általános eset): A ξ valószín¶ségi változó F (x) eloszlásfüggvénye:

Fξ(x) := Pξ < x

Fξ(x)monoton nemcsökken® balról folytonos függvény, Fξ(−∞) = 0, Fξ(∞) =1.

Diszkrét eset:

A ξ valószín¶ségi változó pj eloszlása:

pj := Pξ = j j = 0, 1, . . .

Abszolút folytonos eset:

Ha Fξ(t) =∫ t−∞ F ′

ξ(x)dx, akkor azfξ(x) := F ′

ξ(x) függvény a ξ valószín¶ségi változó s¶r¶ségfüggvénye.

Eloszlások konvolúciója:

A diszkrét eset: ha pi a ξ és qj az η független valószín¶ségi változókeloszlásai akkor a ζ = ξ + η valószín¶ségi változó eloszlása rk:

rk =

k∑i=0

pi · qk−i =k∑j=0

pk−j · qj .

Az abszolút folytonos eset: ha ξ és η független valószín¶ségi változók, akkor

fξ+η(z) =

∫ ∞

−∞fξ(z − y) · fη(y)dy =

∫ ∞

−∞fξ(x) · fη(z − x)dx.

Valószín¶ségi változó függvényének eloszlása: (Csak az abszolút folytonosesetetet vizsgáljuk.) Legyen ψ(x) monoton, dierenciálható függvény, tegyükfel, hogy minden x-re ψ′(x) = 0. Ha fξ(x) a ξ valószín¶ségi változó s¶r¶ségfüg-gvénye, akkor az ψ(ξ) s¶r¶ségfüggvénye:

fψ(y) =

fξ(ψ

−1(y))|ψ′(ψ−1(y))| , ha inf ψ(x) < y < sup ψ(x)

0, különben


13.2.5. Valószín¶ségi változó momentumai:

A diszkrét eset: ha pk a ξ valószín¶ségi változó eloszlása, az

Mn,ξ :=∞∑k=1

kn · pk

összeget (amennyiben konvergens) a ξ n-edik momentumának nevezzük, míga

M(c)n,ξ :=

∞∑k=1

(k −M1)n · pk

összeget a ξ n-edik centrált momentumának nevezzük.

Az abszolút folytonos eset: ha f(x) a ξ valószín¶ségi változó s¶r¶ségfüg-gvénye, az

Mn,ξ :=

∫ ∞

−∞xn · f(x)dx

integrált (amennyiben létezik) a ξ n-edik momentumának nevezzük, míg a

M(c)n,ξ :=

∫ ∞

−∞(x−M1)

n · f(x)dx

integrált a ξ n-edik centrált momentumának nevezzük.Ha ξ és η független valószín¶ségi változók, akkor

Mn,ξ·η =Mn,ξ ·Mn,η.

Ha k < n és Mn,ξ létezik, akkor Mk,ξ is létezik.

Várható érték, szórásnégyzet:

A ξ valószín¶ségi változó várható értéke:E(ξ) :=M1,ξ szórásnégyzete:D2(ξ) :=

M(c)2,ξ .

Legyen ψ(x) egy tetsz®leges valós érték¶függvény.

E(ψ(ξ)) =

∑∞k=0 ψ(k) · pk, ha ξ diszkrét,∫∞

−∞ ψ(x) · f(x)dx, ha ξ abszolút folytonos,

amennyiben a jobboldalon álló összeg (integrál) létezik.

Ha ξ és η tetsz®leges valószín¶ségi változók, amelyeknek létezik a várhatóértékük, akkor E(ξ + η) = E(ξ) + E(η).

Ha ξ1, . . . , ξn páronként független valószín¶ségi változók, akkor D2(ξ1+ · · ·+ξn) = D2(ξ1) + · · ·+D2(ξn), ha a jobboldal létezik.

A Steiner-képlet:D2(ξ) :=M2,ξ − (E(ξ))2


13.2.6. A generátorfüggvény:

A pj eloszlású ξ diszkrét valószín¶ségi változó Gξ(s) generátorfüggvénye:

Gξ(s) := E(sξ) =

∞∑k=0

sk · pk

Gξ(s) analitikus az egyeségkörben, Gξ(1) = 1, G′ξ(1) = E(ξ).

Ha a ξ1, . . . , ξn valószín¶ségi változók teljesen függetlenek, akkor

Gξ1+···+ξn(s) = Gξ1(s) · · · · ·Gξn(s).

Ha ξ1, ξ2, . . . azonos eloszlású teljesen független valószín¶ségi változók, és νt®lük független diszkrét valószín¶ségi változó, akkor

Gξ1+···+ξν (s) = Gν(Gξ(s)).

A generátorfüggvény egyértelm¶en meghatározza az eloszlást:

pn =1

n!

dn

dsnGξ(s)|s=0, n = 1, 2, . . .

A generátorfüggvény s = 1 pontbeli deriváltjai meghatározzák az ún. fak-toriális momentumokat:

E[ξ(ξ − 1) . . . (ξ − k)] =dk

dskGξ(s)/V erts=1

13.2.7. A karakterisztikus függvény:

ξ valószín¶ségi változó φξ(t) karakterisztikus függvénye:

φξ(t) := E(ei·ξ·t) =

∑∞k=0 e

i·k·t · pk, ha ξ diszkrét,∫∞−∞ ei·x·t · fξ(x)dx, ha ξ abszolút folytonos,

ahol i =√−1. Ha ξ diszkrét, akkor φξ(t) = Gξ(e

i·t).

A φξ(t) a t-nek a (−∞ < t < ∞) intervallumon egyenletesen folytonosfüggvénye, φξ(0) = 1, |φξ(t)| ≤ 1 minden t-re, φa+bξ(t) = ei·a·tφξ(b · t).

Mn,ξ = (−i)ndn

dtnφξ(t)|t=0.

Ha a ξ1, . . . , ξn valószín¶ségi változók teljesen függetlenek, akkor

φξ1+···+ξn(t) = φξ1(t) · · · · · φξn(t).


A karakterisztikus függvény egyértelm¶en meghatározza az eloszlást; ab-szolút folytonos eloszlás esetén, ha |φξn(t)| integrálható:

fξ(x) =1

2π

∫ ∞

−∞e−i·x·tφξ(t)dt.

A karakterisztikus függvény t = 0 pontbeli deriváltjai alapján kiszámíthatóka momentumok:

E(ξk) = i−kdk

dtkφ(t)

13.2.8. Nevezetes diszkrét eloszlások:

Bernoulli-eloszlás (egyszer¶ alternatíva):Pξ = 1 = p, Pξ = 0 = q, p+ q = 1.E(ξ) = p, D2(ξ) = p · q, Gξ(s) = q + p · s.

Binomiális eloszlás (n független Bernoulli összege):Pξ = k =

(nk

)pkqn−k, p+ q = 1, k = 0, 1, . . . , n.

E(ξ) = n · p, D2(ξ) = n · p · q, Gξ(s) = (q + p · s)n.Poisson-eloszlás (binomiális eloszlás limesze, ha n→ ∞ és p · n = λ):

Pξ = k = 1k!λ

k · e−λ, λ > 0, k = 0, 1, . . .

E(ξ) = λ, D2(ξ) = λ, Gξ(s) = eλ·(s−1).

Geometriai eloszlás (az egyszer¶alternatíva független ismétléseinek száma azels® 1-es megjelenéséig):

Pξ = k = p · qk−1, p+ q = 1, k = 1, 2, . . .E(ξ) = 1

p , D2(ξ) = qp2 , Gξ(s) =

p·s1−q·s .

Negatív binomiális eloszlás (r darab geometriai összege):Pξ = r + k =

(k+r−1r−1

)prqk, p+ q = 1, k = 0, 1, . . .

E(ξ) = rp , D2(ξ) = r·q

p2 , Gξ(s) = ( p·s1−q·s )

r.

Hipergeometrikus eloszlás (visszatevés nélküli mintavétel):

Pξ = k =(Mk )·(

N−Mn−k )

(Nn)M < N, n ≤ N, k = 0, 1, . . . , n.

E(ξ) = n · MN , D2(ξ) = n · MN · (1− MN ) · (1− n−1

N−1 ).

13.2.9. Nevezetes abszolút folytonos eloszlások:

Normális (Gauss-) eloszlás:

fξ(x) =1√2πσ

e−(x−m)2

2σ2 , −∞ < x <∞, −∞ < m <∞, 0 < σ <∞.

E(ξ) = m, D2(ξ) = σ2,továbbá, ha m = 0, k = 1, 2, . . . E(ξ2k−1) = 0 ésE(ξ2k) = 1 · 3 · · · · · (2k − 1)σ2k.

ψξ(t) = ei·m·t−σ2

2 t2

.

Lognormális eloszlás (eξ eloszlása, ahol ξ Gauss):


fξ(x) =1

x·√2πσ

e−(lnx−m)2

2σ2 , 0 < x <∞, −∞ < m <∞, 0 < σ <∞.

E(ξ) = em+σ2/2, D2(ξ) = e2m+σ2 · (eσ2 − 1).

Exponenciális eloszlás:fξ(x) = λ · e−λ·x, , 0 < x <∞, 0 < λ <∞.E(ξ) = 1

λ , D2(ξ) = 1λ2 ψξ(t) =

11− i·t

λ

.

Az exponeciális eloszlást karakterizálja az ún. örökifjú tulajdonság:

P(ξ > x+ y|ξ > x) = P(ξ > y)

Gamma-eloszlás (G(λ, α)):fξ(x) =

λα

Γ(α)xα−1e−λx, x ≥ 0

(Γ(α) =∫∞0xα−1e−xdx)

E(ξ) = αλ D2(ξ) = α

λ2 ψξ(t) =(1− i tλ

)−α.

χ2 eloszlás n szabadságfokkal:fξ(x) =

xn/2−1e−x/2

2n/2Γ(n/2), x ≥ 0

E(ξ) = n D2(ξ) = 2n ψξ(t) =(1− i t2

)−n/2.

t (Student-) eloszlás n szabadságfokkal: A ξ/η eloszlása, ahol ξ és η függetlenek,

ξ ∼ N (0, 1) η ∼ χ2(n) fξ(x) =1√π n

Γ(n+12 )

Γ(n2 )

(1 + x2

n

)−n+12

,

E(ξ) = 0 ha n > 1 D2(ξ) = nn−2 ha n > 2.

Béta-eloszlás a, b paraméterrel (B(a, b)):fξ(x) =

1B(a,b)x

a−1(1− x)b−1 x ∈ [0, 1]

B(a, b) = Γ(a)Γ(b)Γ(a+b)

E(ξ) = aa+b D

2(ξ) = ab(a+b)2(a+b+1)

Másodfajú Béta-eloszlás a, b paraméterrel:

fξ(x) =xa−1(1+x)−a−b

B(a,b) x ∈ [0,∞)

E(ξ) = ab−1 ha b > 1 D2(ξ) = a(a+b=1)

(b−1)2(b−2) ha b > 2

Fisher-féle F-eloszlás n és m paraméterekkel (F(n,m)), A ξ/η eloszlása, ahol ξés η függetlenek:

fξ(x) =n( n

mx)n2

−1(1+ nmx)−

n+m2

mB(n2 ,

m2 ) Az η = n

mξ valószín¶ségi változó MásodfajúBéta-eloszlás n

2 ,m2 paraméterrel!

Egyenletes eloszlás (az (a, b) intervallumon):fξ(x) =

1b−a , ha a < x < b, 0 különben.

E(ξ) = a+b2 , D2(ξ) = 1

12 (b− a)2 ha a = −b: ψξ(t) =sin btb·t .

13.2.10. Sztochasztikus konvergencia, majdnem biztos kon-vergencia:

A ξn valószín¶ségi változó sorozat sztochasztikusan konvergál a ξ valószín¶ségiváltozóhoz, (ξn

szt→ ξ) ha bármely ε-hoz van olyan N , hogy minden n > N -re


P|ξn − ξ| > ε < ε.

A ξn valószín¶ségi változó sorozat majdnem biztosan (1 valószín¶séggel) kon-

vergál a ξ valószín¶ségi változóhoz, (ξnmb→ ξ) ha

Plimn→∞ξn = ξ = 1.

A majdnem biztos konvergencia implikálja a sztochasztikus konvergenciát.

13.2.11. Nevezetes összefüggések

160. Tétel (Markov-egyenl®tlenség). Ha a E(ξ) létezik, akkor minden poz-itiv a számra:

P|ξ| ≥ a ≤ E(|ξ|)a

.

Csebisev-egyenl®tlenség: Ha a D2(ξ) létezik, akkor minden pozitiv a számra:

P|ξ − E(ξ)| ≥ a ≤ D2(ξ)

a2.

161. Tétel (Nagy számok gyenge törvénye). Ha ξ1, ξ2, . . . páronként függetlenazonos eloszlású valószín¶ségi változók sorozata, és léteznek a D2(ξk) szórás-négyzetek, akkor

1

n(ξ1 + · · ·+ ξn)

szt→ E(ξ).

162. Tétel (Nagy számok er®s törvénye). Legyen ξ1, ξ2, . . . teljesen függetlenazonos eloszlású valószín¶ségi változók sorozata. Annak szükséges és elégségesfeltétele, hogy az 1

n (ξ1 + · · ·+ ξn) sorozat majdnem biztosan konvergáljon egy mszámhoz az, hogy létezzen az E(ξ) várható érték. Ekkor m = E(ξ).

163. Tétel ( Centrális határeloszlás tétel). Ha ξ, ξ1, ξ2, . . . teljesen függetlenazonos eloszlású valószín¶ségi változók sorozata, és létezik a D2(ξ) szórásnégy-zet, akkor

limn→∞P

ξ1 + · · ·+ ξn − n · E(ξ)√

D2(ξ) · n< x

=

∫ x

−∞

1√2πe−s

2/2ds.

13.2.12. Spektrálel®állítási tétel


0

2

4

6

8

10

12

-1 -0.8 -0.6 -0.4 -0.2 0 0.2 0.4 0.6 0.8 1

13.1. ábra. Kett®s cikllus - köbös simítás

-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

0 2 4 6 8 10 12

13.2. ábra. Kett®s cikllus - köbös simítás

-2

-1.5

-1

-0.5

0

0.5

1

1.5

2

0 2 4 6 8 10 12

13.3. ábra. Kett®s cikllus - simítás vége

Irodalomjegyzék

[1] Achlioptas, D., McSherry, F., Fast Computation of Low Rank mátrix ap-proximations J. ACM 54 2 (2007) Art. 9 (elektronikus) 19 o.

[2] Babu, Bootstrapping Statistics with Linear Combination of Chi-squares asa Weak Limit, The Indian Statist. J. 46 (1984) 85-93.

[3] Borovkov, A. A., Matematikai statisztika, Typotex, Bp., 1999

[4] Bevezetés a matematikai statisztikába, KLTE jegyzet, Szerk. FazekasIstván, Kossuth Egyetemi Kiadó, 2005

[5] Bolla Marianna, Krámli András, Statisztikai következtetések elmélete, Ty-potex, 2005

[6] Breiman, L., Friedman, J. H., Estimating Optimal Transformation for mul-tiple Regression and Correlation, J. Amer. Stat. Assoc. 80 391 (1985) 580598.

[7] Breiman, L., Friedman, J. H., Estimating Optimal Transformation for mul-tiple Regression and Correlation, J. Amer. Stat. Assoc. 80 391 (1985) 580598.

[8] Csencov, N. N., Statisztikai Döntési Szabályok és OptimálisKövetkeztetések (oroszul), NAUKA, Moszkva, 1972

[9] Csiszár Imre, Eloszlások eltérésének információ típusú mértékszámai. MTAIII. Oszt. Közleményei 17, 123149, 1967

[10] Efron, B., Bootstrap methods: another look at the jackknife Ann. Statist.7 (1979), 1-45

[11] Fisher, R. A. Theorz of statistical estimations, Proc. Cambridge Phylosoph.Soc. 22 (1925), 700.

[12] Flury, A rst course in multivariate statistics, Sringer, 1997

[13] Frieze, A., Kannan, R., Vempala, S., Fast Monte Carlo Algorithms for Find-ing Low-Rank Approximation, J. ACM 51 6 (2004) 10251041.

209

210 IRODALOMJEGYZÉK

[14] Giri, Multivariate statistical analysis, Marcel Dekker, 2004

[15] Gnyegyenko, B. V., Kolmogorov, A. N., Független valószín¶ségi változóköszegeinek határeloszlásai, Akadémiai Kiadª, Budapest, 1951

[16] Grone, R., Pierce, S., Watkins W., Extremal correlation matrices, Lin. Alg.Appl. 134 (1990), 6370.

[17] Hofmann, T., Schölkopf, B., Smola, J., Kernel methods in machine learning,Ann. Statist. 36 3 (2008) 11711220.

[18] Kruskal, J. B., On the shortest spanning subtree of a grapf and the travel-ling salesman problem. Problem. Amer. Math. Soc. 7 (1956), 4850

[19]

[20] Lovász, L., Kombinatiorikai problémák és feladatok Typotex, Bp., 1999

[21] Lukacs, E., The stochastic independence of symmetric and homogeneouslinear and quadratic statistics, Ann. Math. Statist. 23 (1952), 442449.

[22] Mika, S., Schölkopf, B., Smola, A. J. Müller, K. R., Kernel PCA and de-noising in feature spaces, Advances in neural information processing sys-tems 11 (1), 536-542

[23] Miller, Rupert, G., Jr., A trustworthy jackknife, Ann. Math. Statist. 35(1964), 1594-1605

[24] Miller, Rupert, G., Jr.,Jackkning variances, Ann. Math. Statist. 39 (1968),567-582

[25] Móri, Szeidl, Zempléni: Matematikai statisztika példatár, ELTE Eötvös Ki-adó, 1997

[26] Móri Tamás, Székely J. Gábor (szerk.), Többváltozós Statisztikai Analizis,M¶szaki Könyvkiadó, Budapest, 1972

[27] Olkin, I., Pierce, S. The 70th anniversary of random matrices, Lin. Alg.Appl. 354 (2002), 231-243.

[28] Quenouille, M., H., Notes on bias in estimation, Biometrika, 43 (1956) 353-360

[29] R., ed. Handbook of Statistics, V. 9. 627-659 Elsevier Science Pulisher, 1993

[30] Rózsa, P., Lineáris algebra és alkalmazásai, M¶szaki Könyvkiadó, Bp., 1974

[31] Singh, K., On the asymptotoic accuracy of Efron's bootstrap, Ann. Statist.9 (1981) 11871195.

[32] Tukey, J., W., Abstract, Ann. Math. Statist. 29 (1958), 612

többváltozós statisztikai módszerek (elektronikus...

Documents