Download - ANREG KELOMPOK 5
-
5/22/2018 ANREG KELOMPOK 5
1/44
Regresi dalam lambangmatriks
Kelompok:
Faiz. H (3125100128)
Dina. Oktasari (3125102314)
Antoni. Ahmad (3125102334)Ristasari. Belina
(3125102327)
-
5/22/2018 ANREG KELOMPOK 5
2/44
Regresi dalam lambang matriks
Y1dan X1pengamatan yang dilakukan pada y dan xdengan galat 1. Bila diambil pengamatan sebanyak nmaka persamaan ini dapat ditulis sebagai
Y1= 0+ 1X1+ 1
Y2= 0+ 1X2+ 2
Yn= 0+ 1Xn+ n
-
5/22/2018 ANREG KELOMPOK 5
3/44
Dalam lambang matriks ditulis menjadi
Misalkan Y = , = , X = , dan =
Atau dapat disederhanakan penulisannya menjadi
Y = X +
-
5/22/2018 ANREG KELOMPOK 5
4/44
Model regresi umum yang mengandung k
peubah bebas dapat ditulis sebagaiY = 0+ 1X1+ 2X2 + . + kXk+
Bila pengamatan mengenai Y, X1, X2, , Xkdinyatakan masing-masing dengan Yi, Xi1, Xi2, ,Xikdan galatnya i, maka persamaannyamenjadi
Yi= 0+ 1Xi1+ 2Xi2+ . + kXik+ ii=1,2,..,n
-
5/22/2018 ANREG KELOMPOK 5
5/44
dalam lambang matriks menjadi
= +
dapat juga ditulis
Y = X+
Dalam bentuk umum Y merupakan vectorrespons nx1, X menyatakan matriks peubahbebas ukuran nx(k+1), vektor parameterukuran (k+1)x1 dan vektor galat ukuran nx1.
Ada sebanyak k+1 parameter yang harusditaksir dari data termasuk 0. Taksirannya akanditulis dalam bentuk persamaan umum = Xb,dengan b = , vector taksiran dari .
-
5/22/2018 ANREG KELOMPOK 5
6/44
Vector dan matriks peubah acak
Z =
Nilai harapan Z didefinisikan sebagai
E (Z) =
-
5/22/2018 ANREG KELOMPOK 5
7/44
Misalkan W =
Maka variansi dari W didefinisikan sebagaiE([W-E(W)] [W-E(W)]')
=
-
5/22/2018 ANREG KELOMPOK 5
8/44
Teorema
Bila A dan B dua matriks tetapan (semua unsurnya
tetapan) dan W vector peubah acak maka
1. E(AW) = AE(W)
E(AWB) = AE(W)B
2. Bila Z = AW
maka
Bukti :
1. Sifat ini dibuktikan dengan menuliskan perkalian AW
dalam bentuk matriks, kemudian gunkaan definisi nilaiharapan.
-
5/22/2018 ANREG KELOMPOK 5
9/44
2. Menurut definisi
E[(Z-E(Z)) (Z-E(Z))']
= E[(AW-AE(W) (AW-AE(W))']= A[E(W)-E(W)) (W-E(W))'] A
=
5 3 M t d k d t t k il
-
5/22/2018 ANREG KELOMPOK 5
10/44
5.3 Metode kuadrat terkecil
dengan matriks
vector b = (b0, b1, , bk) , taksiran dari vectorparameter =( 0, 1, , k) , yang meminimumkan
bentuk kuadrat
-
5/22/2018 ANREG KELOMPOK 5
11/44
kita ingin mencari b0, b1, bk yangmeminimumkan jumlah kuadrat galat
Seperti hal nya dengan regresi linier
sederhana , turunkan J secara parsialterhadap 0 , 1, 2, , k dan samakan
dengan nol .
Jadi
-
5/22/2018 ANREG KELOMPOK 5
12/44
Setelah disusun kembali dan ganti semua parameter dengan
penaksirannya , system persamaan ini dapat ditulis sebagai
...............................
-
5/22/2018 ANREG KELOMPOK 5
13/44
Persamaan tsb disebut persamaan normal. Jika ditulis dalam lambing
matriks maka bentuknya menjadi
Bila Y= (y1, y2, ,yn), dan b= (b0,b1, b2, ,bk)
. Bila X X tidak singular , maka
Cara kedua A = Q R
-
5/22/2018 ANREG KELOMPOK 5
14/44
Contoh 5.2 Pandang matriks
Dengan pengortogonalan Gram-Schmidt , misalnya , dapat dicari Q
dan R sehingga A = QR , Q Q = dan R matriks segi-tiga . Matrikstersebut adalah
Matriks A sesungguhnya tidak perlu bujur sangkar seperti terlihat dari
contoh berikut.Pandang Dalam hal ini
-
5/22/2018 ANREG KELOMPOK 5
15/44
Pandang kembali peminimuman persamaan
J = YY 2YQR + RQQR= (YY Y QQ Y) + (Y QQ Y 2YQR +
RR)
= Y( - QQ)Y + (QY R)(QY R)J akan minimum jikaatau
-
5/22/2018 ANREG KELOMPOK 5
16/44
=
=Conth 5.3 Misalkan p=3 serta
Maka dari persamaan (5.19), dengan mengganti dengan b diperoleh
Atau 3b2 = -12 , sehingga diperoleh
b2 = -4,
b1 = 5,
b0 = 30.
-
5/22/2018 ANREG KELOMPOK 5
17/44
5.4 Sifat taksiran kuadrat
terkecil
Sifat penaksir
1. Takbias
2. Variansi minimum
-
5/22/2018 ANREG KELOMPOK 5
18/44
Teorema Gauss-MarkovPenaksir kuadrat terkecil mempunyai variansi
terkecil dalam himpunan semua penaksir linier takbias.
Bukti
Misalkan b. penaksir linier lain dari yang juga takbias. Karena b.
penaksir linier maka dapat dimisalkan bentuknya sebagai
Untuk suatu matrik U yang merupakan fungsi dari X.
Jadi
-
5/22/2018 ANREG KELOMPOK 5
19/44
Karena
Contoh 5.4 Untuk k=1 (regresi linier sederhana)dan
-
5/22/2018 ANREG KELOMPOK 5
20/44
Unsur pada diagonal dari kiri atas ke kanan bawah adalah masing-
masing var(b0) dan var(b1), sedangkan yang lainnya adalah kov(b0,
b1). Atau,
-
5/22/2018 ANREG KELOMPOK 5
21/44
Dari contoh ini terlihat jelas bahwa matriks variansi b tidak tergantung
pada respons Y, tapi sangat dipengaruhi oleh struktur matriks X, yaitu
rancangan percobaan.
*Akibat 1
Dari diperoleh
*akibat 2
-
5/22/2018 ANREG KELOMPOK 5
22/44
Misalkan Y N (X, 2I), peubah ganda normal dan misalkanfungsi kemungkinan dari pengamatan y
dengan menurunkan terhadap 2 kemudian
menyamakannya dengan 0,
Maka diperoleh hasil tambahan
-
5/22/2018 ANREG KELOMPOK 5
23/44
5.5 Pengujian Hipotesis Linear Umum di
dalam Regresi
Peneliti seringkali mempostulatkan modelyang lebih umum daripada yang mereka kira
perlukan. Misalnya seorang peneliti
menyelidiki hubungan antsra responsdengan dua peramalX1danX2dan iatelah
memperoleh data (Y1,X1, X2) i= 1, 2, ,n. Iamemperkirakan bahwa meskipunX
1
danX2
keduanya mempengaruhi Y, peramal tunggal
yang sesungguhnya paling berpengaruh
adalah selisihX1X2.Bila keduaXitu
dibutuhkan, berarti ia ingin menggunakan
-
5/22/2018 ANREG KELOMPOK 5
24/44
Namun jika kecurigaannya benar, berarti model
Sudah cukup baik.
Suatu hipotesis linear mungkin saja terdiri atas lebih dari
satu
pernyataan tentang . Sekarang akan disampaikan
teladan
beberapa hipotesis linear lainnya, dijelaskan bagaimana
cara
mengujinya, dan diilustrasikan prosedurnya dengan
ilustrasi
0 1 1 2 2 (1)Y X X e
0 1 2( ) (2)Y X X e
-
5/22/2018 ANREG KELOMPOK 5
25/44
Teladan 1. Model :
(dua fungsi liear yang bebas)(yang dimaksud dengan bebas adalah bebas linear,
artinya pernyataan yang satu tidak dpat diperoleh
sebagai suatu kombinasi linear pernyataan-
pernyataan lainnya dalam grup tersebut)
Teladan 2. Model :
:
(fungsi linear yang semuanya
bebas)
0 1 1 2 2E Y X X
0 1: 0H
2 0
2 0
0 1: 0H
0 1 1 2 2 k kE Y X X X
0i
-
5/22/2018 ANREG KELOMPOK 5
26/44
Teladan 3. Model :
:
(fungsi linear yang semuanya
bebas)Perhatikan bahwa ini tidak lain adalah suatu hipotesis
misalnya
Teladan 4. (Bentuk Umum)
: : :
0 1 1 2 2 k kE Y X X X
0 1 2: 0H
2 3 0
1 0k k
0 1 2 2:
kH
0 1 1 2 2 k kE Y X X X
0 10 0 11 1 12 2 1: 0
k kH c c c c
0 0 0 1 1 2 2: 0
m m m mk k H c c c c
-
5/22/2018 ANREG KELOMPOK 5
27/44
Pengujian Hipotesis Linear Umum
Misalkan model yang dipostulatkan yang diasumsikan benar,
adalah
Dengan vektor Y berukuran (n x 1) matrik X berukuran (n x p)
dan
vektor berukuran (p x 1). Bila XXtidak singular kita dapat
menduga dengan
Jumlah kuadrat sisa untuk analisis ini adalah
Jumlah kuadrat ini memiliki np derajat bebas. Hipotesislinear
yang akan diuji yaitu
E Y X
1 '
( ' )b X X X Y
' ''JKS Y Y b X Y
0: 0H C
-
5/22/2018 ANREG KELOMPOK 5
28/44
Asumsi bahwa menyatakan m buah persamaan
yang hanya
q diantaranya yang bebas. Kita dapat menggunakan q
persamaan
yang bebas itu untuk mencari jawaban bagi q parameter
diucapkan
sebagai fungsi pq parameter lainnya. Pensubstitusianjawaban itu
kembali ke model semula menghasilkan model tereduksi
misalnya
Sekarang kita dapat menduga vektor partameter dalam
model baru
ini dengan
Kalau ZZtidak sin ular dan da at mem eroleh umlah
0C
E Y Z
1 '( ' )a Z Z Z Y
' ''JKW Y Y a Z Y
-
5/22/2018 ANREG KELOMPOK 5
29/44
Uji hipotesis sekarang dapat dilakukan dengan
menghitung
nisbah
Uji yang layak bagi Teladan 1 dan 2 adalah bentuk khusus uji
ini.
Model tereduksi dalam kedua kasus ini adalah:
Dengan 1 = (1, 1, ..., 1)adalah vektor yang semua unsurnya
satu.Cara lain menuliskan model ini adalah
( ) /
/ ( )
JKW JKS q
JKS n p
0: 0H C
01E Y
0( ) , 1, 2, ,iE Y i n
-
5/22/2018 ANREG KELOMPOK 5
30/44
Karena dengan (n1) derajat bebas,sedangkan
dengan (nk - 1) derajat bebas. Dengan
demikian
nisbah untuk uji adalah
2
'
0 ,b Y JKW Y Y n Y
'' 'JKS Y Y b X Y
2
'
' '
' '
1
b X Y nY
kY Y b X Y
n k
0 1 2 , 0
k
-
5/22/2018 ANREG KELOMPOK 5
31/44
TELADAN: Diberikan model ujilah hipotesis
bila
X = dan
Jawab: Pertama-tama kita hitung JKS berdasarkan model
mula-mula
kita peroleh
E Y X0: 0H C
' (1,4,8,9,3,8,9)Y
'
0 1 2 11( , , , ) 1 1 1 1
1 1 1 1
1 1 1 1
1 1 1 1
1 0 0 0
1 0 1 0
1 0 2 0
0 0 0 1
0 1 1 0
0 1 1 1
0 2 2 3
20 1 1 2 2 1 11E Y X X X
1
' 1
1 1 102 6 2
7 0 3 4 10 0 0
0 4 0 0 4( )
1 1 13 0 9 00
6 6 64 0 0 4
1 1 30
2 6 4
X X
-
5/22/2018 ANREG KELOMPOK 5
32/44
JKS = 316312,33 = 3,67
Persamaan-persamaan untuk hipotesis nol adalah
' ' 1 '
11
42 3
4 1( )
38 3
22 11
6
X Y b X X X Y
' ' '312.33b X Y
'
316Y Y
0: 0H C
1 0
1 2 0 1 2 11
0
1 2 112 2 3 0
-
5/22/2018 ANREG KELOMPOK 5
33/44
Hipotesis nol ini secara lebih singkat dapat ditulskan sebagai
, misalnya, katena persamaan yang ketiga
dan
keempat mempunysi kombinasi linear persamaan yang
pertama dan
kedua. Dengan mensubstitusikan syarat itu ke dalam model
maka
diperoleh model tereduksian
dengan
, dengan demikian
Z =
1 11 1 2: 0, 0H
0 1 2 0E Y X X Z
0 0 1 2, ,Z X X
1 ( 1 1)) 1 2
1 (1 1) 1 0
1 ( 1 1) 1 0
1 (1 1) 1 2
1 (0 0) 1 0
1 (0 1) 1 1
1 (0 2) 1 2
1
' 142 7 3 13 31, '42 3 13 3 782
Z Y Z Z
-
5/22/2018 ANREG KELOMPOK 5
34/44
JKW = 316301,17 = 14,83
Selanjutnya dalam kasus ini p = 4, q = 2, n = 7, np = 3sehingga
JKWJKS = 14,833,67 = 11,16 = JK yang berasal darihipotesis.
Statistik uji untuk H0dengan demikian adalah
(11.16/2)/(3.67/3) =
4.56. Karena F(2, 3, 0.95) = 9,55, kita tidak dapat menolak H0
Karena
model semula adalah dan hipotesis
nol
yang tidak ditolak berimplikasi bahwa maka
model
an lebih masuk adalah .
1 ' '1021
' , 301,17441
a Z Z Z Y aZ Y
20 1 1 2 2 1 11E Y X X X 11 1 2
0, 0
0 1 2E Y X X
-
5/22/2018 ANREG KELOMPOK 5
35/44
5.6 Perubahan Jumlah Kuadrat Regresi
Pandanglah bentuk
Bentuk diatas adalah pengelompokan dari
dengan
Denganx0suatu vektor yang semunya unsurnya. Dengan
demikian
penaksir kuadrat terkecil dari parameter dan adalah
atau
1 1 2 2Y X X e
0 1 1 1 1k q k q k q k q k k Y x x x x c
2 2E b
1 2
1( ' ) 'b X X X Y
1' '
1 1 1
1 2' '2 2 2
b X Xb X X Y
b X X
-
5/22/2018 ANREG KELOMPOK 5
36/44
Misalkan
Dan
maka
1' ' '
1 1 1 1 1
' ' '
2 1 2 2 2
X X X X X Y
X X X X X Y
1
'
1 1 1 1 1'H X X X X
' ' ' 1 ' ' ' '
2 2 1 1 1 1 1 2 2 2 2 1 2( )D X X X X X X X X X X X H X
'
2 1 2(1 )X H X
1 1' 1 ' 1 ' ' 1 ' '
'1 1 1 2 2 1 1 1 2 1 1 11
'11 ' ' 1 2
2 1 1 1
1X X X X D X X X X D X X X X X Yb
X YD X X X X D
1 1
' ' ' ' 1 '
1 1 1 1 1 1 2 2 1
1 '
2 1
(1 )Y
(1 )
X X X Y X X X X D X H
D X H Y
Sehingga
-
5/22/2018 ANREG KELOMPOK 5
37/44
Sehingga
BilaX1ortogonalX2, yaituX1danX2tidak berkorelasi, maka
bentuk
dapat disederhanakan menjadi
Tetapi
Sehingga
' 1 '
1 1 1
1 ' ' ' 1 '
2 2 1 1 1 1
( )
( ( ) )
X X X Y
b D X X X X X X Y
' 1 '
1 1 1
1 '
2
( )X X X Yb
D X Y
1
1 1 ' ' ' 1 ' ' ' 1 '
2 2 2 2 1 1 1 1 2 2 2 2 2( ) ( )D X Y X X X X X X X X X Y X X X Y
' 1 '
1 1 1
' 1 '
2 2 2
( )
( )
X X X Yb
X X X Y
-
5/22/2018 ANREG KELOMPOK 5
38/44
Misalkan JKR adslah jumlah kuadrat regresi untuk model
(5.41) maka
Tetapi menurut (5.43)
Dan
Sehingga
-
5/22/2018 ANREG KELOMPOK 5
39/44
Sekarang misalkan dikeluarkan dari model, jadi kita
memandang
Model
Perhatikan bahwa koefisien regresi pada persamaan
(5.48) tidak
perlu sama dengan pada persamaan (5.41). misalkan
jumlah
kuadrat regresi akibat model terakhir ini kita nyatakan dengan
JKR1
Maka
Dengan demikian pengurangan jumlah kuadrat regreai akibat
pengeluaran faktorX2dari model (5.41) diperoleh dengan
2
1 * ' ' ' '
1 1 1 1 1 1
( )( )
yJKR b X Y Y X X X X Y
n
' 1 '
1 1 2 1 1( ) ( )JKR JKR Y I H X D X I H Y
-
5/22/2018 ANREG KELOMPOK 5
40/44
Mengingat
maka (5.50) dapat pula ditulis sebagai
BilaX1dan X2ortogonal maka
Jumlah kuadrat ini sama dengan JKR2, jika JKR2menyatakan
jumlah
kuadrat regresi bila hanyaX2yang ada dalam model. Ini
berartibahwa jikaX1danX2ortogonal maka urutan pemasukan
peubah
bebas kedalam moel tidak mempengaruhi jumlah kuadrat
regresi
1 '
2 2 1( )b D X I H Y
'
1 2JKR JKR b Db
' ' ' ' '
1 2 2 2 2 2 2 2 2( )JKR JKR b X X b Y X X X X Y
-
5/22/2018 ANREG KELOMPOK 5
41/44
Uji-F SebagianJika di bab yang lalu ttelah kita lihat bahwa penambahan suatu peubah bebas ke
dalam persamaan regresi menaikkan jumlah kuadrat regresi dan sebaliknya.Makin besar pengaruh peubah bebas yang ditambahkan/dibuang makin besar
pula penambahan/pengurangan jumlah regresi yang diakibatkannya. Maka uji-
Finiialah sebuah acuan untuk memutuskan kapan suatu
penambahan/pengurangan jumlah kuadrat regresi disebut besar atau kecil, yaitu
berarti atau tidak. Dengan kata lain, kita membutuhkan suatu pembanding yanguntungnya dengan mudah tersedia, yaitu s2penaksir . Sebelum kita
membahasnya secara lebih umum mari kita tinjau kembali persamaan berikut :
Kita ingin misalnya membandingkan model ini dengan
* *
0 1 1Y x c
0 1 1 2 2Y x x c
H l h l k i d l ji
-
5/22/2018 ANREG KELOMPOK 5
42/44
Hal-hal yang terkait dalam uji-
F JKR JKS
JKR1 JKS1 Dk JKR dan JKR1
Dk JKS dan JKS1 F-Hitung
-
5/22/2018 ANREG KELOMPOK 5
43/44
JKR =
JKS =
Dk (JKR - JKR1) = 2-1 = 1 Dk (JKS1- JKS ) = 2-1 = 1
F-Hitung
( )iy y
2( )
iy y
1JKS JKS / 1/ ( 3)
FJKS n
-
5/22/2018 ANREG KELOMPOK 5
44/44
Contoh
H0: = 0H1:
pada tabel 4.5 kita telah peroleh JKR = 3329,7674
dimana JKR1= 2880,3850 sedangkan JKS = 0,0246
dengan dk = 20-3 = 17.Jadi
= 3,11 x 105
Nilai F sebesar ini jelas menyebabkan penolakan
H0sehingga kita meyakini model
22 0
3329,7674 2880,3850 /10,0246 /17
F
0 1 1 2 2Y x x c
1JKS JKS / 1/ ( 3)
FJKS n