ray 7 דוגמא
DESCRIPTION
Ray 7 דוגמא. ?. אלגוריתם. קבל דוגמאות פלט f a עבור הדוגמה a המינימלית החיובית. חסם של Markov. חסם של Chebychev. למה Sauer. Shatter Coefficient. ממד (VCdim). ε -net. משפט ε -net. משפט OCCAM. חסם של Markov. חסם של Chebychev. למה Sauer. - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/1.jpg)
1ln1
m
1ln||ln1|| HSm
otherwise
axxffRay aa 0
1)( :
Ray 7 דוגמא
|| Ray
אלגוריתםקבל דוגמאות 1. המינימלית החיוביתa עבור הדוגמה fa פלט 2.
?
![Page 2: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/2.jpg)
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
![Page 3: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/3.jpg)
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
![Page 4: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/4.jpg)
קצת רקע בהסתברות
1][EPr XX
Markovחסם של
משתנה מקרי חיובי. אזי Xיהי
אזי לא יכול להיות שיותר מחצי aאינטואיציה: אם ממוצע ציונים הוא 2a הציונים גדולים מ-
Markov
1856-1922
tXtX ][EPr
E[X]t עבור E[X] E[X]
![Page 5: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/5.jpg)
x
xXxX ]Pr[][E
tx
xXx ]Pr[
tx
xXt ]Pr[
tx
xXt ]Pr[
]Pr[ tXt
E[X]t
1][E
][E][EPr
X
XXX
חיובי ? Xאיפה השתמשנו בזה ש-
![Page 6: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/6.jpg)
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
![Page 7: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/7.jpg)
Chebychev1821-1894
2
][Var][EPrt
XtXX
Chebychevחסם של
משתנה מקרי. אזי Xיהי
E[X]tt
222 ]E[E))(E(E][Var XXXXX
הוכחה: tXX ][EPr
22][EPr tXX
22
2 ][Var)(EEt
Xt
XX
לפיMarkov
![Page 8: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/8.jpg)
דוגמא: ניסוי ברנולי
failure0success1
X
וכשלון בהסתברותpניסוי עם הצלחה בהסתברות q=1-p
][E X ppp )1(01
][Var X 22 ]E[E XX
pqpppX 22E
Nicolaus Bernoulli 1623-1708
![Page 9: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/9.jpg)
m נסיונות ברנולי בלתי-תלויים
p-1y probabilit with failure0
py probabilit with success1iX
מספר ההצלחות
m
iiXY
1
][E Y
m
iiX
1
E
m
iiX
1
E mp
][Var Y
m
iiX
1
Var
m
iiX
1
Var mpq
![Page 10: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/10.jpg)
2Prt
mpqtmpY
Chebychevחסם של
2
][Var][EPrt
XtXX
2Prt
mpqmtp
mY
mmpqp
mY
22
1Prmt
2
1m
p -קרוב ל- Y/mבהסתברות לפחות 1
![Page 11: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/11.jpg)
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
![Page 12: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/12.jpg)
VCdim (Vapnik-Chervonenkis(ממד
Vapnik Chervonenkis
קבוצה של פונקציות בוליניותCתהי }1,0{: Xf
C ע"י Shatteredמנפצת נומר ש- אם
XS
))(( CgSR
gהיא אפס על gהיא אחד על
RRS \
SR RS \
g10
![Page 13: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/13.jpg)
))(( CgSR
gהיא אפס על gהיא אחד על
RRS \
מנפצת אם XS
1דוגמא
otherwise
axxffRayC aa 0
1)(
0 1 2 3
5.1f-1
2f
}2{S
}2,1{S? האם מנפצתהאם קיימת קבוצה עם שני אברים מנפצת ?
![Page 14: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/14.jpg)
2דוגמא
otherwise
axbxffIntervalC aba 0
1)( ,
0 1 2 3
3,5.1f-1
3,0f
}2,1{S
5.1,0f
4,3f}3,2,1{S? האם מנופצת
האם קיימת קבוצה מנופצת עם שלשה אברים ?
}1{R
{}R
}2{R}2,1{R
![Page 15: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/15.jpg)
VCdim(C)גודל הקבוצה הגדולה ביותר המנופצת
1)dim(VC Ray2)dim(VC Interval
![Page 16: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/16.jpg)
][ 2211),,(2
21bxaxafHS baa
2dimVC HS 3
3דוגמא
נראה קודם ש- הוכחה 3dimVC 2 HS
![Page 17: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/17.jpg)
4dimVC 2 HSלא קיימת קבוצה עם ארבעה אברים מנופצת
: הנקודה הרביעית בתוך המשולשמקרה א
בהנתן ארבעה נקודות. תבחר שלשה נקודות ותבנה משולש
A B
C
אזי אם נקודות המשולש חיוביות אז כל נקודות המשולש הפנימיותחיוביות.
: הנקודה הרביעית מחוץ למשולשמקרה בA B
C
Dהקו חייב לחתוך כל צלעות המרובע
סתירה. 1dimVC nHS n
![Page 18: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/18.jpg)
][][ box 212 dxcbxaBOX a,b,c,d
2dimVC BOX 4
4דוגמא
a b
dc
![Page 19: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/19.jpg)
2dimVC BOX 5
4dimVC 2 BOX
U
D
RL
![Page 20: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/20.jpg)
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
![Page 21: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/21.jpg)
Shatter Coefficient מקדם הנפוץ
קבוצה של פונקציות בוליניותCתהי }1,0{: Xf
|:}1,0{ל- נגדיר Sf SXS
)()(| xfxf S
XSל- נגדיר }:|{| CffC SS
X
S
SmSCmC |max),(SC
|| נגדיר
![Page 22: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/22.jpg)
1דוגמא
otherwise
axxffRayC aa 0
1)(
0 1 2 3-1
0f}3,2,1{S
5.1f5.2f
5.3f
1),(SC mmRay
שים לב ש- CdimVCd -הוא המספר אכי גדול כך שddC 2),(SC
![Page 23: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/23.jpg)
2דוגמא
otherwise
axbxffIntervalC aba 0
1)( ,
?),(SC mInterval
![Page 24: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/24.jpg)
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
![Page 25: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/25.jpg)
Sauerלמה
Norbert Sauer
dd
i dem
im
dmgmC
2),(),(SC0
עבור מחלקה עם CdimVCd C
הוכחהmxxxxxx 54321
tf
fff
3
2
1
w 1 w
w 0
w 1
wmC
1xCm
w 1\ xCm
|\||||| 11 xCxCC mmm
![Page 26: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/26.jpg)
mxxxxxx 54321
tf
fff
3
2
1
w 1 w
w 0
w 1
wmC
1xCm
w 1\ xCm
|\||||| 11 xCxCC mmm
dCm dimVC dxCm 1dimVC
1\dimVC 1 dxCm
![Page 27: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/27.jpg)
dmההוכחה תהיה באינדוקציה על 0or 0הבסיס טרויאלי dm
),(SC mC|\||| 11 xCxC mm
dxCm 1dimVC
1\dimVC 1 dxCm
|| mC
)1,1(),1( dmgdmgלפי הנחת האינדוקציה
( , )g m d
![Page 28: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/28.jpg)
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
![Page 29: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/29.jpg)
אםC ל- ε-net נקראת Sקבוצה של נקודות
Cfלכל כך ש- ]1)([Pr]Pr[ xff D
Sxקיימת נקודה כך ש- 1)( xf
ε-netה- 1משפט
ו- X נקודות רנדומליות מ-m היא Sאם
4/)2,(2 memCSC
C ל- ε-net היא δ , S-1אזי בהסתברות לפחות
X O Sf נשתמש בסמון
8m
ו-
![Page 30: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/30.jpg)
ו- X נקודות רנדומליות מ-m היא Sאם .ε-netה- 1משפט 4/)2,(2 memCSC
C ל- ε-net היא δ , S-1אזי בהסתברות לפחות
8m
ו-
הוכחה
}=𝐶𝜖נסמן 𝑓 ∈𝐶∨ Pr𝐷
[ 𝑓 ] ≥𝜖 }
![Page 31: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/31.jpg)
net-not is SAנגדיר ( ) A f C f S o
ונגדיר X נקודות רנדומליות מ-mנבחר , ( ) | ' |
2mB f C f S o f S
]Prטענה ] Pr[ ] 2Pr[ ]B A B הוכחה
, 'Pr[ | ]S S
B A
fA
fB
Pr[( ) | ( ) ]f f ff C A B f C A
0fנקח Cשמקיים 0f
A
0 0Pr[ | ( ) ]f f fA B f C A
0Pr[ | ( ) ]f fB f C A
2||Pr 0
mSf 21
נוכיח שמחסם Chebychev
0'[Pr[ ] | ( ) ]f fS S
E B f C A
![Page 32: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/32.jpg)
0Pr | |2mf S
010
ii
x fX
otherwise
1
m
ii
Y X
[ ]iE X p
2Prt
mpqtmpY Chebychevמחסם
0Pr | |2mf S
Pr2mY
O mpm2
m2
mpPr | |
2mpY mp 3
2mp
4qmp
4m
12
![Page 33: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/33.jpg)
2/1]|Pr[ AB
]Pr[]|Pr[]Pr[]Pr[ AABBAB
]Pr[2]Pr[טענה BA
(1/2)Pr[A]A])Pr[A]|BPr[-(1
![Page 34: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/34.jpg)
( ) | ' |2mB f C f S o f S
X SS Fix S S
SS N Fixed| ( | ) | ' |
2NmB N f C f S o f S
2|| )|( mNfoSfCf N
[ ] [ [ | ]]N N S NE B E E B N
( ) | ' |2mB f C f S o f S
![Page 35: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/35.jpg)
| ( | ) | |2NmB N f C f S o f N
Pr[ | ] Pr ( | ) | |2NmB N f C f S o f N
2|| Pr)2,( mNfoSfmCSC
m
mCSC
41)2,( 4/)2,( memCSC
]Pr[2]Pr[ BA 4/)2,(2 memCSC
( , 2 ) Pr | | 2mSC C m f S o f N
![Page 36: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/36.jpg)
ε-netה- 2משפט
ו- X נקודות רנדומליות מ-m היא Sאם
4/)2,(2 memCSC
C ל- ε-net היא δ , S-1אזי בהסתברות לפחות
2ln832ln)dim(16
eCVCm
הוכחהSauerלמה
d
demmC
2),(SC4/22 md
edem
נשאר להוכיח)dim(CVCd
![Page 37: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/37.jpg)
4/22 m
d
edem
2ln832ln16
edm
4/22 md
edem
42ln2ln m
demd
82ln m
מספיק להוכיח
82ln m
demd
dm
dem
82ln
dm
8
dem2ln
0m
edmm 32ln16
0
![Page 38: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/38.jpg)
מספיק להוכיח8
2ln mdemd
dm
dem
82ln
dm
8
dem2ln
0m
edmm 32ln16
0
2ln832ln16
edm
e
dm 32ln2
80
dem02ln
ee 32ln32ln
ee 32lnln32ln
322ln e
0
8md
![Page 39: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/39.jpg)
ε-netה- 2משפט
ו- X נקודות רנדומליות מ-m היא Sאם
C ל- ε-net היא δ , S-1אזי בהסתברות לפחות
2ln832ln)dim(16
eCVCm
1log11log)dim(CVCOm
![Page 40: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/40.jpg)
Markovחסם של
Chebychevחסם של
)VCdim(ממד Shatter Coefficient למהSauer
ε-net
ε-netמשפט
OCCAMמשפט
![Page 41: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/41.jpg)
OCCAMAlgorithm Occam משפט
1. Get examplesS
2. Run A(S)h0
1log11log)dim(CVCOm
C לומד את OCCAMאלגוריתם
}|{ נגדיר פונקצית המטרה.fתהי הוכחה CggfC f
)dim()dim( CVCCVC f S היא ε-net. -ל Cf -לכל כך שfCfg ]1Pr[ fg
Sxקיימת נקודה כך ש- 1)()( xfxg
0)()( xfxh לכלSx ולכן
]1Pr[ fh ]Pr[ fh
![Page 42: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/42.jpg)
1ln1
m
1ln||ln1 Hm
otherwise
axxffRay aa 0
1)( :
Ray 7 דוגמא
|| Ray אלגוריתם
קבל דוגמאות 1.
המינימלית החיוביתa עבור הדוגמא fa פלט 2.
1log11log)dim(CVCOm
1)dim( RayVC
1log1log1Om
![Page 43: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/43.jpg)
][ 2211 bxaxaxaHS ddd
HalfSpace: חצי מישור 8דוגמא
1)dim( dHSVC d
1log11logdOm
![Page 44: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/44.jpg)
2מימד – Polygonkצלעות – k: מצולע קמור עם 9דוגמא
HSHSk
k Polygon
SkmSk m |Polygonmax),Polygon(SC||
S
k
SmSHSHS ||max
||
kSmS
HS |max||
Sauerלפי למה של kem 3
32
![Page 45: Ray 7 דוגמא](https://reader035.vdocuments.net/reader035/viewer/2022062218/56816105550346895dd049c7/html5/thumbnails/45.jpg)
k
kemm
3
32),Polygon(SC
dCאם k )Polygondim(V
Sauerkאזי לפי למה של
kd edd
3
32),Polygon(SC2
dkekd log3)3/2log(3 dk log6
V dim(Polygon ) 24 logkC d k k
1log11loglog kkOm kPolygonאם הפלט הוא
2 2
6 log
6log
(6 ) 6 log(6 )
d k ddd k
d
d k d k k