formalnie: 4xd, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. ii)
DESCRIPTION
nieformalnie: Prawie o tym jak mierzyć zawartość cukru w cukrze. formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II). Dorota Cendrowska. Plan wykładu. o dyskretyzacji raz jeszcze entropia i jej własności - PowerPoint PPT PresentationTRANSCRIPT
![Page 1: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/1.jpg)
formalnie:
4xD, czylii dyskretne drzewa decyzyjne+ dyskretyzacja atrybutów (cz. II)
Dorota Cendrowska
nieformalnie:
Prawie o tym jak mierzyć zawartość cukru w cukrze...
![Page 2: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/2.jpg)
Plan wykładu
o dyskretyzacji raz jeszcze
entropia i jej własności
zastosowanie entropii jako miary różnorodności
dyskretne drzewa klasyfikacyjne: niezbędne definicje struktura tworzenie
![Page 3: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/3.jpg)
technika „równych przedziałów”:
technika „równoliczności” (r=3):
Prymitywne metody dyskretyzacji atrybutów ilościowych (numerycznych)
|A|=6
A={A1,A2,A3,A4,A5,A6}
B1 B2 B3
|B|=3
B={B1,B2,B3}
![Page 4: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/4.jpg)
Dylemat dyskretyzacji
może więc podział, który zapewnia: równomierność przykładów reprezentujących
różne klasy (mniej więcej tyle samo przykładów z każdej klasy) (???);
![Page 5: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/5.jpg)
Dylemat dyskretyzacji
może więc podział, który zapewnia: równomierność przykładów reprezentujących
różne klasy (mniej więcej tyle samo przykładów z każdej klasy) (???);
co jest „dobrą” dyskretyzacją atrybutu ciągłego? „mała” liczba przedziałów, która umożliwia rozróżnienie przynależności
przykładów do danej klasy
![Page 6: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/6.jpg)
Dylemat dyskretyzacji
może więc podział, który zapewnia: równomierność przykładów reprezentujących różne
klasy (mniej więcej tyle samo przykładów z każdej klasy) (???);
co jest „dobrą” dyskretyzacją atrybutu ciągłego? „mała” liczba przedziałów, która umożliwia rozróżnienie przynależności
przykładów do danej klasy
lepszy podział to taki, w którym przykłady reprezentujące pewną klasę dominują.
![Page 7: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/7.jpg)
Nieprymitywne ale naiwne metody dyskretyzacji atrybutów ilościowych
informacja o przynależności do klas niewykorzystana: technika „równych przedziałów” technika „równoliczności”
naiwne metody: jeden przedział
D1
|D|=1
D={D1}
![Page 8: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/8.jpg)
Nieprymitywne ale naiwne metody dyskretyzacji atrybutów ilościowych
informacja o przynależności do klas niewykorzystana: technika „równych przedziałów” technika „równoliczności”
naiwne metody: jeden przedział technika równoliczności z r=1C1 C4 C5C2 C3 C6 C7 C8 C9
|C|=9
C={C1,C2,C3,C4,C5,C6,C7,C8,C9}
![Page 9: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/9.jpg)
Wady naiwnych metod dyskretyzacji atrybutów
metoda „jeden przedział”: gubimy różnorodność w obrębie atrybutu :(
metoda „jeden reprezentant”: brak reprezentatywności wewnątrz zbioru
uczącego :(C1 C4 C5C2 C3 C6 C7 C8 C9
|C|=9
C={C1,C2,C3,C4,C5,C6,C7,C8,C9}D1
|D|=1
D={D1}
![Page 10: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/10.jpg)
Jak sensownie wykonać dyskretyzację?
życzenie: uwzględnić informację o przynależności
do jednej z klas
![Page 11: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/11.jpg)
Jak sensownie wykonań dyskretyzację?
życzenie: uwzględnić informację o przynależności
do jednej z klas
liczba możliwych podziałów: przy podziale binarnym: przy podziale na k wartości:
![Page 12: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/12.jpg)
Jak sensownie wykonań dyskretyzację?
życzenie: uwzględnić informację o przynależności
do jednej z klas
liczba możliwych podziałów: przy podziale binarnym: przy podziale na k wartości:
narzędzie (?): potrzebny „miernik”, czy podział dokonywany
jest w „sensownym” miejscu
![Page 13: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/13.jpg)
Co jest informacją?
(A): Wszystkie koty nocą wydają się czarne
(B): Wszystkie psy na świecie są różowe
(C): Widziałem murzyna... (tfu)... afroamerykanina
(D): Optymisto-pesymista wyrzuci reszkę.
![Page 14: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/14.jpg)
Co jest informacją?
(A): Wszystkie koty nocą wydają się czarne
(B): Wszystkie psy na świecie są różowe
(C): Widziałem murzyna... (tfu)... afroamerykanina
(D): Optymisto-pesymista wyrzuci reszkę.
PRAWDA, P(A)=1
FAŁSZ, P(B)=0
so-so, P(C)=0,0005
![Page 15: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/15.jpg)
Jak mierzyć („ważyć”) informację?
(A): Spotkałem człowieka będąc na PJWSTK.
(B): Rzuciłem monetą i spadła.
Entropia (teoria informacji) to średnia ilość informacji:
![Page 16: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/16.jpg)
Jak mierzyć („ważyć”) informację?
(A): Spotkałem człowieka będąc na PJWSTK... kobietę.
(B): Rzuciłem monetą i spadła...rewersem do góry. Entropia (teoria informacji) to średnia ilość informacji:
kobieta, mężczyzna
![Page 17: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/17.jpg)
Entropia, własności
Gdzie postawić kropkę w kwestii afroamerykanina?
„Im większa wartość entropii, tym mniej można przewidzieć” (np. rozkład równomierny)
różowe psy czarne koty
reszka
![Page 18: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/18.jpg)
Algorytm dyskretyzacji zstępujacej
start: Z=T (zbiór uczący), a: atrybut do dyskretyzacji
Lista dyskretyzuj(Z, a){
Lista wynik=null;
if (!kryteriumStopu(Z, a){
próg=wybierzPróg(Z, a);
prógLewejCzęści=dyskretyzuj(Za<=próg, a);
prógPrawejCzęści=dyskretyzuj(Za>próg, a);
if (prógLewejCzęści!=null)
wynik.add(prógLewejCzęści);
wynik.add(próg);
if (prógPrawejCzęści!=null)
wynik.add(prógPrawejCzęści);
}
return wynik;
}
![Page 19: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/19.jpg)
Algorytm dyskretyzacji zstępujacej (ilustracja)
start: Z=T (zbiór uczący), a: atrybut do dyskretyzacji
Lista dyskretyzuj(Z, a){
Lista wynik=null;
if (!kryteriumStopu(Z, a){
próg=wybierzPróg(Z, a);
prógLewejCzęści=dyskretyzuj(Za<=próg, a);
prógPrawejCzęści=dyskretyzuj(Za>próg, a);
if (prógLewejCzęści!=null)
wynik.add(prógLewejCzęści);
wynik.add(próg);
if (prógPrawejCzęści!=null)
wynik.add(prógPrawejCzęści);
}
return wynik;
}
próg
![Page 20: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/20.jpg)
start: Z=T (zbiór uczący), a: atrybut do dyskretyzacji
Lista dyskretyzuj(Z, a){
Lista wynik=null;
if (!kryteriumStopu(Z, a){
próg=wybierzPróg(Z, a);
prógLewejCzęści=dyskretyzuj(Za<=próg, a);
prógPrawejCzęści=dyskretyzuj(Za>próg, a);
if (prógLewejCzęści!=null)
wynik.add(prógLewejCzęści);
wynik.add(próg);
if (prógPrawejCzęści!=null)
wynik.add(prógPrawejCzęści);
}
return wynik;
}
próg
Algorytm dyskretyzacji zstępujacej (ilustracja)
![Page 21: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/21.jpg)
start: Z=T (zbiór uczący), a: atrybut do dyskretyzacji
Lista dyskretyzuj(Z, a){
Lista wynik=null;
if (!kryteriumStopu(Z, a){
próg=wybierzPróg(Z, a);
prógLewejCzęści=dyskretyzuj(Za<=próg, a);
prógPrawejCzęści=dyskretyzuj(Za>próg, a);
if (prógLewejCzęści!=null)
wynik.add(prógLewejCzęści);
wynik.add(próg);
if (prógPrawejCzęści!=null)
wynik.add(prógPrawejCzęści);
}
return wynik;
}
Za<=próg
próg
Za>próg
Algorytm dyskretyzacji zstępujacej (ilustracja)
![Page 22: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/22.jpg)
start: Z=T (zbiór uczący), a: atrybut do dyskretyzacji
Lista dyskretyzuj(Z, a){
Lista wynik=null;
if (!kryteriumStopu(Z, a){
próg=wybierzPróg(Z, a);
prógLewejCzęści=dyskretyzuj(Za<=próg, a);
prógPrawejCzęści=dyskretyzuj(Za>próg, a);
if (prógLewejCzęści!=null)
wynik.add(prógLewejCzęści);
wynik.add(próg);
if (prógPrawejCzęści!=null)
wynik.add(prógPrawejCzęści);
}
return wynik;
}
prógpróg
Algorytm dyskretyzacji zstępujacej (ilustracja)
![Page 23: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/23.jpg)
start: Z=T (zbiór uczący), a: atrybut do dyskretyzacji
Lista dyskretyzuj(Z, a){
Lista wynik=null;
if (!kryteriumStopu(Z, a){
próg=wybierzPróg(Z, a);
prógLewejCzęści=dyskretyzuj(Za<=próg, a);
prógPrawejCzęści=dyskretyzuj(Za>próg, a);
if (prógLewejCzęści!=null)
wynik.add(prógLewejCzęści);
wynik.add(próg);
if (prógPrawejCzęści!=null)
wynik.add(prógPrawejCzęści);
}
return wynik;
}
prógpróg próg
Algorytm dyskretyzacji zstępujacej (ilustracja)
![Page 24: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/24.jpg)
start: Z=T (zbiór uczący), a: atrybut do dyskretyzacji
Lista dyskretyzuj(Z, a){
Lista wynik=null;
if (!kryteriumStopu(Z, a){
próg=wybierzPróg(Z, a);
prógLewejCzęści=dyskretyzuj(Za<=próg, a);
prógPrawejCzęści=dyskretyzuj(Za>próg, a);
if (prógLewejCzęści!=null)
wynik.add(prógLewejCzęści);
wynik.add(próg);
if (prógPrawejCzęści!=null)
wynik.add(prógPrawejCzęści);
}
return wynik;
}
E1 E2 E3 E4
próg
Algorytm dyskretyzacji zstępujacej (ilustracja)
![Page 25: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/25.jpg)
ważona entropia zbioru przykładów Zze względu na podział zakresu wartości atrybutu a na dwa przedziały:
Wybór progu (algorytm dyskretyzacji)
![Page 26: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/26.jpg)
ważona entropia zbioru przykładów Zze względu na podział zakresu wartości atrybutu a na dwa przedziały:
Wybór progu (algorytm dyskretyzacji)
potencjalne miejsca podziału (progi)
![Page 27: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/27.jpg)
ważona entropia zbioru przykładów Zze względu na podział zakresu wartości atrybutu a na dwa przedziały:
wybór progu:
Wybór progu (algorytm dyskretyzacji)
potencjalne miejsca podziału (progi)
![Page 28: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/28.jpg)
przykład (fragment obliczeń):
Wybór progu (ilustracja)
próg1
![Page 29: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/29.jpg)
przykład (fragment obliczeń):
Wybór progu (ilustracja)
próg1
![Page 30: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/30.jpg)
przykład (fragment obliczeń):
Wybór progu (ilustracja)
próg1
![Page 31: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/31.jpg)
przykład (fragment obliczeń):
Wybór progu (ilustracja)
próg2
![Page 32: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/32.jpg)
przykład (fragment obliczeń):
Wybór progu (ilustracja)
próg2
![Page 33: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/33.jpg)
przykład (fragment obliczeń):
Wybór progu (ilustracja)
próg2
![Page 34: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/34.jpg)
przykład (fragment obliczeń):
Wybór progu (ilustracja)
próg1 czy próg2?
![Page 35: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/35.jpg)
[trywialne] gdy przykłady w zbiorze Z należą do tej samej klasy
kiedy dzielenie przedziału przestaje poprawiać ich informacyjną zawartość, czyli powiększać nierównomierność rozkładu kategorii:
podział daje poprawę tylko wtedy, gdy ga,próg(Z)>0
Kryterium stopu (algorytm dyskretyzacji)
![Page 36: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/36.jpg)
jak wygląda drzewo każdy wie...
drzewo „informatyczne” musi być inne:
drzewo to graf bez cykli, w którym istnieje tylko jedna ścieżka między dwoma różnymi węzłami
Drzewa (definicje)
![Page 37: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/37.jpg)
drzewo to graf bez cykli, w którym istnieje tylko jedna ścieżka między dwoma różnymi węzłami
węzły drzewa
krawędzie
wyróżnione węzły drzewa to: korzeń drzewa liście drzewa
Drzewa (elementy szczególne)
korzeń
liść
![Page 38: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/38.jpg)
drzewo decyzyjne to drzewo reprezentujące proces podziału zbioru przykładów na jednorodne klasy węzły opisują sposób dokonania podziału (test) liście odpowiadają klasom, do których należą
przykłady krawędzie reprezentują wartości cech
znajdujących się w węzłach, na podstawie których dokonano podziału
Drzewo decyzyjne (definicja)
ciepło
A4
OKNOTOK
A12
OKNOTOK
zimnogorąco
nie padapada
![Page 39: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/39.jpg)
Algorytm tworzenia drzewa decyzyjnego
algorytm rekurencyjny
parametry startowe: Z — zbiór wszystkich przykładów ze zbioru
uczącego T
dostępneAtrybutyTestowe — Lista wszystkich atrybutów w zbiorze uczącym T
istotne elementy algorytmu: wybór atrybutu testowego, będące kryterium
podziału
![Page 40: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/40.jpg)
Węzeł twórzDrzewoDecyzyjne(Z, Lista dostępneAtrybutyTestowe){
if (kryteriumStopu(Z,dostępneAtrybutyTestowe){
return new Węzeł(klasa(Z)); //utwórz i zwróć liść
}
Węzeł węzeł=new Węzeł();
atrybutA=wybierzAtrybutTestowy(dostępneAtrybutyTestowe);
Lista nowaLista=dostępneAtrybutyTestowe.remove(atrybutA);
węzeł.ustawTest(atrybutA);
if (nowaLista!=null){
węzeł.ustawLiczbeGałęzi(atrybutA.podajKrotność());
for(String w: atrybutA.podajWartosci()){
Zw=utwórzPodzbiór(Z,aatrybutA,w); // dla których atrybut ma wartość w
węzeł.ustawGałąź(w,twórzDrzewoDecyzyjne(Zw,nowaLista);
}
return węzeł;
}
Algorytm tworzenia drzewa decyzyjnego
![Page 41: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/41.jpg)
wszystkie przykłady w zbiorze Z reprezentują jedną klasę;
pusta lista dostępnych atrybutów; wówczas klasa(Z) to klasa, która jest najliczniej reprezentowana przez przykłady ze zbioru Z.
inne metody (wykład B.3)
Kryterium stopu [na potrzeby tego wykładu] (tworzenie drzewa decyzyjnego)
![Page 42: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/42.jpg)
na podstawie „pomiaru” zróżnicowania zbioru Z
ze względu na atrybut A.
Wybór atrybutu testowego (tworzenie drzewa decyzyjnego)
![Page 43: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/43.jpg)
na podstawie „pomiaru” zróżnicowania zbioru Z ze względu na atrybut A.
funkcja zróżnicowania:
wybieramy atrybut, dla którego osiągamy maksymalną wartość funkcji zróżnicowania:
Wybór atrybutu testowego (tworzenie drzewa decyzyjnego)
![Page 44: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/44.jpg)
na podstawie „pomiaru” zróżnicowania zbioru Z
ze względu na atrybut A.
funkcja zróżnicowania:
wybieramy atrybut, dla którego osiągamy maksymalną wartość funkcji zróżnicowania:lub w praktyce:
Wybór atrybutu testowego (tworzenie drzewa decyzyjnego)
![Page 45: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/45.jpg)
lista dostępnych atrybutów testowych: {A1, A2, A3, A4, A5, A6}
Zbiór Z = zbiór T, |Z|=20:
Tworzenie drzewa decyzyjnego (przykład)
![Page 46: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/46.jpg)
szukamy:
Tworzenie drzewa decyzyjnego (przykład)
![Page 47: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/47.jpg)
Tworzenie drzewa decyzyjnego (przykład)
![Page 48: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/48.jpg)
Tworzenie drzewa decyzyjnego (przykład)
![Page 49: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/49.jpg)
Tworzenie drzewa decyzyjnego (przykład)
![Page 50: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/50.jpg)
Tworzenie drzewa decyzyjnego (przykład)
![Page 51: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/51.jpg)
Tworzenie drzewa decyzyjnego (przykład)
![Page 52: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/52.jpg)
Tworzenie drzewa decyzyjnego (przykład)
![Page 53: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/53.jpg)
Tworzenie drzewa decyzyjnego (przykład)
![Page 54: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/54.jpg)
Tworzenie drzewa decyzyjnego (przykład)
![Page 55: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/55.jpg)
Tworzenie drzewa decyzyjnego (przykład)
![Page 56: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/56.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wybór atrybutu testowego:
![Page 57: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/57.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wybór atrybutu testowego:
![Page 58: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/58.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wybór atrybutu testowego:
low
A6
medhigh
![Page 59: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/59.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=low, |Z|=5 lista atrybutów testowych:
{A1, A2, A3, A4, A5}
low
A6
medhigh
![Page 60: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/60.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=low, |Z|=5 lista atrybutów testowych:
{A1, A2, A3, A4, A5}
spełnione kryterium stopu
low
A6
medhigh
![Page 61: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/61.jpg)
low
A6
medhigh
unacc
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=low, |Z|=5 lista atrybutów testowych:
{A1, A2, A3, A4, A5}
spełnione kryterium stopu
utworzony liść
![Page 62: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/62.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=med, |Z|=7 lista atrybutów testowych:
{A1, A2, A3, A4, A5}
low
A6
medhigh
unacc
![Page 63: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/63.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=med, |Z|=7 lista atrybutów testowych:
{A1, A2, A3, A4, A5}
niespełnione kryterium stopu
low
A6
medhigh
unacc
![Page 64: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/64.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=med, |Z|=7 lista atrybutów testowych:
{A1, A2, A3, A4, A5}
low
A6
medhigh
unacc A5
smallmed big
![Page 65: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/65.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=med, A5=small, |Z|=2 lista atrybutów testowych:
{A1, A2, A3, A4}
spełnione kryterium stopu
low
A6
medhigh
unacc A5
smallmed big
![Page 66: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/66.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=med, A5=small, |Z|=2 lista atrybutów testowych:
{A1, A2, A3, A4}
spełnione kryterium stopu
utwórz liść
low
A6
medhigh
unacc A5
smallmed big
unacc
![Page 67: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/67.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=med, A5=med, |Z|=4 lista atrybutów testowych:
{A1, A2, A3, A4}
spełnione kryterium stopu
utwórz liść
low
A6
medhigh
unacc A5
smallmed big
unacc acc
![Page 68: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/68.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=med, A5=big, |Z|=1 lista atrybutów testowych:
{A1, A2, A3, A4}
spełnione kryterium stopu
utwórz liść
low
A6
medhigh
unacc A5
smallmed big
unacc acc acc
![Page 69: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/69.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=med, A5=big, |Z|=1 lista atrybutów testowych:
{A1, A2, A3, A4}
spełnione kryterium stopu
utwórz liść
low
A6
medhigh
unacc A5
smallmed big
unacc acc acc
![Page 70: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/70.jpg)
Tworzenie drzewa decyzyjnego (przykład)
wywołanie rekurencyjne dla: Z=ZA6=high, |Z|=8 lista atrybutów testowych:
{A1, A2, A3, A4, A5}
low
A6
medhigh
unacc A5
smallmed big
unacc acc acc
![Page 71: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/71.jpg)
Tworzenie drzewa decyzyjnego (przykład do dokończenia...)
wywołanie rekurencyjne dla: Z=ZA6=high, |Z|=8 lista atrybutów testowych:
{A1, A2, A3, A4, A5}low
A6
medhigh
unacc A5
smallmed big
unacc acc acc
?
![Page 72: formalnie: 4xD, czylii d yskretne d rzewa d ecyzyjne + d yskretyzacja atrybutów (cz. II)](https://reader036.vdocuments.net/reader036/viewer/2022062800/568141f8550346895dadd532/html5/thumbnails/72.jpg)
jak zwykle, zamiast zakończenia...
filozoficznie:
fragment okładki i książki pt. „Paddington daje sobie radę”
(autor: Michael Bond)
— Wie pani — powiedział do pani Bird, gdy przyszła do jadalni, by sprawdzić, czy już zjadł grzankę z marmoladą — nigdy dotąd nie zrobiłem wszystkiego, bo gdybym zrobił, to nie czekałyby mnie już żadne niespodzianki.