granular computing and rough sets to generate fuzzy rules denise guliato jean carlo de sousa santos

Granular Computing and Rough Sets to

Generate Fuzzy Rules

Denise GuliatoJean Carlo de Sousa Santos

Introduction

Classifier systems:Neural Network;Probability;Decision Tree;Decision Rules

2

IIntroduction

A SAME SET OF FEATURES IS GOOD TO CLASSIFY ALL THE OBJECTS IN A GIVEN DATASET???

IS IT ALWAYS POSSIBLE TO CLASSIFY ALL THE OBJECTS OF A DATASET???

3

How to classify these objects ?

4

In a general way, a classifier tries to find a (linear or non linear)decision surface to classify the objects as o or x

o o x o o o o o o o o o o o

x x x x x x o o ox x x o x o o

f1

f2

How to classify these objects??

5



f1

f2

Low medium high

large small

Understanding the patterns to classify the object o

6


x x x x x o o o ox x x o x o o

f1

f2

Low medium high

large small

B1B2

B3

Rough sets theory can model this problem

7



f1

f2B1

B2

B3

Upper approximation defines the set of all objects in Bi | Bi ∩ balls_class ≠Upper approximation set= {B1 U B2 U B3}

Lower approximation is an union of all objects in Bi | Bi balls_classLower approximation set= {B1}

Lower approximation is too restrictive and Upper approximation may be too permissive to represent the objects in the ball_class

8



f1

f2

B3

Upperα approximation defines a set of Bi | Bi ∩ balls_class ≠ and the ratio ofBi ∩ ball_class and |ball_class|are ≥ α

Upperα approximation set = {B1 U B2}

B2

B1

Now the rules are derived for the ball_class taking into account the information in Upperα set and the sets B1 and B2:

9



f1

f2

R1: If f1 is high then ball_classR2: If f1 is medium and f2 is large then ball_class

Low medium high

large small

B1B2

The same process is carried out for the x_class:

10

B4 o o x o o o o o o o o o o o


f1

f2

Upperα = {B4}R3: if f1 is low then x_class

Low medium high

large small

The classifier systemR1: If f1 is high then ball_class

R2: If f1 is medium and f2 is large then ball_class

R3: if f1 is low then x_class

Else “no evience to classify the object”

The clause else is executed

If (1 – max{µR1, µR2, µR3}) if maximal or

If max{µR1, µR2} = max{µR3} 11

How to classify a new object ?

12



f1

f2

Low medium high

large small µf1low = 0; f1: µf1medium = 0.3; µf1high = 0.9

µf2small = 1; µf2large = 0

The classifier system

R1: If f1 is high then ball_class



Else “no evidence to classify the object”

13

µf1low = 0; f1: µf1medium = 0.3; µf1high = 0.9µf2small = 1; µf2large = 0

R1: 0.9R2: 0R3: 0R4: 1 – 0.9 = 0.1

The new object is classified as ball

How to classify a new object ?

14



f1

f2

Low medium high

large small µf1low = 1; f1: µf1medium = 0; µf1high = 0

µf2small = 0; µf2large = 1

The classifier system

R1: If f1 is high then ball_class



Else “no evidence to classify the object”

15

µf1low = 1; f1: µf1medium = 0 ; µf1high = 0 µf2small = 0; µf2large = 1

R1: 0R2: 0R3: 1R4: 1 – 1.0 = 0

The new object is classified as x

Challenges

--How to choose the candidates for granules of the knowledge (subsets of relevant attributes)????

16

--How to choose the fuzzy partitions???

In this work we have used apriori algorithm

In this work we have used fixed partitions.

The proposed method Generates fuzzy rules automatically with the aim of

pattern classification:○ Concise rules;○ Reduced number of rules;○ High classification precision rate.

Make it possible to designs a classification system based on the fuzzy rules that is able to distinguish between evidence and ignorance in the pattern classification.

The approach make it possible to understand how a given dataset is clusterized.

17

Some experiments Cross validation method: 10-fold;

α = 0.90, support = 7% (a priori has been used to define the relevant granules of the knowledge);

Bases UCI Machine Learning Repository e resultados :

18

dataset # objects# conditional

attributes #classes

#partition

sIris 150 4 3 4

Wine 179 13 3 6Wdbc 1 569 10 2 8Wdbc 2 569 30 2 8Wpbc 669 10 2 8

Results

19

Data set

Precision Rate (%)

Average numberof NE

Average Number of

rules

Avarage Number of

Terms

Iris 1,00 0,80 2,40 1,30

Wine 0,99 0,26 8,16 1,64

Wdbc 1 0,97 4,85 5,1 1,16

Wdbc 2 0,93 0,00 12,15 1,58

Wpbc 0,93 1,45 34,1 1,94

NE = No evidence to classify

Comparison of Results

20


21


22


23


24


25

Ongoing projects Development of shape descriptors for

3D space using decomposition of the image and Hilbert curve;

26

Bases de dados – kimia99Dataset: Kimia 99 (subset of MPEG-7) 9 classes with 11 images each one

Dataset: Kimia216 (subset of MPEG-7) 18 classes with 12 images each one de dados – Kimia216

Dataset: MPEG-770 classes with 20 images each one

Dataset: w720 (objects are rotated 5º - 10 classes with 72 images each one

Dataset: breast cancer dataset2 classes: 65 benign masses and 46 malignant tumors

Ongoing projects

Classification using Neural Network

32

Base de Imagens AUC

Breast cancer (diagnosis) 0.9921

Kimia99 1.0000

Kimia216 1.0000

W720 (rotated shapes) 0.9999

MPEG-7 0.9578

Ongoing projects

Development an unsupervised and automatic method to derive fuzzy partitions based on fuzzy k_means;

Building a bag of visual features based on decomposition of a given dendogram with the aim of content-based image retrieval;

Detection of key frames in video based on bag of visual features.

33

34

Colaborators

Agma J. Traina – ICMC – USPCaetano Traina – ICMC – USPSolange Resende – ICMC – USPCelso Saibel - UFBA

Ricardo Marcacini – ICMC – USPRobson Soares – FACOM – UFUAlan Genari – FACOM – UFUWalter de Oliveira – FACOM – UFUCarlos – DCC - UFMGIvo Silva – FACOM - UFU

Thank you for the attention!!!

Discussão de resultados– Teste 1 Remoção das amostras não classificáveis no treino. Teste com as amostras de treino originais.

Observaçõs 1 :

O número de amostras não classificáveis foi mantido o

mesmo para todas as bases de dados.

Amostras não classificáveis não modificam o conjunto

de regras gerado.

35

Discussão de resultados – Teste 2

Remoção das amostras não classificáveis no treino. Teste com as amostras de teste originais.

36

IRIS base com todas amostras base sem amostras não-classificaveisNosso Classificador 100% 100%

BayesNet 92,66% 94,83%Decision Table 92,66% 95,05%

J48 96,03% 95,10%LibSVM 96,03% 95,10%

Multilayer Perceptron 97,33% 95,10%


37

WINE base com todas amostras base sem amostras não-classificaveisNosso Classificador 99,04% 98,80%


J48 94,33% 94,98%LibSVM 97,76% 98,22%



38

WDBC 1 (10 CARACTÍSTICAS) base com todas amostras base sem amostras não-classificáveis

Nosso Classificador 97,45% 96,19%BayesNet 92,40% 92,18%

Decision Table 93,15% 91,28%J48 92,65% 92,84%

LibSVM 93,80% 93,56%Multilayer Perceptron 93,70% 93,31%


39

WPBC base com todas amostras base sem amostras não-classificaveisNosso Classificador 97,59% 97,59%


J48 93,85% 93,68%LibSVM 96,05% 96,46%


Discussão de resultados – Teste 3 Remoção de todas as amostras não classificáveis

da base de dados original. Realização de validação 10-fold normalmente

para esta segunda base de dados obtida.

40


IRIS base com todas amostras base sem amostras não-classificaveisNosso Classificador 100% 100,00%


J48 96,03% 95,63%LibSVM 96,03% 92,56%


41

Resultados – Teste 3

WINE base com todas amostras base sem amostras não-classificaveisNosso Classificador 99,04% 99,10%


J48 94,33% 97,30%LibSVM 97,76% 96,50%


42


WPBC base com todas amostras base sem amostras não-classificaveisNosso Classificador 93,09% 93,12%


J48 93,85% 96,70%LibSVM 96,05% 96,60%


43


WDBC 1(10 CARACTERÍSTICAS) base com todas amostras base sem amostras não-classificaveis

Nosso Classificador 97,45% 97,76%BayesNet 92,40% 93,60%

Decision Table 93,15% 94,65%J48 92,65% 94,35%

LibSVM 93,80% 94,10%Multilayer Perceptron 93,70% 95,80%

44

Agenda Introdução;

Objetivos do trabalho;

Conceitos básicos sobre a Teoria dos Rough Sets;

Método proposto para geração automática de regras;

Sistema de classificação baseado em regras;

Exemplo ilustrativo;

Discussão de resultados;

Conclusões;

Principais contribuições;

Trabalhos Futuros;

Publicações.

45

Conclusões Método proposto apresenta alta precisão de classificação para as

bases de teste utilizadas;

Método gera regras concisas (Rosetta – quick reduct) e com alta taxa de cobertura;

Classificador capaz de discernir entre a ignorância e a evidência no processo de classificação;

46








Conclusões;


Trabalhos Futuros;

Publicações.

47

Principais contribuições Proposta de uma extensão para as operações de

aproximação definidas na TRS, denominada aproximação 𝑢𝑝𝑝𝑒𝑟�alpha de X;

Proposta de um método para geração automática de regras baseado na teoria dos rough sets;

Proposta de um sistema de classificação capaz de discernir quanto a evidência ou ignorância no processo de classificação.

48








Conclusões;


Trabalhos Futuros;

Publicações.

49

Trabalhos Futuros

Desenvolvimento de um método para obtenção automática da partição fuzzy;

Realização de testes em bases de dados mais volumosas.

50








Conclusões;


Trabalhos Futuros;

Publicações.

51

Publicações SANTOS, J.C.S. and GULIATO, D. Proposta de um método para

geração automática de regras fuzzy baseada na teoria dos rough sets. Clei’09 : Conferência Latino America de Informática, 2009.

GULIATO D. and SANTOS, J.C.S. Granular computing and rough sets to generate fuzzy rules. In ICIAR’09: Proceedings of the 6th International Conference on Image Analysis and Recognition, pp. 317–326, Berlin, Heidelberg, 2009. Springer-Verlag.

52

Agradecimentos

Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq);

Fundação de Amparo à Pesquisa do Estado de Minas Gerais (FAPEMIG);

Coordenação de Aperfeiamento de Pessoal de Nível Superior (CAPES).

53

Obrigado !

54

granular computing and rough sets to generate fuzzy rules denise guliato jean carlo de sousa santos

Documents

object o

x slide

f1 high

f1 medium

ball slide

f2 large

f2 small

b2 b1 slide