Learning Sets of Rules

Tom Mitchel (cap. 10)

Victor Cisneiros (vcac)Sergio Sette (sss3)Pablo Viana (pabv)

Learning Sets of Rules Objetivo: Estudar algoritmos capazes de

aprender hipóteses como um conjunto de regras IF-THEN Ao contrário de outros métodos de aprendizagem

como Redes Neurais por exemplo, regras no formato IF-THEN podem ser facilmente entendidas por pessoas humanas.

As regras aprendidas são expressões da lógica proposicional e da lógica de primeira-ordem

Motivação Em 1995 um sistema PROGOL conseguiu aprender

a seguinte regra a partir de vários dados de proteínas: Fold(FOUR-HELICAL-UP-AND-DOWN-BUNDLE, p) ←

Helix(p,h1) Λ Length(h1,HIGH) Λ Position(p,h1,n) Λ (1≤n≤3) Λ Adjacent(p,h1,h2) Λ Helix(p,h2)

Essa regra pode ser traduzida para o inglês como: The protein P has a fold class “Four helical up and down

bundle” if it contains a long helix h1 at a secondary structure position between 1 and 3 and h1 is next to a second helix.

Motivação Essa facilidade de compreensão das

regras torna esse método bastante atrativo para o uso em experimentos científicos

Biólogos poderiam por exemplo, estudar e criticar a tradução em inglês da hipótese mostrada no slide anterior

Como aprender um conjunto de regras?

Uma maneira seria utilizar uma árvore de decisão Uma regra para cada folha:

IF (Outlook = Sunny) Λ (Humidity = High) THEN PlayTennis = NO

IF (Outlook = Sunny) Λ (Humidity = Normal) THEN PlayTennis = YES

IF (Outlook = Overcast) THEN PlayTennis = YES

... etc

Outros Algoritmos Podem aprender regras na forma de

cláusulas de Horn de primeira-ordem Ao contrário da árvore que aprende apenas

regras proposicionais Mais expressivo, permitem expressar variáveis

e relacionamentos entre elas Aprendem as regras uma de cada vez,

iterando o processo até o final (Sequential Covering) Árvores aprendem todo o conjunto de regras de

uma só vez

Considere a seguinte base de dados

Attributes

Target Attribute(O que se

deseja aprender)

Sequential Covering Suponha função LEARN-ONE-RULE

Entrada: Um conjunto de exemplos de treinamento positivos e negativos

Saída: Uma regra que cobre vários dos exemplos positivos e nenhum ou poucos negativos (A regra deve ter uma boa taxa de acerto mas não necessariamente precisa englobar muitos exemplos)

Sequential Covering Dada essa função LEARN-ONE-RULE, um jeito

óbvio de aprender um conjunto de regras seria: 1. Invocar LEARN-ONE-RULE sobre todos os

exemplos 2. Remover todos os exemplos positivos cobertos

pela regra aprendida 3. Invocar LEARN-ONE-RULE novamente sobre os

exemplos restantes 4. Repetir o processo até atingir a fração

desejada de exemplos positivos cobertos pelas regras

Sequential Covering

Como implementar LEARN-ONE-RULE? Organizar o espaço de busca da mesma

forma que o algoritmo ID3 de árvores de decisão

Começar com uma regra geral e ir adicionando os testes de atributos que mais melhoram a perfomance da regra

Ao contrário do algorítmo ID3, essa implementação só segue um único ramo da árvore

Como implementar LEARN-ONE-RULE?

Como implementar LEARN-ONE-RULE? O algoritmo sugerido anteriormente

realiza uma busca em profundidade gulosa sem backtracking

Como toda busca gulosa, corre o risco de encontrar uma solução não ótima. Para minimizar isso pode se utilizar uma beam-search (a cada passo manter os K melhores candidatos) Esse é o algoritmo CN2

First-Order Logic Os algoritmos apresentados até agora só

são capazes de aprender conjuntos de regras da lógica proposicional

Veremos a seguir, o algoritmo FOIL, capaz de aprender regras da lógica de primeira ordem, que são mais expressivas pois podem conter variáveis e são capazes de expressar relacionamentos entre elas

First-Order Logic Constantes: Lula, ACM, unicórnio, 10 Variáveis: x, y Predicados: Corrupto, Maior_Que

Assumem valores True ou False como resultado

Funções: idade Assumem qualquer constante como resultado

First-Order Logic (Expressões)

Termo: Qualquer constante, variável ou qualquer função aplicada a um termo Ex: Lula, x, idade(Lula)

Literal: Qualquer predicado aplicado a um termo, ou sua negação Ex: Corrupto(ACM), ¬Maior_Que(idade(Lula), 60)

Cláusula: Qualquer disjunção de literais ... Cláusula de Horn: Uma cláusula contendo no

máximo 1 literal positivo Ex: H V ¬L1 V ... ¬Ln equivalente à H ← (L1 Λ ... Λ Ln) ou

IF L1 Λ ... Λ Ln THEN H

FOIL Algoritmo para aprendizagem de regras de

primeira ordem (cláusulas de Horn) Segue a mesma idéia dos já vistos

SEQUENTIAL-COVERING e LEARN-ONE-RULE

FOIL

Ex: Suponha que queiramos aprender a definição do predicado Grandfather(x, y) Divide-se os dados em exemplos positivos e negativos: Positivos: { George, Anne } { Phillip, Peter } ... Negativos: { George, Elizabeth } { Harry, Zarra } ...

FOIL (Ilustração Simples) O algoritmo FOIL constrói um conjunto de cláusulas, cada

uma com Grandfather(x, y) como “head” → Grandfather(x, y)

Essa cláusula classifica todos os exemplos como positivos então é necessário especializá-la (adicionando liteirais). 3 adições em potencial: Father(x, y) → Grandfather(x, y) Parent(x, z) → Grandfather(x, y) Father(x, z) → Grandfather(x, y)

O 1º classifca errado todos os 12 exemplos positivos, o 2º e 3º aceitam todos positivos mas erram alguns negativos, como o 3º erra menos escolhe-se ele Father(x, z) Λ Parent(z, y) → Grandfather(x, y)

Como essa cláusula classifica corretamente todos os exemplos, o algoritmo FOIL irá escolhê-lo

FOIL

FOIL – Especializando uma regra Seja a regra atual P(x1,x2,...,xk) L1 Λ ... Ln

L1 ... Ln são literais compondo as atuais condições e P(x1,x2,...,xk) o predicado que se deseja aprender. O FOIL irá gerar os seguintes candidatos:

Q(v1 ... vr) onde Q é qualquer predicado ocorrendo nos exemplos e v1 ... vr são quaisquer variáveis presentes na regra ou novas variáveis (no mínimo um vi deve pertencer a regra atual)

Equal(vj,vk) onde vj e vk são variáveis já presentes na regra A negação de um dos literais acima

FOIL – Especializando uma regra Exemplo:

regra atual = GrandDaughter(x,y) Father(y,z) predicados = Father e Female Os candidatos serão a adição dos seguintes

literais à regra atual: Equal(x,y), Female(x), Female(y), Father(x,y),

Father(y,x) Father(x,z), Father(z,x), Father(y,z), Father(z,y) e a negação destes literais

FOIL – Especializando uma regra Como escolher o candidato mais promissor?

Aquele que classifica o maior número de exemplos positivos e o menor número de exemplos negativos

Foil_Gain

p0 = número de exemplos positivos da regra atual n0 = número de exemplos negativos da regra atual p1 = número de exemplos positivos da regra

especializada n1 = número de exemplos negativos da regra

especializada

Indução como o inverso da dedução Uma abordagem diferente para a

programação em lógica indutiva é baseada na observação de que a indução nada mais é que o inverso da dedução.

Indução como o inverso da dedução

Invertendo o método da resolução Método da Resolução:

Dada duas cláusulas C1 e C2, encontre a literal L de C1 tal que ¬L ocorre em C2.

Forme uma cláusula derivada C, incluindo os literais de C1 e C2, exceto L e ¬L.

C = (C1 – {L}) U (C2 – {¬L})

Resolução inversa: Dada duas cláusulas C1 e C, encontre a literal L que

ocorre em C1, mas não aparece em C.

Forme a segunda cláusula C2, incluindo as literais:

C2 = (C - (C1 - {L})) U {¬L}

Invertendo o método da resolução

Resolução – First-Order Case A diferença principal entre a resolução no caso

proposicional e no de primeira-ordem é o processo de unificar substituições.

Uma substituição é qualquer mapeamento de variáveis a termos.

Na lógica de predicados para executar a resolução procuramos por uma literal L1 em C1, de modo que exista uma unificação de substituições entre ela e a negação de uma literal, ¬L2, em C2.

Resolução Inversa – First-Order Case Podemos derivar da fórmula da resolução,

por manipulação algébrica, considerando

Resolução Inversa – First-Order Case

Referências Tom Mitchell. Machine Learning.

McGraw-Hill. 1997. Stuart Russel, Peter Norvig. Artificial

Intelligence: A Modern Approach. Second Edition. Prentice Hall. 2002.