kunstig intelligens (mnfit-272) - høst 2000
DESCRIPTION
Kunstig intelligens (MNFIT-272) - høst 2000. Forelesning 9. Emner:. •. Tolkning av naturlig språk - Kontekst-frie gramatikker - Chomsky hierarkiet - Kontekst-sensitive gramatikker Maskinlæring - induktiv symbol-prosessering - similaritetsbasert - forklaringsbasert. •. - PowerPoint PPT PresentationTRANSCRIPT
Kunstig intelligens (MNFIT-272) - høst 2000. Forelesning 9
Emner:
• Tolkning av naturlig språk- Kontekst-frie gramatikker- Chomsky hierarkiet- Kontekst-sensitive gramatikker
Maskinlæring- induktiv symbol-prosessering - similaritetsbasert - forklaringsbasert
•
Tolkning av naturlig språk (NL)
• Fonologi studie av lydene (fonemene) som bygger ord
• Morfologi studie av komponentene (morfemene) som bygger opp ord
• Syntaks studie av kombinasjon av ord i gramatikalsk lovlige setninger
• Semantikk studie av ords og setningers mening
• Pragmatikk studie av språks bruk og effekter i praksis
Trinn i (datamaskin-basert) språktolkning
• Setningstruktur analyse (parsing)- syntaktisk struktur, genererer et ”parse-tree”
• Semantisk tolkning- ords og kombinerte ords mening, representert i en eller annen KR-formalisme
• Kontekstuell tolkning- utvidet semantisk tolkning, resonnering ved bruk av en kunnskapsbase av verdens/domene-kunnskap
Basis-begreper
• Gramatikk-reglerS = NP VPNP = NNP = A N
N = man N = dog
A = aA = the
• Ikke-terminaler er lingvistiske termer (setning, verb, …)- f. eks. 3 øverste linjer over
• Terminaler er ord i språket- f. eks. 4 nederste linjer over
Parsing i transisjons-nett (Transition Networks)
• Gramatikk representeres som et sett av sammenkoblede tilstandsmaskiner
• Noder er tilstander, lenker er overganger (transisjoner) mellom tilstander
• Hvert nett (hver tilstandsmaskin) representerer en ikke-terminal
• Å tolke en setning eller del av en setning svarer til å erstatte en ikke-terminal med høyre-siden av den tilhørende gramatikk- regel (høyre-siden er mer spesifikk en venstre-siden)
Chomsky-hierarkiet
Rekursivt tellbare språk
- frie produksjons-regler
Kontekst-sensitive språk- flere ikke-terminaler på venstre side
(men færre enn på høyre siden) av gram.regel
Kontekst-frie språk - transisjonsnett, sammenkoblede tilstandsmaskiner,
kun én ikke-terminal på venstresiden av gram.regel
Regulære språk- en enkelt tilstandsmaskin, ikke flere sammenkoblet
Kontekst-sensitive språk
• Ønskelig, men komplekse parsere
• ”Augmented Transitions Networks” (ATNs) gir kontekst- sensitive egenskaper ved en utvidelse av kontekst-frie gramatikk-regler
• Kombinerer syntaktisk og semantisk parsing
• Tillater ”procedural attachments” på lenkene i trans.nettet
• Prosedyrene kan utføre tester, tilordne verdier, konstruere deler av parse-tre, etc.
Makinlæringsmetoder i MNFIT 272
• Similaritetsbaserte: VersjonsromID3
• Forklaringsbaserte: Meta-Dendral EBL
• Analogibaserte: CBR• Sub-symbolske: Nevrale nett
Genetiske algoritmer
• Både analogibaserte og sub-symbolske er kombinerte problemløsnings- og maskinlærings-metoder !
Hva er læring?
• Any process by which a system improves performance (H. Simon)
• Making useful changes in our minds (M. Minsky)
• The organisation of experience (M. Scott)
• Constructing or modifying representations of what is being experienced (R. Michalski)
Hva er maskinlæring?
Metoder og teknikker som gjørdatasystemer istand til selv åoppdatere sin kunnskap ogproblemløsnings-evne
Hvorfor maskinlæring?
• Modellere menneskers læring
• Studere læring og intelligens som fenomen
• Automatisere utvikling av kunnskapsbaserte systemer
• det siste er mest vektlagt i dette kurset
Maskinlæringmetoder kan klassifiseres utifra flere perspektiver
Grad av selvlæring- pugging (rote learning)- instruksjon- læring ved analogi- læring ved eksempler- læring ved oppdagelse
Type anvendelse- begrepslæring- problemløsning- situasjonsforståelse- produsere forklaringer
Grad av bakgrunnskunnskap- kunnskapsfattige metoder- kunnskapsrike metoder
Representasjonsspråk- attributt-verdi vektor- beslutningstrær- regler- predikatlogiske uttrykk- semantiske nett, rammer
Grad av selv-læring- autonom læring - veiledet læring - ikke-veiledet læring- lærlingteknikker
Grad av inkrementalitet- alle eksempler samtidig- inkrementell læring- læring gjennom problemløsning
Maskinlæring - kort historikk
Nevrale modeller, Rosenblatt’s PERCEPTRON, Selvorganiserende systemer, Adaptive systemer, Læring som mønstergjenkjenning, ParameterjusteringSamuel’s Checkers Player
Kunnskapsbaserte metoder, Winston’s Analgy system, Symbolske teknikker for eksempelbasert læring, Michalski’sAQ system, Mitchell’s Version Space metode, Quinland’sID3 system, Discovery systemer, Langley’s BACON,Lenat’s AM.
Kunnskapsrike metoder, Buchanan’s Meta-Dendral, læringved instruksjon, Davis’ Teresias, Ny giv for nevrale modeller, Forklaringsbasert læring, læring under problemløsning, case-basert læring, integrerte læremetoder
Kunstig liv, Statistiske metoder, Data mining, Induktivlogikk-programmering, Genetiske algoritmer, Reinforcement læring, Bayesianske nett
1950
1960
1970
1980
1990
Eksempelbasert læring
Induktiv læring:
Instansbasert læring: (case-basert, memory-basert)
- + + - + +- - - - - + + + -- --
- + + + + - - - + + + - +++++ - - - - - + - - - - - + + - - + + - + +
eksempler
hypoteser
kandidater
begrep
- + + - + +- - - - - + + + -- --
- + + + + - - - + + + - +++++ - - - - - + - - - - - + + - - + + - + +
eksempler
- + - + - - + + -
- + - + - + + - - + - - + - - + - +
eksempler
instansrommet: begrepsrommet:
Induktive systemer i MNFIT 272:
Similaritetsbaserte:Læring i Versjonsrom (VS metoden)- Inkrementell læring- Lærer kun konjunktive begreper- Lærer klassifikasjonsregel
Læring av beslutningstrær (ID3 metoden)- Alle eksempler på en gang- Lærer konjunktive og disjunktive begreper- Lærer beslutningstre
Forklaringsbaserte:EBLMeta-Dendral
Version Space
• The version space is the set of all generalizations which
are consistent with all of the examples
• It is described by the S and G sets:
S is a generalization which is consistent with the examples and no other consistent generalization is more specific than it
G is a generalization which is consistent with the examples and no other consistent generalization is more general than it
Version Space
G
S
consistentgeneralizations
more general
more specific
+ examples move S up- examples move G down
Generality Lattice - Example
(blue circle)(red circle)
(? circle) (red ?) (blue ?) (? square)
(red square) (blue square)
(? ?)
Versjonsrom-algoritmen
• S summerer info fra de positive exempler
• G summerer info fra de negative exempler
• Når S=G er begrepet lært- dvs. flere eksempler tilfører ikke noe nytt
• Ikke nødvendig å ta vare på enkelteksemplene
Versjonsrom-algoritmen
• er en prinsipielt sterk læringsalgoritme- garanterer konsistens- er inkrementell
• men har store begrensninger i representasjonens uttrykkskraft - dvs. i hva som kan læres
- kun konjunktive uttrykk - over-ivrig generalisering (mister muligheter)
? (version-space example1)
Example: (+ (BIG RED CIRCLE))S= ((BIG RED CIRCLE))G= ((? ? ?))
Example: (- (SMALL RED SQUARE))S= ((BIG RED CIRCLE))G= ((? ? CIRCLE) (BIG ? ?))
Example: (+ (SMALL RED CIRCLE))S= ((? RED CIRCLE))G= ((? ? CIRCLE))
Example: (- (BIG BLUE CIRCLE))S= ((? RED CIRCLE))G= ((? RED CIRCLE))
Convergence. Concept must be: (? RED CIRCLE)
? (version-space example2)
Example: (+ (BIG RED CIRCLE))S= ((BIG RED CIRCLE))G= ((? ? ?))
Example: (- (SMALL BLUE TRIANGLE))S= ((BIG RED CIRCLE))G= ((? ? CIRCLE) (? RED ?) (BIG ? ?))
Example: (+ (SMALL RED CIRCLE))S= ((? RED CIRCLE))G= ((? ? CIRCLE) (? RED ?))
Example: (- (MEDIUM GREEN SQUARE))S= ((? RED CIRCLE))G= ((? ? CIRCLE) (? RED ?))
Did not convergeS= ((? RED CIRCLE))G= ((? ? CIRCLE) (? RED ?))
? (version-space example5)
Example: (+ (BIG RED CIRCLE))S= ((BIG RED CIRCLE))G= ((? ? ?))
Example: (- (BIG BLUE CIRCLE))S= ((BIG RED CIRCLE))G= ((? RED ?))
Example: (+ (SMALL BLUE SQUARE))S= NILG= NILLangauage is insufficient to describe the concept
Decision Trees
• Data structure for clasifying objects• Restricted to featural descriptions• Allows for disjunction
+-
size - shape
color
redblue
green
+-
circlebig small square
”something red and small or green and square-shaped”
Learning EXAMPLE
Feature-names: (size color shape)
(+ (big red circle))(+ (small red square))(- (medium red circle))
size
small medium big
+ - +
The concept of a big or small,but not medium-sized, object
ID3’s information theoretic measure
• Picking the right feature for the root is crucial to building simple trees
• Choose feature which gives the most information regarding the class of an instance:
I(C): Information content of tree for set of instances CP: Feature selected as splitting node
E(P): Expected information needed to complete tree given splitting on P
gain(P):Information gain from feature P, gain(P) = I(C) - E(P)
? *domains*((BIG MEDIUM SMALL) (BLUE RED GREEN) (SQUARE TRIANGLE CIRCLE))? *feature-names*(SIZE COLOR SHAPE)? *categories*(+ -)? example1((+ (BIG RED CIRCLE)) (- (SMALL RED SQUARE)) (+ (SMALL REDCIRCLE)) (- (BIG BLUE CIRCLE)))
? (id3 example1)
Considering splitting on SIZE Gain = 0.000 Chi square stat = 0.00000 (NOGOOD) Considering splitting on COLOR Gain = 0.311 Chi square stat = 0.00000 (NOGOOD) Considering splitting on SHAPE Gain = 0.311 Chi square stat = 0.00000 (NOGOOD) Gain Tie- Randomly choosing
Splitting on COLOR
Looking at COLOR = BLUE All examples in class -
Looking at COLOR = RED Considering splitting on SIZE Gain = 0.252 Chi square stat = 0.00000 (NOGOOD) Considering splitting on SHAPE Gain = 0.918 Chi square stat = 0.00000 (NOGOOD)
Splitting on SHAPE
Looking at SHAPE = SQUARE All examples in class -
Looking at SHAPE = TRIANGLE No examples. Using most common class of parent node +
Looking at SHAPE = CIRCLE All examples in class +
Looking at COLOR = GREEN No examples. Using most common class of parent node +
Feature: COLOR BLUE (0.250) Class is: - RED (0.750) Feature: SHAPE SQUARE (0.333) Class is: - TRIANGLE (0.000) Class is: + CIRCLE (0.667) Class is: + GREEN (0.000) Class is: +
+shape -
color
redblue
green
+-
squaretriangle
circle
+
? example5((+ (BIG RED CIRCLE)) (- (BIG BLUE CIRCLE)) (+ (SMALL BLUE SQUARE)))? (id3 example5)
Considering splitting on SIZE Gain = 0.252 Chi square stat = 0.00000 (NOGOOD) Considering splitting on COLOR Gain = 0.252 Chi square stat = 0.00000 (NOGOOD) Considering splitting on SHAPE Gain = 0.252 Chi square stat = 0.00000 (NOGOOD) Gain Tie- Randomly choosing
Splitting on SHAPE
Looking at SHAPE = SQUARE All examples in class +
Looking at SHAPE = TRIANGLE No examples. Using most common class of parent node +
Looking at SHAPE = CIRCLE Considering splitting on SIZE Gain = 0.000 Chi square stat = 0.00000 (NOGOOD) Considering splitting on COLOR Gain = 1.000 Chi square stat = 0.00000 (NOGOOD)
Splitting on COLOR
Looking at COLOR = BLUE All examples in class -
Looking at COLOR = RED All examples in class +
Looking at COLOR = GREEN No examples. Using most common class of parent node +
Feature: SHAPE SQUARE (0.333) Class is: + TRIANGLE (0.000) Class is: + CIRCLE (0.667) Feature: COLOR BLUE (0.500) Class is: - RED (0.500) Class is: + GREEN (0.000) Class is: +
One way to treat missing data
Summary: Similarity-based Learning
• Empirical, data-intensive
• Requires many examples and counter-examples
• Knowledge poor
• Generates unjustified concept definitions
Summary: Explanation-based Learning
• Analytical
• Learns from 1 example
• Knowledge rich
• Generates justified concept definitions
Explanation-based Learning:
• Use exisiting domain knowledge to explain why an example is a member of a concept or why a plan works. • Explanations determines relevant features
• Generalise the explanation made, to obtain a justified (explained) operational definition of the concept
Explanation-based Generalisation Problem
• Given• Goal concept• Training example• Domain theory• Operationality criterion
• Determine• A generalisation of the training example which is an operational sufficient concept definition
EBL method:
1. ExplainUse the domain theory to explainwhy the example is an example of
the goal concept 2. Generalise
Determine the most general condictionsunder whch the explanation holds,and generalise the explanation
Meta-Dendral
Lærer kløvningsregler for molekyler under massespektrometri
Gitt:- et representasjonsspråk for å beskrive molekylstrukturer- et trenings-sett bestående av et sett molekyler fra en molekylfamilie, samt deres molekylstruktur og massespektrogram- en viss generell kunnskap om molekylkløving unde massespektrometri
Finn:- et sett kløvningsregler for den aktuelle molekylfamilien