linguistica* computazionale* (1) - di.unito.itbosco/lingue2017/nlp-2017-1-.pdf ·...

LINGUISTICA COMPUTAZIONALE

(1) Cris%na Bosco

Informa%ca applicata alla comunicazione mul%mediale

2016-‐2017

Di cosa parleremo

-‐  definizione di LinguisEca Computazionale (LC)

-‐  origini della LC -‐  il problema centrale della LC -‐  alcuni problemi di fondo:

-‐  la grammaEca universale -‐  competence e performance -‐  approcci a regole e basaE su corpora

-‐  LC e livelli di astrazione

Definizione di LC

Con Tra=amento Automa%co del Linguaggio Naturale (TAL) o il suo equivalente inglese Natural Language Processing (NLP) o Linguis%ca Computazionale (LC)

si indica quella parte dell’Intelligenza ArEficiale che si occupa specificamente del linguaggio umano disEnguendolo, grazie al termine NATURALE, dai linguaggi di programmazione o della logica

Definizione di LC

•  L'espressione Ar#ficial Intelligence (AI) fu coniata nel 1956 dal matemaEco americano John McCarthy, durante uno storico seminario interdisciplinare svoltosi nel New Hampshire

•  Secondo le parole di Marvin Minsky, uno dei "pionieri" della AI, lo scopo di questa nuova disciplina sarebbe stato quello di "far fare alle macchine delle cose che richiederebbero l'intelligenza se fossero fa8e dagli uomini"

Definizione di LC

Lo scopo della LC è la simulazione del comportamento linguisEco degli esseri umani.

Se questo scopo fosse raggiunto in modo completo, si avrebbero dei computer in grado di dialogare, comprendendo il significato di domande e fornendo risposte, di tradurre un testo in una lingua differente, di estrarre informazioni da tesE, di produrre tesE nuovi.

Origini di LC

Il problema di simulare il comportamento linguisEco è stato centrale fin dalle origini per l’intelligenza arEficiale, perché esso è la più evidente e tangibile espressione dell’intelligenza umana.

Origini di LC

Il problema viene posto esplicitamente in un arEcolo del 1950 di Alan Turing (CompuEng machinery and intelligence) che anEcipa la nascita dell’AI:

“I propose to consider the ques1on, “Can machines think? … the problem can be described in terms of a game which we call imita1on game ... ”

Origini di LC

ImitaEon game: A – uomo

B – donna

C – interrogatore che deve scoprire chi è l’uomo e chi la donna ponendo domande

C si trova in una stanza diversa da A e B e interagisce con loro in forma scriba, cioè tramite un disposiEvo che impedisce a C di idenEficare A e B tramite la voce o l’aspebo fisico

Origini di LC

Nel gioco l’intelligenza viene rilevata prescindendo totalmente dalle caraberisEche fisiche degli esseri umani e a parEre dalle capacità linguisEche della macchina. Quindi le condizioni sono adabe a sosEtuire uno degli umani con una macchina.

“What will happen if a machine takes the place of A in this game? ... “

Origini di LC

“May not machines carry out something which ought to be described as thinking but which is very different from what a man does?

This objec1on is a very strong one, but at least we can say that if, nevertheless, a machine can be constructed to play the imita1on game sa1sfactorily, we need not to be troubled by this objec1on.”

Se una macchina pensa, forse lo fa in modo diverso da un essere umano ... AI debole o forte?

Origini di LC

Uno dei primi problemi che si è cercato di trabare con il computer è quello della traduzione automaEca da una lingua ad un’altra, Machine Transla%on (MT).

Ma a causa delle difficoltà emerse nello sviluppo dei sistemi di MT, ci si è rivolE ad approfondire i problemi del linguaggio naturale anche in modo indipendente dalla MT, dando origine alla LC.

Origini di LC

Riassumendo: -‐  l’obiegvo della AI è simulare il comportamento umano intelligente

-‐  l’obiegvo della LC è simulare il comportamento linguisEco

-‐  la simulazione prescinde da correlaE fisici

-‐  la simulazione può avvenire in termini di input/output o anche di processi interni

Il Problema centrale della LC La costruzione di un qualunque sistema che simula un comportamento richiede una conoscenza completa ed approfondita di quel comportamento.

Nonostante secoli di scienza linguisEca e di praEca tradugva, la costruzione dei sistemi di MT ha mostrato quanto limitata fosse la nostra conoscenza e consapevolezza del linguaggio umano.

E che il saper fare (=competenza) %pico degli esseri umani non è sinonimo di conoscenza.

Il Problema centrale della LC

I principali scopi della LC sono quindi: -‐ la scoperta dei meccanismi che regolano il nostro linguaggio ed il nostro comportamento linguisEco

-‐  la costruzione di teorie che mebano insieme queste scoperte, cioè trovare nei daE linguisEci e nel comportamento linguisEco il/i livello/i di astrazione adabo/i a trovare delle regolarità che siano formalizzabili

-‐  la costruzione di sistemi che simulino il comportamento linguisEco umano (o qualche sua parte) usando i modelli stessi, per testare le teorie e per sviluppare applicazioni

CONOSCENZA del LINGUAGGIO

MODELLAZIONE del LINGUAGGIO

SVILUPPO di SISTEMI

Brevissima storia di NLP e MT

-‐  Anni ’30: si costruiscono le 2 prime macchine di MT

-‐  1949: memorandum “On TranslaEon”

-‐  Anni ‘50-‐’60: si sviluppano i primi sistemi di MT

-‐  Anni ‘60: la MT riceve molte criEche

-‐  1966: viene sElato il rapporto ALPAC -‐  Dopo il 1966: nascono NLP e CAT -‐  Fine ‘900: si ricomincia a lavorare a MT

Alcuni problemi di fondo

L’approfondimento dello studio del linguaggio ha portato i ricercatori a scoprire una grande varietà di problemi ad esso sobostanE, ad esempio:

-‐  ambiguità nel linguaggio naturale

-‐  variabilità e costante evoluzione del linguaggio naturale

-‐  differenze tra lingue e generi testuali QuesE problemi hanno un forte impabo sui sistemi di NLP e possono richiedere algoritmi e strubure daE in tubo o in parte diverse tra loro.

Alcuni problemi di fondo.1

Ci sono almeno due domande fondamentali a cui occorre rispondere per decidere come affrontare lo studio del linguaggio umano:

-‐  Il linguaggio è quello che sta nella nostra testa e nelle grammaEche o quello che usiamo per comunicare? perché non sono affabo la stessa cosa

-‐  in che considerazione dobbiamo tenere le somiglianze/differenze tra le lingue naturali? le lingue hanno molto o poco in comune?

Competence o performance?

•  In Aspects of the Theory of Syntax (1965) Noham Chomsky introduce la disEnzione tra competence e performance:

•  la competence è la capacità linguisEca idealizzata, collocata tra le proprietà mentali e psicologiche umane

•  la performance è l’uso del linguaggio nella produzione di frasi nell’ambito del processo di comunicazione quoEdiano

Competence o performance?

•  Nell’elaborazione della sua teoria linguisEca Chomsky si focalizza sempre sulla competence ed esprime delle criEche nei confronE delle teorie che mebono al centro la performance.

•  A causa dell’importanza e della centralità delle teorie chomskiane nella LC, fin quasi alla fine del XX secolo nessun approccio di NLP si basa sui daE derivanE dalla performance.

Le criEche di Chomsky

•  Prima criEca: D: Un corpus (insieme di daE linguisEci prodog dai parlanE) può adeguatamente rappresentare un linguaggio?

R: NO, perché il numero di frasi di un linguaggio è infinito, mentre un corpus ne conEene comunque un numero finito, quindi non tube, e distribuite in modo casuale.


•  Risposta alla Prima criEca:

Un corpus può adeguatamente rappresentare un linguaggio se conEene un campione staEsEcamente significaEvo di esso. Non occorre che contenga tube le frasi di un linguaggio, ma una sua porzione abbastanza ampia da contenere esempi di tube le strubure di tale linguaggio.


•  Seconda criEca: D: Perché studiare il linguaggio tramite osservazione direba invece che introspezione?

R: Nella nostra mente (grazie alla competence) sono presenE tube le strubure correbe del linguaggio, mentre lo stesso non può accadere in un corpus per quanto grande.


•  Risposta alla Seconda criEca: Solo l’osservazione direba ci può dare conto di come il linguaggio è realmente usato, del fabo che i parlanE riescono a comunicare tra loro nonostante errori e rumore.

razionalismo vs empirismo La posizione di Chomsky è razionalis%ca e fondata su daE arEficiali e giudizi introspegvi che sono espressione della nostra conoscenza interiorizzata del linguaggio (competence).

Al contrario l’approccio empiricista e fondato sull’osservazione di daE naturali che sono espressione empirica della conoscenza del linguaggio (performance).

Da queste due posizioni teoriche dipendono i due approcci uElizzaE in NLP: rule-‐based e corpus-‐based.

razionalismo vs empirismo I primi sistemi e molE di quelli sviluppaE prima della fine del XX secolo preferivano approcci che privilegiavano la competence (rule-‐based), che si fondano su un insieme di regole fornito al sistema in forma struburata.

Oggi nella LC prevalgono invece gli approcci basaE sulla performance (corpus-‐based), che obengono le regole operando astrazioni da ampie raccolte di esempi e valutandone la frequenza.

Alcuni problemi di fondo.2

Se fosse possibile ritrovare, al di là delle differenze, una condivisione di principi tra le diverse lingue ed una strubura basilare comune a tug i linguaggi, allora si potrebbero trabare tube le lingue con approcci e sistemi simili.

Ma esistono principi comuni a tube le lingue?

Secondo la teoria della GrammaEca Universale (GU) proposta da Noham Chomsky, quesE principi esistono.

NLP: esiste una GU?

La GU è una teoria linguisEca secondo la quale i principi della grammaEca sono condivisi da tube le lingue, e sono innaE in tug gli esseri umani.

Chomsky propose questa teoria per spiegare l’acquisizione del linguaggio in presenza di sEmoli limitaE (povertà dello s1molo): il bambino può imparare bene e in freba la sua lingua madre perché ha già innata parte della conoscenza necessaria a usare il linguaggio.

Chi parla fluentemente una lingua sa quali espressioni sono accebabili nella propria lingua e quali espressioni sono inaccebabili.

L'enigma chiave è capire come chi parla riesce a comprendere le restrizioni del proprio linguaggio, dal momento che le espressioni che violano tali restrizioni non vengono percepite durante l'apprendimento, né vengono indicate come tali.

NLP: esiste una GU?

Lo sEmolo offerto a chi apprende non conEene prove che un'espressione appartenga alla classe di frasi grammaEcalmente scorrebe e le espressioni scorrebe non vengono proposte a chi apprende la lingua.

La GU conterrebbe le restrizioni su come è fabo il linguaggio che portano chi apprende a non poter generalizzare le regole in modo illecito.

NLP: esiste una GU?

L'idea di regole universali è presente già nel pensiero di Fancesco Bacone e dei grammaEci speculaEvi che postulavano regole universali alla base di tube le grammaEche, e sta alla base di molte teorie filosofiche sul linguaggio elaborate nel XVII secolo.

NLP: esiste una GU?

Secondo G. Sampson le teorie sulla GU non sono refutabili in quanto le generalizzazioni grammaEcali alla base della GU sono speculazioni sulle lingue esistenE, e non valutazioni predigve sulle possibilità di una lingua.

La povertà dello s1molo si spiega osservando che chi apprende un linguaggio può ipoEzzare da solo le restrizioni grammaEcali notando l'assenza di una certa classe di espressioni.

NLP: esiste una GU?

Alcuni approcci alla MT presuppongono l’esistenza di una sorta di GU, ma si sono rivelaE in praEca non realizzabili perché la GU non è facile da descrivere.

Si è rivelato in generale molto difficile descrivere completamente una lingua tramite regole.

MA dobbiamo considerare queste delle prove empiriche del fabo che non esiste una GU?

NLP: esiste una GU?

La soluzione per quesE problemi non è certa e la storia della LC mostra che sono staE causa di differenE paradigmi.

La disEnzione competence/performance è alla base della disEnzione rule-‐based/corpus-‐based.

La credenza o rifiuto della GU è alla base degli approcci di MT basaE su forme di interlingua.

Alcuni problemi di fondo. Conclusione

LC e livelli di astrazione

Il compito che NLP deve affrontare è quello di COMPRENDERE IL LINGUAGGIO NATURALE.

Si traba di un compito estremamente complesso, anche se non percepito come tale dagli esseri umani. La LC, per affrontarlo, tradizionalmente opera astrazioni in due modi:

•  suddividendo tale compito in sobocompiE più semplici

•  considerando separatamente aspeg diversi del linguaggio

LC e suddivisione in soboproblemi

Il compito di COMPRENDERE IL LINGUAGGIO NATURALE viene suddiviso in sobocompiE più semplici in cui occorre solo una parziale comprensione del linguaggio:

-‐  InformaEon ExtracEon

-‐  InformaEon Retrieval

-‐  Machine TranslaEon

-‐  SenEment Analysis e Opinion Mining

-‐  …


Per COMPRENDERE IL LINGUAGGIO NATURALE se ne possono osservare separatamente aspeg diversi:

-‐  morfologia

-‐  sintassi -‐  semanEca

-‐  pragmaEca


Ad ogni livello di astrazione si risolvono diversi problemi ed in parEcolare:

-‐  trabamento delle ambiguità

-‐  rappresentazione adaba ai sistemi di NLP

-‐  acquisizione e uElizzo di conoscenza linguisEca nei sistemi di NLP

Cosa significa comprendere il linguaggio naturale?

Comprendere un linguaggio naturale significa essere in grado di associare UNA SOLA interpretazione ad ogni espressione di tale linguaggio.

Dove con espressione si intende: parola, sintagma, frase …

Human Language Understanding

• Si basa su una complessa conoscenza grammaEcale e lessicale

• È supportata da una almeno altrebanto ampia conoscenza del mondo

• Insomma ... comprendere l’informazione codificata nel linguaggio richiede una quanEtà di conoscenza e competenza

Livelli di strubura linguisEca

• foneEco: suoni del parlato, come vengono prodog, come vengono percepiE • fonologico: la strubura grammaEcale dei suoni e del sistema sonoro

Ogni lingua ha delle convenzioni in base alle quali cerE suoni e certe composizioni di lebere sono accebabili ed altri no: ca / tcha / ça taogt / gabo

Livelli di strubura linguisEca Livello morfologico: come le sobo-‐unità delle parole si combinano per formare la parola

* remangia vs mangiare

silavare vs lavarsi

RIGUARDA LA SINGOLA PAROLA PRESA IN ISOLAMENTO, quindi non dipende in alcun modo dal contesto (sintagco o semanEco)

Livelli di strubura linguisEca Livello sintagco: come le parole si combinano per formare la frase

In italiano: * bianco Giorgio il vuole pane * Vuole bianco Giorgio pane il Giorgio vuole il pane bianco In toba batak: Manjaha buku guru i legge libro maestro il

RIGUARDA LA FRASE, e dipende dall’ordine delle parole in essa, ma non solo


Livello semanEco (lessicale e proposizionale): che cosa significa ogni parola e come i significaE delle parole si combinano per formare il significato della frase

* la macchia invisibile crede nel cielo * idee verdi senza colore sognano furiosamente


Livello pragmaEco: in che modo i significaE delle frasi sono uElizzaE per manifestare gli scopi comunicaEvi degli esseri umani all’interno del contesto e della situazione di enunciazione

-‐  La casa è la prima che trovi svoltando a destra dopo il teatro -‐  La prima nobe di San Silvestro del nuovo millennio -‐ Questo è bello

Livelli di strubura linguisEca Ogni livello ha le sue peculiarità, comporta determinate conoscenze e rappresenta un modo diverso di vedere i daE linguisEci.

Ma tug i livelli sono fondamentali per la comprensione del linguaggio, in cui I livelli sono organizzaE gerarchicamente: si parte dai livelli più bassi per arrivare alla morfologia, alla sintassi, alla semanEca e alla pragmaEca.

Problemi Oltre alla molta conoscenza che la comprensione del linguaggio richiede, il principale problema del NLP è la pervasiva ambiguità del linguaggio a tuP i livelli di analisi.

Noi vedremo in modo specifico i livelli morfologico e sintagco, che sono quelli maggiormente interessanE dal punto di vista della traduzione.

Cosa è l’ambiguità?

Quando una frase conEene una ambiguità non è possibile darne una (SOLA) interpretazione.

Questo è un grosso problema per un sistema di NLP.

Perchè ci interessa l’ambiguità?

Gli esseri umani hanno una quanEtà di conoscenza grazie alla quale non percepiscono molte delle ambiguità che invece una macchina trova nel linguaggio.

Ambiguità morfologica

Trans-‐categoriale:

-‐  “Tug hanno un TELEFONINO e a chi TELEFONINO non si capisce”

-‐ PESCA nome (il frubo, lo sport)

verbo (lo sport, l’estrazione, ...)

aggegvo (il colore)

Ambiguità semanEca lessicale

brucia (bruciare, 3a persona, ind. pres., intr.):

-‐ La carta brucia (“è un combusEbile”)

-‐ La casa di Mario brucia (“ha preso fuoco”)

-‐ Il peperoncino brucia (“è piccante”)

-‐ La minestra brucia (“è troppo calda”)

-‐ La gola brucia (“causa dolore fisico”)

-‐ La condanna brucia (“causa dolore mentale”)

Ambiguità sintagca Può essere indipendente dall’ambiguità morfologica: “Giorgio vide un uomo nel parco con il telescopio”

Può causare ambiguità semanEca: “Giorgio vide un uomo con un telescopio”

Può essere relaEva alle relazioni grammaEcali: “Chi uccise il poliziobo?”

Ambiguità sintagca Può essere locale, nel senso che una parte della frase ammebe diverse analisi, ma solo una di queste analisi è valida per la frase intera:

“I soldaE, avverEE del pericolo ...

..., condussero il raid di mezzanobe.”

“I soldaE, avverEE del pericolo ...

... i cibadini, condussero il raid di mezzanobe.”

Ambiguità sintagca

Può essere globale ed anche irrisolvibile se la frase completa ammebe più analisi tube valide:

“La vecchia porta la sbarra”

Ambiguità semanEca

Può essere determinata dall’ambiguità presente ad altri livelli, e può dipendere dai quanEficatori:

-‐ Ogni uomo ama una donna

= per ogni singolo uomo, esiste una

singola donna che egli ama

= esiste una sola singola donna che ognuno

degli uomini (preso singolarmente) ama

Ambiguità e LC

In sostanza l’organizzazione in categorie di conoscenza linguisEca ci consente di vedere il trabamento del linguaggio come il lavoro di risolvere l’ambiguità ad ognuno dei livelli di astrazione separatamente.

Anche una frase molto semplice può contenere un gran numero di ambiguità.

Ambiguità e LC

I made her duck Io ho cucinato un’anitra per lei

Io ho cucinato un’anitra che apparteneva a lei

Io ho creato l’anitra (di qualche materiale) che lei possiede

Io ho fabo si che lei abbassasse rapidamente la testa

Io ho trasformato lei in un’anitra (con la mia baccheba magica)

Ambiguità e LC

I made her duck

duck: nome e verbo

her: pronome daEvo o aggegvo possessivo

make: creare e cucinare, transiEvo e ditransiEvo, prende oggebo e verbo

linguistica* computazionale* (1) - di.unito.itbosco/lingue2017/nlp-2017-1-.pdf ·...

Documents