Quantità dell’informazione

Vitalie Scurtu

Storia

• Shannon - "A Mathematical Theory of Communication“ - 1948

• Lossless compression (Shannon-Fano, Adaptive Huffman)

• Crittografia (per codificare e decodificare i codici)

• Analisi delle sequenze di DNA (http://pnylab.com/pny/papers/cdna/cdna/index.html)

• Nell’Elaborazione del Linguaggio Naturale (ELN conosciuto anche come NLP)

• Maximum Entropy Models per il problema di classificazione

Cos’è quantità dell’informazione

La quantità dell’informazione di un fenomeno dipende dalla sua frequenza, o dalla sua probabilità.– Quantità bassa dell’informazione

• Oggi a Milano è grigio.

• L’economia in crisi.

• Berlusconi al bar con le escort.

– Quantità alta dell’informazione• A Milano nevica.

• I Dentisti In sciopero.

Entropia e la quantità media dell’informazione

• Formula quantità dell’informazione

p(m) – la probabilità che occorre il fenomeno m

n – numero di fenomeni

nm

mpmpmH

...1

)(log*)()(

nm

mpn

mV

...1

)(11)(

Simplificazione

Dove: nrDocs(m) – in quanti documenti ocorre la parola Mtotal = numero totale di document

• Le formule finale:

V(m) - Quantità media dell’information (QMI)H(m) – Entropia o Quantità dell’informazione (QI)

nm

total

mnrDocs

total

mnrDocsmH

...1

)()(log*)(

nm

total

mnrDocs

nmV

...1

)(11)(

total

mnrDocsmp

)()(

Coefficienti della probabilità

x=1…n

y=p(x)

1)(lim

xpx

Coefficienti del logaritmo

x=0..1

Y=log(x)

)log(0

limx

x

Coefficienti Entropia di Shannon

X =

p(x) log(p(x))*-1

• Esempio di parole molto probabile: in, e,si,non,ha,è, Del• Esempio di parole poco probabile:

, , ATP

x=p(1…n)

y=x*log(x)*-1

Distribuzione documenti base Entropia

Distribuzione Zipf (Long Tail)Pochi con valori nell’estremità superiori, e tantissimo nell’estremitàinferiore.

• MIN=0• MAX=1700.0(senza limite)x=doc(1…n)y=H(doc(1…n))

Distribuzione doc base Quantità media dell’Informazione

Distribuzione

GaussianaPochi nell’estremità e la

maggioranza nella media dei valori

MIN=0

MAX=1.0

x=doc(1…n)

Y=V(doc(1…n))

Distribuzione doc base Quantità media dell’Informazione

Taglio fuori la mediana

x=doc(1…n)

y=V(doc(1…n))

I testi al limite inferiore della quantità media dell’informazione

http://feedproxy.google.com/~r/iomestessaeme/feed/~3/BbAW7_Ygrkk/autodistruzione-di-un-post-e-di-me.html

Mi mancano le piccole complicità. Quelle in cui vorrei inciampare per caso. Le parole sottointese. Le cose dette con gli occhi. Le parentesi tra un respiro e l'altro. Tutte le parole scritte che riescono a prendere voce. Come capitava con te, e nessuno poi. Il sapere di esistere. E gli anni non passano, a volte. Gli anni sono solo per le menti, non per le anime. Nì. Che torna. Che resta. O che deve passare. Non so.

Di cosa sta parlando?QI=14.0QMI=0.39

I testi al limite inferiore della quantità media dell’informazione

• http://www.etnografia.it/2011/11/06/genova-litania/

Ecco dunque LITANIAGenova mia citta’ intera.Geranio. Polveriera.Genova di ferro e aria,mia lavagna, arenaria.Genova citta’ pulita.Brezza e luce in salita.Genova verticale,vertigine, aria scale.Genova nera e bianca.Cacumine. Distanza.Genova dove non vivo,mio nome, sostantivo.Genova mio rimario.Puerizia. Sillabario.Genova mia tradita,rimorso di tutta la vita.Genova in comitiva.Giubilo. Anima viva.Genova in solitudine,straducole, ebrietudine.Genova di limone.Di specchio. Di cannone.Genova da intravedere,mattoni, ghiaia, scogliere.

QI=66.11QMI=0.42

I testi al limite inferiore della quantità media dell’informazione

195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=GeneralInformationQuantity%20asc&fq=QualityScore:100

• I post poco informativi, anomalie

• I testi con delle parole che si ripetono spesso (Es. Poesia)

http://feedproxy.google.com/~r/iomestessaeme/feed/~3/BbAW7_Ygrkk/autodistruzione-di-un-post-e-di-me.html

http://www.etnografia.it/2011/11/06/genova-litania/

I testi al limite superiore della quantità media dell’informazione

http://habeshia.blogspot.com/2011/11/blog-post.html•

•

•

•

•

QI=23.13QMI=0.96

I testi al limite superiore della quantità media dell’informazione

• http://www.tennisworlditalia.com/ATP-SYDNEY---Starace-iscritto-articolo6747.html• Juan Martin Del Potro ARG View View

Marcos Baghdatis CYP View ViewSam Querrey USA View ViewErnests Gulbis LAT View ViewRichard Gasquet FRA View ViewViktor Troicki SRB View ViewFeliciano Lopez ESP View ViewGuillermo Garcia-Lopez ESP View ViewYen-Hsun Lu TPE View ViewFlorian Mayer GER View ViewJarkko Nieminen FIN View ViewJuan Ignacio Chela ARG View ViewDenis Istomin UZB View ViewGilles Simon FRA View ViewJulien Benneteau FRA View ViewJeremy Chardy FRA View ViewSergiy Stakhovsky UKR View ViewPotito Starace ITA View ViewAlexandr Dolgopolov UKR View View[WC] Matt Ebden AUS View View

QI=2.78QMI=0.95

I testi al limite superiore della quantità media dell’informazione

195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=GeneralInformationQuantity%20desc&fq=QualityScore:100

• Testi in arabo, inglese, anomalie del testo

• Elenchi dei nomi rari

• Linguaggio specialistico (tanti neologismi o terminologia profesionale)

http://habeshia.blogspot.com/2011/11/blog-post.html

http://www.tennisworlditalia.com/ATP-SYDNEY---Starace-iscritto-articolo6747.html

http://www.musicandfreetime.it/2011/11/7003-elio-e-le-storie-tese-in-concerto/

http://www.musicandfreetime.it/2011/10/6894-marco-mengoni-nuove-tappe-del-tour/

http://comuneportosantavenere.blogspot.com/2011/09/larea-costiera-esclusa-dallo-sblocco.html

I testi al limite inferiore della Entropia

• http://www.internazionale.it/news/argentina/2011/10/28/a-un-ano-de-la-muerte-de-nestor-kirchner/

• Il supplemento speciale che Página 12 dedica all’ex presidente argentino Néstor Kirchner. Con articoli di Hebe de Bonafini, fondatrice delle Madri di plaza de mayo, e Horacio Verbitsky.

QI=4.57QMI=0.62

I testi al limite inferiore della Entropia

• http://arteteatro-eva.blogspot.com/2011/11/giulio-scarpati-legge-e-commenta-alla.html

• Giulio Scarpati legge e commenta alla giornata evento della Lega Coop

QI=1.32

QMI=0.67

I testi al limite inferiore della Entropia

195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=IE_body_tg%20asc&rows=1000

• Post brevi o quasi vuoti (anche se in lingua straniera)• Poco informativi

http://jucirdanro.blogspot.com/2011/11/arsenal-story-93.html (breve e in lingua straniera)

http://satiraglio.ilcannocchiale.it/post/2696530.html (poco informativo)http://www.internazionale.it/news/argentina/2011/10/28/a-un-ano-de-la-muerte-de-

nestor-kirchner/http://arteteatro-eva.blogspot.com/2011/11/giulio-scarpati-legge-e-commenta-

alla.html (pooca informazione)

I testi al limite superiore della Entropia

• http://masadaweb.org/2011/11/02/masada-n%C2%B01334-30112010-la-tempesta-finanziaria/

G20 a Nizza – Grottesco italiano – Le giornate terribili della Borsa – Il Governo chiude la DIA – Il segaossi – Cercate gli evasori! – Il terrorismo di Sacconi – Disoccupazione e morte civile – I cento punti di Renzi – Assalto alla democrazia – Kaufman – Morte al welfare, la debitocrazia è soddisfatta- La truffa delle quote latte Antoine de Saint Exupery: “Se vuoi costruire una nave, non radunare gli uomini per raccogliere il legno e distribuire i compiti, ma insegna loro la nostalgia del mare ampio e infinito” . .. Ida “Le pecore, hanno bisogno del pastore con i suoi cani. I gabbiani, hanno solo bisogno del vento.” .. “Siamo tutti sotto lo stesso cielo, ma non tutti abbiamo lo stesso orizzonte” (K. Adenauer) Ci sono uomini che lottano un giorno e sono bravi, altri che lottano un anno e sono più bravi, ci sono quelli che lottano più anni e sono ancora più bravi, però ci sono quelli che lottano tutta la vita: essi sono gli indispensabili. (BertoltBrecht) IL GROTTESCO ITALIANO 10.000 indignati sono a Nizza contro il G20, ma siccome non hanno fatto morti, feriti o danni, nessuno ne parla, infatti i governi chiedono sempre che le manifestazioni siano pacifiche, ma, quando lo sono, ovviamente le ignorano, mentre, se ci sono incidenti, ne fanno un’emergenza nazionale e urlano al terrorismo. Credete voi che il G20 decida di introdurre una Tobin Tax sulle transazioni speculative della Borsa o qualche freno alle speculazioni bancarie o la minima regola alla Finanza distruttiva? Nemmeno per idea! Anzi siamo al ridicolo! Le banche americane che hanno sfrattato i poveri dalle loro case e hanno rinforzato la propria casa con gl i aiuti governativi, hanno fatto una festa di Hallowen dove i bancari assassini si sono travestiti da barboni, insomma si sono pure fatti due belle risate sulle loro vittime! Dopo il danno la beffa! Milano perde il 6,8%. Al 7 sarà l’apocalisse! L’Italia rotola come una palla da biliardo verso il default, nell’inerzia annoiata di un governo indifferente che da 3 anni non governa e che combatte la crisi con gli elicotteri di lusso di Berlusconi, i caccia o le Maserati di Larussa, Maroni che ignora che le auto della polizia sono senza benzina a taglia la Dia tra ringraziamenti della mafia, le petulenze della Bernini o i lai terroristi di Sacconi, mentre B porta sfiga persino al Milan! Intanto i figli dei prefetti si fanno appartamenti di gran lusso ‘a sua insaputa’ col Viminale che rifiuta di far chiarezza, perché ‘i figli so’ pezzi e’ core’. Papandreu scombicchera le carte annunciando un referendum: se il popolo deve morire, tanto vale che decida il proprio suic idio. E’ lo stesso Papandreu che si disse interessato agli indignati. Intanto cambia tutti i capi delle forze armate, chissà perché. Il suo governo sembrava abbattuto, ma la mossa coraggiosa ha reso chance al Pasok. E’ facile una valanga di No all’adesione al piano micidiale della Bce. A quel punto la Grecia esce dall’Ue e affronta da sola il suo defaul t. Nessuno le compra più i suoi titoli. E dopo? I morituri cominciano a ribellarsi L’Islanda si tira fuori da ogni default, rifiuta di pagare il debito e prende a calci il governo Dilma Rousseff,nuovo presidente del Brasile, nega che la crisi possa corretta con la famigerata ricetta neoliberista di disoccupazione e tagli, e annuncia piani di investimento per aumentare lavoro e reddito. Nel disastro generale solo ‘il leader minuscolo’ se la prende comoda, del resto governa ‘a tempo perso’ e non sa che pesci prendere, ora meno che mai, quando Tremonti fa l’offeso. L’urgenza massima c’è da 3 anni ma nessuno provvede alla spesa pubblica. La mangiatoia non si tocca. Ai primi di agosto gli mettono il fuoco al culo ma lui va in ferie, oggi l’Europa brucia e lui fa il ponte di Ognissanti, gli chiedono rapidi provvedimenti per il bilancio e porta una letterina di intenti, nemmeno firmata da Tremonti, nemmeno approvata dai ministri, nemmeno vista dal Parlamento, subito dopo dice che “l’euro non ha convinto nessuno “. A tutt’oggi con lo spread a 440 e gli interessi al 6,8 traccheggia, pensa alla bionde stra fighe, racconta barzellette, si chiude ad Arcore, pensa a diseredare la seconda moglie con figli annessi, si fa gli affari suoi e del paese se ne frega. Il puffo malefico a tratti sembra lanciatissimo,ma è tutta scena per i media, come l’imbonitore Renzi, ormai fanno solo avanspettacoli da provincia. Il puffo fiorentino è “tardo blairismo in salsa populista” e l’unica cosa con cui rompe è la sx. Bossi è lucido ‘a tratti’, mentre B, spenti i brevi sprazzi di vivacità, entra saltuariamente in coma. Il nuovo della politica fiorentina si mette più a dx della dx con un programma di privatizzazioni che fa sembrare l’Ue comunista. Ogni tanto B si sveglia, per la serie “eppur si muove”, prende il viagra, tromba un po’, mostra all’urbe et orbe ‘come fregarsene del debito trombando lo stesso’, ”basta far finta di esserci e poi continuare a farsi gli affari propri” e poi si riaddormenta. Tra uno sbadiglio e un coma ci sembra quasi che niente si muova. Ma è l’impressione di chi è già morto. Ripartono i movimenti per la pubblicizzazione dell’acqua Malgrado il 95% di cittadini giustamente incazzati con la privatizzazione, l’acqua non è tornata pubblica, nelle bollette continuiamo a pagare il surplus di ricavo per gli esercenti, Bersani come nulla fudesse, il giorno dopo il referendum, ha riproposto la privatizzazione, Renzi privatizzerebbe anche il culo di sua nonna e l’UE ci ordina di privatizzare di tutto. E poi la chiamano democrazia! Poi si dice che la classe politica è al servizio della comunità! E che abbiamo interessi a stare in Europa! Giornate terribili in Borsa per l’Italia! Viviana Vivarelli Mentre B governa ‘a tempo perso’, e l’opposizione perde tempo col programma già obsoleto di Renzi, gli interessi sul debito si impennano paurosamente. E giovedì il G20 discuterà proprio su una Europa appesa al capestro di una Italia irresponsabile e in via di bancarotta. Uno dei punti più importanti della lettera della Bce era l’incentivo del lavoro giovanile con lo stipendio di sussistenza ai giovani disoccupati, che in Italia sono ormai uno su 3, mentre delle donne non ne lavora una su 2, ma B nemmeno l’ha

QI=1700.0QMI=0.6

I testi al limite superiore della Entropia

195.43.189.237:8080/solr/quantityScore/select/?q=*%3A*&wt=xslt&tr=renderQuantityScore.xsl&sort=IE_body_tg%20desc&ro

ws=1000

• I post lunghissimi con tanta informazione

• Elenci di nomi rari

http://masadaweb.org/2011/11/02/masada-n%C2%B01334-30112010-la-tempesta-finanziaria/ (un post lunghissimo con tantainformazione)

Entropia dipende dalla lunghezza del testo

• Correlazione: 0.99 – è altissima perché la correlazione e uguale a uno quando i dati sono identici.

Altri risultati

• Correlazione QMI con Lunghezza del Testo è bassissima: 0.05 (rispetto a 0.985)

• Correlazione QMI e QI con QualityScore 0.011

• Correlazione QMI e QI non è bassa ma neanche tanto alta: 0.57

Conclusione

• Entropia vs. Quantità media Entropia è base lunghezza, quindi non trova le anomalie, invece la quantità media riesce a trovare le anomalie.

• Entropia è bassa anche se un testo breve contiene delle parole rare.

• Quantità media dell’informazione più rappresenta lo stile di scrittura e non dipende dalla lunghezza.

• QI vs. QMI - Si compensano• Dei score calcolati in automatico

• QI vs. Analisi Stilistica– Risolve dei problemi che con l’analisi stilistica non si

possono risolvere

• QMI - l’informazione sullo stile di scrittura

¿ Domande?