Sviluppo di metodi per la Sviluppo di metodi per la sorveglianza acustica in ambienti sorveglianza acustica in ambienti

urbaniurbani

Università degli studi di Trieste

Laureando:David Babic

Relatore:Prof. Massimiliano Nolich

IntroduzioneIntroduzione

Cosa viene impiegata la sorveglianza acustica: ◦ Integrazione audio-video

◦ Monitoraggio in assenza di luce

◦ Sistemi anti intrusione (rilevamento di vetri rotti)

◦ Monitoraggio di aree molto vaste

MotivazioniMotivazioni

Programma di classificazione dei suoni :◦ Distinguere diverse categorie di suoni◦ Suoni ambientali di tipici dell’ambiente che

corrispondono a pericolo Metropolitana Zone trafficate Aeroporti

Classificatore automatico◦ Sistema di supporto alle decisioni (DSS)◦ Avviso automatico in caso di pericolo

Stato dell’arte (I)Stato dell’arte (I)Articoli accademici e studi scientifici:

◦ Comparazione di diversi algoritmi◦ Influenza del rumore nel riconoscimento◦ Esempio: classificatore basato sull’algoritmo HMM

Riconoscimento del contesto nel quale ci si trova

Fonte: Environmental Noise Classification for Context-Aware Applications, School of Computing Sciences”, University of East Anglia Norwich

Stato dell’arte (II)Stato dell’arte (II)Articoli accademici e studi scientifici:

◦ Esempio: comparazione delle prestazioni di due algoritmi di classificazione (GMM e HMM) Valutazione delle prestazioni al variare del rapporto

segnale-rumore Valutazione della presenza di falsi positivi

SNR(dB)

Bad-detected

Signals (%)

GMM Rec.Rate (%)

HMM Rec.Rate (%)

70 0 97.32 98.54

60 0 94.88 96.10

50 0 91.71 95.37

40 0 90.93 96.32

30 0 90.89 94.53

20 0 86.54 91.54

10 0 77.02 85.09

0 0,26 63.57 68.30

-10 18,24 44.06 49.15

Fonte: Automatic sound detection and recognition for noisy environment”, Institute of Microtechnology, University of Neuchâtel

Prodotti commerciali:◦ Audio analytic: sistema in grado di riconoscere

varie categorie di suoni. Ambito ospedaliero e carcerario Estendibile tramite moduli

◦ ShotSpotter: sistema in grado di rilevare e localizzare spari di arma da fuoco Installato in molte città

americane Segnalazione automatica alla

polizia

Stato dell’arte (III)Stato dell’arte (III)

Fasi di lavoroFasi di lavoro

1- Analisi dello scenario applicativo◦ Analisi di quali sono i rumori significativi◦ Tipologie di rumori coinvolti

2 – Analisi e raccolta dei rumori significativi◦ Raccolta dei rumori◦ Creazione e utilizzo di database

3 – Algoritmi di classificazione◦ Scelta di feature adatti alla classificazione◦ Scelta dell’algoritmo di classificazione◦ Implementazione

4 – Risultati sperimentali◦ Comparazione del file

1 – Analisi della scena 1 – Analisi della scena applicativaapplicativaMetropolitana

Grida Spari di pistola Vetri rotti Abbaiare dei cani

Zone trafficate Clacson Frenate Spari di pistola Grida

Aeroporti Grida Vetri rotti

2 – Analisi e raccolta di 2 – Analisi e raccolta di rumorirumoriRegistrazione rumori difficileLibrerie di effetti sonori online (SoundDogs)

◦ Formati diversi◦ Registrazioni non omogenee

Costruzione database di suoni◦ File .wav, frequenza di campionamento 11Khz◦ Suoni divisi in 6 categorie

Spari di pistola: 35 file (divisi in 7 sottocategorie) Grida: 43 file Vetri rotti: 32 file Abbaiare dei cani: 28 file Clacson: 13 file Frenate: 25 file

3 – Algoritmi di classificazione (I)3 – Algoritmi di classificazione (I)

Pre-elaborazione: acquisizione del segnale, campionamento e quantizzazione.

Estrazione di feature: ridurre la quantità di dati

◦ Serve per “descrivere” il segnale

◦ Scelta delle feature

Classificazione: algoritmo di decisione, Hidden Markov Model, Gaussian Mixture Model, …

◦ Fase di apprendimento (training)

◦ Fase di test

3 – Algoritmi di 3 – Algoritmi di classificazione (II)classificazione (II)

Estrazione di feature◦ ZCR (Zero crossing rate)

◦ Spectral Centroid

◦ Crest Factor

◦ MFCC (Mel-Frequency Cepstral Coefficient): coefficienti che collettivamente rappresentano il MFC (mel-frequency cepstrum) – rappresentazione dello spettro di potenza

3 - Algoritmi di 3 - Algoritmi di classificazione (III)classificazione (III)

GMM (Gaussian Mixture Model):◦ Modello probabilistico formato da una

combinazione lineare di funzioni di distribuzione gaussiana, chiamate componenti della mistura

◦ Utilizzato comunemente nel “pattern recognition”◦ Ha bisogno di un algoritmo

di training (EM – Expectation -Maximization)

3 - Algoritmi di 3 - Algoritmi di classificazione (IV)classificazione (IV)

Forme della funzione densità di probabilità al variare dei parametri 𝜆,k.

3 – Algoritmi di 3 – Algoritmi di classificazione (V)classificazione (V)

Implementazione dell’algoritmo di classificazione basato su GMM◦ Estrazione feature◦ Decisione

Calcolata densità di probabilità per ogni categoria Passa attraverso una funzione di soglia

Implementazione dell’algoritmo basato su Weibull◦ Estrazione parametri da file di test◦ Decisione

Valutazione distanza dai vari punti medi

3 – Algoritmi di 3 – Algoritmi di classificazione (VI)classificazione (VI)

4 – Risultati sperimentali 4 – Risultati sperimentali (I)(I)

  Scream Gun Glass Tire Bark Clacson

Scream 92% 0% 0% 8% 0% 0%

Gun 0% 98% 0% 0% 2% 0%

Glass 0% 4% 92% 0% 2% 2%

Tire 6% 0% 0% 94% 0% 0%

Bark 4% 1% 0% 6% 88% 0%

Clacson 4% 0% 8% 6% 0% 82%

Algoritmo di classificazione GMM◦ Test

File audio della durata di circa 15s Inserimento di 2-3 suoni scelti in modo casuale File per l’apprendimento separati dai file di test

◦ Risultati Matrice di confusione

Algoritmo di Weibull◦ Test

File audio con sparo singolo File per l’apprendimento separati dai file di test

◦ Risultati Visualizzazione grafica

4 – Risultati sperimentali 4 – Risultati sperimentali (II)(II)

Algoritmo di Weibull◦ Matrice di confusione

In media, considerati 10 spari per categoria Diverse categorie con percentuale di riconoscimento del 100% Altre categorie di pistole che si confondono tra di loro

4 – Risultati sperimentali 4 – Risultati sperimentali (III)(III)

  Beretta Colt SW Ruger MAC Jericho Glock

Beretta 100% 0% 0% 0% 0% 0% 0%

Colt 0% 0% 100% 0% 0% 0% 0%

SW 0% 0% 100% 0% 0% 0% 0%

Ruger 0% 0% 0% 100% 0% 0% 0%

MAC 0% 0% 0% 0% 67% 33% 0%

Jericho 0% 0% 0% 0% 38% 13% 50%

Glock 0% 0% 0% 0% 25% 17% 58%

Algoritmo di Weibull◦ Comparazione spari

Valutazione se i due spari appartengono alla stessa categoria

Non è in grado di riconoscere la categoria di appartenenza Valutate le distribuzioni di Weibull calcolate dalle risposte

in frequenza (fft)

4 – Risultati sperimentali 4 – Risultati sperimentali (IV)(IV)

Analisi della letteratura

Valutazione di vari algoritmi per la classificazione

Utilizzo dell’algoritmo GMM per l’elaborazione dei dati acustici

Utilizzo dell’algoritmo di Weibull per l’elaborazione di dati acustici di tipo impulsivo

Lavoro svoltoLavoro svolto

Conclusione e sviluppi Conclusione e sviluppi futurifuturi

Risultati ottenuti:• GMM:

• Media successo del 91%

• Pochi falsi positivi

• Weibull:

• diversi modelli indistinguibili

Sviluppi futuri: Valutazione degrado prestazioni in presenza di rumore Acquisizione audio da microfono in modalità real-time Localizzare la fonte del rumore con array di microfoni

Grazie per Grazie per l’attenzionel’attenzione