הבחנה בין קולות רחרוח וקולות הלחתה של כלבים
DESCRIPTION
הבחנה בין קולות רחרוח וקולות הלחתה של כלבים. אופיר אזולאי גיל בלוך מנחה : ד"ר יזהר לבנר. מטרות. פיתוח כלי אוטומטי לזיהוי בין קולות רחרוח וקולות הלחתה של כלבים. מערכת המקבלת הקלטה של קולות הנשימה של כלב, מזהה מאורעות רחרוח ומאורעות הלחתה ומציגה את המידע. על המערכת להתאים לכלבים שונים. - PowerPoint PPT PresentationTRANSCRIPT
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
11
הבחנה בין קולות הבחנה בין קולות רחרוח וקולות הלחתה רחרוח וקולות הלחתה
של כלביםשל כלביםאופיר אזולאיאופיר אזולאי
גיל בלוךגיל בלוך
מנחה : ד"ר יזהר לבנרמנחה : ד"ר יזהר לבנר
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
22
מטרותמטרות
פיתוח כלי אוטומטי לזיהוי בין קולות רחרוח וקולות פיתוח כלי אוטומטי לזיהוי בין קולות רחרוח וקולות •הלחתה של כלבים.הלחתה של כלבים.
מערכת המקבלת הקלטה של קולות הנשימה של מערכת המקבלת הקלטה של קולות הנשימה של –כלב, מזהה מאורעות רחרוח ומאורעות הלחתה כלב, מזהה מאורעות רחרוח ומאורעות הלחתה
ומציגה את המידע.ומציגה את המידע.על המערכת להתאים לכלבים שונים.על המערכת להתאים לכלבים שונים.–על המערכת להתאים להקלטות שונות )מיקרופון על המערכת להתאים להקלטות שונות )מיקרופון –
שונה, מערכת הקלטה שונה(.שונה, מערכת הקלטה שונה(.המערכת תהיה חסינה לרעשי רקע שונים.המערכת תהיה חסינה לרעשי רקע שונים.–
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
33
נושאים לדיוןנושאים לדיון
בחירת שיטה למיצוי פרמטרים של האות.בחירת שיטה למיצוי פרמטרים של האות.•
בחירת שיטה לזיהוי תצורת רחרוח והלחתה.בחירת שיטה לזיהוי תצורת רחרוח והלחתה.•
מערכת איסוף מידע 'לימוד' פרמטרים אופייניים מערכת איסוף מידע 'לימוד' פרמטרים אופייניים •עבור כלבים שונים.עבור כלבים שונים.
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
44
פרויקט א - תקצירפרויקט א - תקציר
שימוש בפונקצית אנרגיה לגילוי מאורעות.שימוש בפונקצית אנרגיה לגילוי מאורעות.•
לתיאור המעטפת הספקטרלית לתיאור המעטפת הספקטרלית ARARמיצוי מקדמי מיצוי מקדמי •של האות.של האות.
שימוש ברשת נוירונים לזיהוי המאורעות.שימוש ברשת נוירונים לזיהוי המאורעות.•
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
55
שינוי גישהשינוי גישה
בחלקו השני של הפרויקט ניסינו להשתמש בחלקו השני של הפרויקט ניסינו להשתמש •בטכניקה שונה בכל אחד מחלקי הפרויקט.בטכניקה שונה בכל אחד מחלקי הפרויקט.
בנוסף ניסינו לאחד את שלב גילוי המאורעות לשלב בנוסף ניסינו לאחד את שלב גילוי המאורעות לשלב •זיהוי המאורעות ע"י שימוש בפרמטרים המאפיינים זיהוי המאורעות ע"י שימוש בפרמטרים המאפיינים
לגילוי וזיהוי גם יחד.לגילוי וזיהוי גם יחד.
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
66
תיאור האלגוריתםתיאור האלגוריתם
MFCCMFCCמיצוי פרמטרים – חישוב מקדמי מיצוי פרמטרים – חישוב מקדמי •עבור חלונות זמן לאורך האות המוקלט.עבור חלונות זמן לאורך האות המוקלט.
יצירת וקטור מאפיין של מקטעי אות יצירת וקטור מאפיין של מקטעי אות • של של MFCCMFCCקצרים )שילוב מקדמי ה-קצרים )שילוב מקדמי ה-
מספר חלונות עוקבים(.מספר חלונות עוקבים(.
זיהוי שייכות הוקטורים המאפיינים של זיהוי שייכות הוקטורים המאפיינים של •האות לקבוצת וקטורים אופייניים של האות לקבוצת וקטורים אופייניים של
מאורעות רחרוח ומאורעות הלחתה מאורעות רחרוח ומאורעות הלחתה (. (. Fuzzy KNNFuzzy KNN)שימוש ב )שימוש ב
מיצוי פרמטרים מהאות
יצירת וקטור מאפיין(Feature Vector)
זיהוי מאורעות רחרוחומאורעות הלחתה
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
77
מיצוי פרמטריםמיצוי פרמטריםMel Frequency Cepstral Mel Frequency Cepstral
CoefficientsCoefficients
מספר פרמטרים קטן.מספר פרמטרים קטן.•
-Mel-Melהצגת ספקטרום האות על גבי סקלת התדר הצגת ספקטרום האות על גבי סקלת התדר •scalescale . .
•Mel scaleMel scale מבוססת על מחקרים רבים המראים - מבוססת על מחקרים רבים המראים - שתגובת האוזן לתדר היא ליניארית עד לתדר של שתגובת האוזן לתדר היא ליניארית עד לתדר של
, ולוגריתמית מעל לתדר זה., ולוגריתמית מעל לתדר זה.KHzKHz11כ - כ -
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
88
MFCCMFCCאופן חישוב מקדמי ה אופן חישוב מקדמי ה ( ממירה ( ממירה Fourier transformFourier transformהתמרת פורייה )התמרת פורייה )1.1.
( לציר ( לציר Windowed segmentWindowed segmentאת קטע האות )את קטע האות )התדר, ליצירת ספקטרום האנרגיה בזמן קצר.התדר, ליצירת ספקטרום האנרגיה בזמן קצר.
MelMelהספקטרום מוטל על מסננות הספקטרום מוטל על מסננות 2.2. )יוצג בשקף הבא(. )יוצג בשקף הבא(.
חשוב הלוגריתם של המקדמים. חשוב הלוגריתם של המקדמים. 3.3.
מפחיתה את הקורולציה בין מפחיתה את הקורולציה בין DCTDCTהתמרת ה התמרת ה 4.4.המקדמים. המקדמים.
Framing Windowing |FFT| Mel-filtering DCTLOG
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
99
בנק מסננים מלבנק מסננים מל
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
1010
וקטור אופייני –וקטור אופייני – Event Feature vectorEvent Feature vector
בעלי ההפרדה הגבוהה ביותר של מספר בעלי ההפרדה הגבוהה ביותר של מספר MFCCMFCCשילוב מקדמי ה-שילוב מקדמי ה-•חלונות זמן עוקבים. שיטה זו מאפשרת לזהות שינוי במעטפת חלונות זמן עוקבים. שיטה זו מאפשרת לזהות שינוי במעטפת
הספקטראלית של האות.הספקטראלית של האות.
יתרונות – שיטה זו מאפשרת לאתרשינוי בפרמטרים האופייניים
למשך הזמן, בהנחה ששינוי זהקיים )האות אינו סטציונארי(
חסרונות – שיטה זו דורשת שקצב השינויבמעטפת הספקטראלית יהיה
.זהה במאורעות שונים
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
1111
זיהוי המאורעות:זיהוי המאורעות:Fuzzy K-Nearest NeighborFuzzy K-Nearest Neighbor
חישוב רמת שייכות הווקטור האופייני לקבוצת חישוב רמת שייכות הווקטור האופייני לקבוצת •וקטורים אופייניים של המאורעות המבוקשים וקטורים אופייניים של המאורעות המבוקשים
)מאורעות רחרוח ומאורעות הלחתה(.)מאורעות רחרוח ומאורעות הלחתה(.•KK.כל קבוצת המדגם. – כל קבוצת המדגם –
מספר שווה של וקטורי לימוד עבור רחרוח והלחתה.מספר שווה של וקטורי לימוד עבור רחרוח והלחתה.•
n
j j
n
j j
n
j j
s
PxSx
SxxU
12
12
12
11
1
()
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
1212
Fuzzy K-Nearest NeighborFuzzy K-Nearest NeighborY
-Axi
s
X-Axis
AnalyzedFeature VectorPanting
FeatureVectors
SniffingFeatureVectors
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
1313
MFCCMFCCהפרדה בין מקדמי ה - הפרדה בין מקדמי ה -
אופייניים של אותות רחרוח )באדום( אופייניים של אותות רחרוח )באדום( MFCCMFCCמקדמי מקדמי •ומאורעות הלחתה )בכחול(.ומאורעות הלחתה )בכחול(.
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
1414
Fuzzy KNNFuzzy KNNפונקציית שייכות פונקציית שייכות
פונקציות שייכות של האות לקבוצת הרחרוחים )באדום( פונקציות שייכות של האות לקבוצת הרחרוחים )באדום( •ולקבוצת ההלחתות )בכחול(.ולקבוצת ההלחתות )בכחול(.
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
1515
הפרדת המאורעותהפרדת המאורעות
כפי שניתן לראות בתוצאות חישוב פונקציות כפי שניתן לראות בתוצאות חישוב פונקציות •השייכותהשייכות
((Fuzzy KNNFuzzy KNN קיים הצורך להפריד בין מאורעות ,) קיים הצורך להפריד בין מאורעות ,)סמוכים.סמוכים.
שימוש בפונקצית אנרגיה בזמן קצר לצורך שימוש בפונקצית אנרגיה בזמן קצר לצורך •..ההפרדהההפרדה
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
1616
פונקצית אנרגיה בזמן קצר.פונקצית אנרגיה בזמן קצר.
פונקציות השייכות )אדום-רחרוחים, כחול-הלחתות( מראה בצורה פונקציות השייכות )אדום-רחרוחים, כחול-הלחתות( מראה בצורה •טובה שמדובר במאורעות רחרוחים.טובה שמדובר במאורעות רחרוחים.
פונקצית האנרגיה )בירוק( "גוזרת" את המאורעות הבדידים.פונקצית האנרגיה )בירוק( "גוזרת" את המאורעות הבדידים.•
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
1717
תהליך הלימודתהליך הלימוד
לצורך זיהוי המאורעות לצורך זיהוי המאורעות Fuzzy KNNFuzzy KNNהשימוש ב – השימוש ב – •דורש יצירת מאגר מידע המכיל וקטורים אופייניים דורש יצירת מאגר מידע המכיל וקטורים אופייניים
של מאורעות רחרוח ומאורעות הלחתה.של מאורעות רחרוח ומאורעות הלחתה.מאגר זה יהיה שונה עבור כלבים שונים.מאגר זה יהיה שונה עבור כלבים שונים.–יתכן ויידרש מאגר שונה עבור הקלטות שונות יתכן ויידרש מאגר שונה עבור הקלטות שונות –
)שימוש בציוד שונה או התקנה שונה של הציוד על )שימוש בציוד שונה או התקנה שונה של הציוד על הכלב(הכלב(
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
1818
תהליך הלימוד - המשךתהליך הלימוד - המשך
יצירת קובץ המכיל מאורעות רחרוח בלבד וקובץ המכיל יצירת קובץ המכיל מאורעות רחרוח בלבד וקובץ המכיל •מאורעות הלחתה בלבד.מאורעות הלחתה בלבד.
יצירת מאגר המידע:יצירת מאגר המידע:• עם חפיפה ביניהם עם חפיפה ביניהם MFCCMFCCחישוב רצף של שמונה חישוב רצף של שמונה –
מהתחלת כל מאורע.מהתחלת כל מאורע.מציאת אינדקסים של שני המקדמים בעלי ההפרדה מציאת אינדקסים של שני המקדמים בעלי ההפרדה –
הגבוהה ביותר.הגבוהה ביותר. 66 לכל מאורע ע"י שרשור של לכל מאורע ע"י שרשור של EFVEFVיצירת שלושה וקטורי יצירת שלושה וקטורי –
..MFCCMFCCזוגות של מקדמי זוגות של מקדמי
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
1919
תהליך הזיהויתהליך הזיהוי
עם חפיפה לכל סיגנל עם חפיפה לכל סיגנל MFCCMFCCחישוב מקדמי חישוב מקדמי •הקלט.הקלט.
יצירת הוקטורים המאפיינים לפי המקדמים בעלי יצירת הוקטורים המאפיינים לפי המקדמים בעלי •ההפרדה הגבוהה ביותר כמו בשלב הלימוד.ההפרדה הגבוהה ביותר כמו בשלב הלימוד.
סווג ראשוני של המאורעות ע"י אלגוריתםסווג ראשוני של המאורעות ע"י אלגוריתם•Fuzzy KNNFuzzy KNN..
הפרדת המאורעות ע"י פונקציית האנרגייה.הפרדת המאורעות ע"י פונקציית האנרגייה.•
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
2020
תוצאות עבור מאורעות הלחתה של תוצאות עבור מאורעות הלחתה של BenBen
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
2121
תוצאות עבור מאורעות רחרוח של תוצאות עבור מאורעות רחרוח של BenBen
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
2222
תוצאות עבור מאורעות הלחתה של תוצאות עבור מאורעות הלחתה של RondoRondo
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
2323
תוצאות עבור מאורעות הלחתה של תוצאות עבור מאורעות הלחתה של RondoRondo
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
2424
תוצאותתוצאות
Dog File Type Num events Errors Recognition percentage
Ben Panting 28 5 82
Ben Sniffing 24 3 88
Leon Panting 31 8 74
Leon Sniffing 29 4 86
Rondo Panting 26 2 92
Rondo Sniffing 18 8 55
Rubi Panting 33 5 84
Rubi Sniffing 18 16 11
Sonia Panting 24 2 91
Sonia Sniffing 29 9 69
Stu Panting 28 13 53
Stu Sniffing 30 12 60
הבחנה בין קולות רחרוח וקולות הלחהבחנה בין קולות רחרוח וקולות הלחתה של כלביםתה של כלבים
2525
מסקנותמסקנות
האלגוריתם אינו מתאים לכל הכלבים. ישנם כלבים עם אחוז זיהוי גבוה וישנם האלגוריתם אינו מתאים לכל הכלבים. ישנם כלבים עם אחוז זיהוי גבוה וישנם •כלבים עם אחוז זיהוי נמוך.כלבים עם אחוז זיהוי נמוך.
אחוז הזיהוי הנכון גדל עבור כלבים שמאורעות הרחרוח וההלחתה שלהם אחוז הזיהוי הנכון גדל עבור כלבים שמאורעות הרחרוח וההלחתה שלהם • גבוה. עבור גבוה. עבור SNRSNRמופרדים זה מזה לפי האנרגיה שלהם ועבור אותות בעלי מופרדים זה מזה לפי האנרגיה שלהם ועבור אותות בעלי
כלבים שבהם המאורעות מרוחים ומחוברים פונקצית האנרגיה אינה מצליחה כלבים שבהם המאורעות מרוחים ומחוברים פונקצית האנרגיה אינה מצליחה להפריד היטב בין המאורעות ולכן יש זיהוי כפול או חוסר זיהוי.להפריד היטב בין המאורעות ולכן יש זיהוי כפול או חוסר זיהוי.
עבור מאורעות רחרוח גורמת לזיהוי של רעשים עבור מאורעות רחרוח גורמת לזיהוי של רעשים MFCCMFCC --שונות מקדמי ה שונות מקדמי ה •מסוגים שונים כמאורעות רחרוח.מסוגים שונים כמאורעות רחרוח.
טעויות זיהוי רבות נגרמות ע"י זיהוי כפול של מאורעות כלומר עבור מאורע אחד טעויות זיהוי רבות נגרמות ע"י זיהוי כפול של מאורעות כלומר עבור מאורע אחד •ישנו זיהוי של יותר ממאורע אחד.ישנו זיהוי של יותר ממאורע אחד.
קבצי הלימוד צריכים לכלול מאורעות נקיים ומייצגים ככל האפשר ע"מ לקבל קבצי הלימוד צריכים לכלול מאורעות נקיים ומייצגים ככל האפשר ע"מ לקבל •אחוז זיהוי גבוה ככל האפשר.אחוז זיהוי גבוה ככל האפשר.