Character Recognition Using Neural Networks

Topics in Signal Processing, BGU, Winter 2003.

References

• Background:– A Brief Introduction to Neural Networks. (R.D. De Veaux & L.H. Ungar)

• Simulations:– Methods for Enhancing Neural Network Handwritten Character

Recognition. (M.D. Garris, R.A. Wilkinson, & C.L. Wilson)– OCR: Neural Network Analysis of Hand-Printed Characters. (A. Amin & S.

Singh)– A Neural Network For Recognizing Characters Extracted from Moving

Vehicles. (Jang-Hee Yoo, Byung-Tae Chun, & Dong-Pil Shin)– Applying Neural Networks To Character Recognition. (Eric W. Brown)

נושאים

רשתות נוירונים – מה זה?•מודלים ברשתות נוירונים.•לימוד/אימון.•אלגוריתם בסיסי.•סימולציות.•

מבוא לרשתות נוירונים

ניסיון לחקות את יכולות העיבוד של המוח.•מודל לעיבוד מידע.•מורכב מרכיבי עיבוד מקושרים.•שימוש במקרים של עיבוד "מסובך" מדי •

לאדם או למכונה.

מבוא לרשתות נוירונים - המשך

יתרונות:•בינה מלאכותית.–יכולת לימוד.–"התמחות" בנושא אשר עליו מתאמנת הרשת.–דינמיות במבנה הרשת.–עבודה בזמן אמת. )אין צורך להכיר את הבעיה(–יכולת "שיקום" חלקית.–

מבוא לרשתות נוירונים - המשך

חסרונות:•תוצאות לא צפויות.–יודעות לפתור רק מה שאומנו עליה.–

מודלים ברשתות נוירונים

איך עובדות רשתות נוירונים ביולוגיות?•נוירון )תא עצב(.–כניסות )דנדריטים(.–יציאה אחת לאקסון.–סינפסים בקצות אקסונים.–גירוי מספק מן הסינפסים גורם לאות חשמלי היוצא –

מתוך הנוירונים.הפעולות המתרחשות בסינפסים ניתנות לשינוי. )לימוד(–

מודלים ברשתות נוירונים – המשך

מודל מלאכותי מנוון מקביל:•

המורכבות הלא ידועה של תאי העצב •הביולוגים מתורגמת למודל פשוט למימוש.

מודלים ברשתות נוירונים - המשך

"רכיבי היסוד" של •המודל:

כניסות אל הרשת ויציאה –ממנה.

,Input שכבות נוירונים : 3–Hidden, Output.

מטריצות משקלים בין –השכבה הראשונה לשנייה,

ובין השנייה לשלישית.

מודלים ברשתות נוירונים - המשך

מודלים ברשתות נוירונים – המשך

קביעת סף גירוי בנוירון:•סף התגובה הראשוני של נוירון הוא אקראי. )תחת –

מגבלות(מכיוון שמשקל ה"דנדריטים" משתנה עם זמן –

הלימוד, ניתן לנרמל את המשקלים, ללא שינוי בסף הגירוי.

לימוד/אימון

ברשת נוירונים, ליחידה הבסיסית )נוירון( יש:•יציאה אחת–כניסות מרובות.–

קיימים שני מצבי שימוש : אימון/שימוש.•במצב של לימוד ניתן לאמן את הנוירון להגיב )או •

לא( עבור צירופי כניסה שונים..LUTכך נוצרת בנוירון •לגבי צירופים לא מוכרים בכניסה, מופעל שיקול •

(MSEאחר. )לרוב מובנה

Back PropogationBack Propogation

חזרה נשנית על אות כניסה מסוים, •וביצוע שינויים במערכת, עד לקבלת

output.רצוי

לימוד/אימון - המשך

קצב לימוד:•השינוי במשקלים הנשמרים ברשת נעשה בצורה –

איטרטיבית.הפקטור אשר קובע את גודל ההשפעה )גודל התנודות –

(Learning Rate)באיטרציה( הוא קצב הלימוד. .[0,1]ערך הפקטור בתחום –שיקולים :–

קצב לימוד איטי – משאבים.•קצב לימוד מהיר – סכנת "התבדרות". •

לימוד/אימון - המשך

מומנטום:•מעשית : קיימת קורלציה בין השינוי במשקלים –

באיטרציה כלשהי ובין השינוי באיטרציה אשר קדמה לה.

אם רוצים לשמר את הקורלציה, ניתן להגדיר פקטור –מומנטום.

Back propogation – Cont.

שיקולים:•סוג המידע.–קריטריון לשינוי המשקלים.–חזרות.–ריצות.–סיכונים.–

סיכונים

.local minimaהתכנסות ל-•לימוד ארוך מדי:•

יצירת תלות גדולה מדי של הרשת בסדרת הלימוד.–הרשת תדע לזהות רק את הסדרה עליה התלמדה.–

לימוד קצר מדי:•חוסר ניסיון.–מטריצות משקלים לא "מכונסות". )איטרטיבית(–

אלגוריתם בסיסי

.hidden layer, חשב את יציאות ה-inputבהינתן •.output layerבעזרת הנ"ל, חשב את יציאות ה-•.outputחשב את וקטור המרחק ב-•חשב מטריצות משקלים מחדש בעזרת הנ"ל.• בתוך הנוירון בהתאם לנ"ל.offsetהתאם •

המשך עד וקטור מרחק קטן כרצונך.•

אלגוריתם בסיסי - המשך

או... בעברית...•• i[], h[], o[]. – I/H/O layers neurons.• W1,W2 – weight matrixes.• F(x) – Sigmoid activation function.• lr, m – Learning Rate & Momentum,

respectively.• For a more generalized network, layer biases

can be used.

אלגוריתם בסיסי - המשך

W1_chngW1

W2_chngW2

1(-W1_chng)tmeilrW1_chng)t(

1(-W2_chng)tmdhlrW2_chng)t(

d} of{function // desired_h(,hdist)e

desired_o(,odist)d

(W2hF)o

(W1iF)h

Sigmoid Functions

פונקציות הסכימה בתוך הנוירון.•פונקציות אופייניות:•

2

11

1()

11

2()

2

Whx

Wixe

xF

exF

x

x

Feature Extraction

רשת הנוירונים אינה נוטלת חלק • ,Preprocessing (Segmentation, Filteringב-

Normalization).אותות הכניסה מהווים מידע אבסולוטי.•דוגמאות לסוגי כניסות :•

–Character pixels. (8x8, 16x16, 7x5)–FFT coefficients, Gabor Coefficients של אות( .

הכניסה, עבור תמונה בכלל( בעזרת קוים ישרים או קמורים.Characterייצוג של –

נתונים מסימולציות

•Gabor Functions: מרחביים.Gaborאותות הכניסה הם מקדמי – 49נעשה שימוש בכמה סדרות של כתב, מאת –

כותבים, בעלי שונויות גבוהות ונמוכות בכתב..inputs, 15 hidden, 10 outputs 32מבנה הרשת : – הושג 1400 ספרות, ואימון על 2000עבור לימוד של –

.92.1%זיהוי של –FE – 13.7[ms] – 19; זיהוי[ms] )לכל ספרה( .

נתונים מסימולציות - המשך

ייצוג ע"י קווים ועקומים:• עקומים, מעגל. ייצוג אות ע"י רצף.4 קווים, 4–.inputs, 120 hidden, 52 outputs 7מבנה הרשת : – 10% מהמסד, אימון על 90%שיטה : לימוד של –

פעמים.10הנותרים. ביצוע הנ"ל בסימולציה נוספת בוצע כנ"ל, אך בכל שלב הוסף –

רעש גאוסי אקראי לאות הכניסה.

נתונים מסימולציות - המשך

אחוז תוצאות:•הצלחה

אימון מספר

85 1

87 2

87 3

84 4

86 5

86 6

85 7

85 8

88 9

85 10

85.8 ממוצע

אחוז הצלחה

אימון מספר

85 1

81 2

74 3

75 4

71 5

58 6

56 7

51 8

48 9

52 10

65.1 ממוצע

נתונים מסימולציות - המשך

זיהוי לוחיות רישוי:•TypeTopologyTrainingTestingRecognition Rate

Letters14x14x1420010095.0%

Letters14x14x1480040098.3%

Numerals25x25x101527894.9%

Numerals25x25x10482290.9%

סטטוס נוכחי

.OOPמימוש תיאורטי של רשת נוירונים ב-•בהמשך:•

מימוש של אחת מן הסימולציות אשר הובאו –כדוגמה.

בדיקת יעילות הרשת תחת רעש משתנה.–

שאלות?