Al-Erfan Arabic electronocal dictionary Nooj format

Nooj 2020 virtual conference

05 – 06 June 2020

By:

Mohamed El Hannach Sidi Mohamed Ben Abdellah University

Fez - Morocco

And

Ahmed Bounoua Sidi Mohamed Ben Abdellah University

Fez - Morocco

Content

• Main concepts • Morphological database

• N DB & V DB • VN DB & VA DB • DB Statistics • Morphological Netwoek

• Glides & Hamza grammar • E-Dictionaries

• N E-Dictionary VN E-Dictionary • VA E-Dictionary V E-Dictionary

• Evaluation (1): domain recognition • Evaluation (2): Ligical proprieties recognition • Conclusion and research perspectives

• Idioms e-dictionary

Preamble

• Main concepts of lexicon grammar: • Classification, taxinomy • distribution an transformation • Large coverage data • Standard Arabic word components: Root and pattern

• All our data is vocalized (diacriticazed) • Each entry is associated to their pattern

• Arabic basic sentence structure: V N0 W (W=: 0, N1, or N1 N2) • Operations: Passivation, Adjectivation, Nominalization, and Restructuration

• Morphological data base • V, V-n, V-a, and N Data base

• E-dictionary • V, V-n, V-a, and N E-Dictionary

• Local grammars: • V, V-n, V-a, and N graphs

• Idioms DB: More than 30.000 expressions

• Results

Fro

m

Lexi

con

– G

ram

mar

To

N

oo

j Pla

tfo

rm

Morphological part: N DB & V DB

• N DB:

• 21 proprieties, except the roots and patterns, such as: • Lexicon classification: proper noun, commun noun

• Semantic domains: 154 domains

• Logical proprieties: ± Human, ± Animation; and ± Concret

• Flexion: singular, plural, dual, diminutive, etc

• Etc …

• V DB: • 10 proprieties; Except the roots and patterns, such as:

• Phonological rules: Verb with ± glides

• Syntactic structures: V N0 W

• Syntactic description: fichers: ± transitive, reflichi

• Etc …

Morphological part VN DB & VA DB

• VN DB Comment: • 8 proprieties, except the roots and patterns, such as:

• 5 Principal sub categories: Vn_Original, VN_mar, VN_hay, VN_mim, and VN_sin • Each V-n is associated to his pattern: • Each V-n is associated to its Verb • All the V-n items is vocalized

• VA DB comment: • 18 proprieties, more than roots & patterns, such as: • 12 principal sub categories • Each VA is associated to its pattern • All the V-a items is vocalized

DB statistics Basic & compiled dictionary

VA VN Verbs Nouns Patterns Roots

VA=: 87000 x P=: 12 =

1.044.000

VN=: 36000 x P=:5 = 180000

V=: 26200 x P=: 10

=262000

N=:35000 x P=: 21 = 735000

Patterns 1086 12000 (3L + 4L)

Root Pattern Noun Verb VN VA

+ + + - + +

+ + - + - +

Distributional process

+ + + + + -

+ - - - + +

N V VN VA Total

21.245.000 18.250.000 15.000.725 34.250.001 88.781.000

E-Dictionary statistics after compilation

Ressources collection

• All the arabic dictionaries • General dictionaries

• Specialized dictionaries: health, food, teaching, etc.

• New arabic dictionaries

• BCA terminilogy database: • 36 dictionaries

• And others arabic documents

•

Morphological DB network

Glides and hamza graph

9

The Hamza

N Nooj E-Dictionary

• Proprietie: Dictionary sample • Derivational rules: singular, dual, diminutive, plural, etc

• Text analysis by differnts ways: • General names: <N>

• Morphological resarch, for example: <N+فَعْل>, <N+فِعال>, etc …

• Semantical domains, for example: <N+الصحة>, <N+التعليم>; etc...

• Flexional process, for example: <N+plural>, <N+dual>, etc...

• Recognize the suffixes and prefixes, for example:

N Grammar

Résultats

Recherche du temps

Verb Nooj E-Dictionary

• Proprieties: sample e-dictionary

• Morphological proprieties: • For past and present tens: < يفعَل*فعَل >

• Syntactical structure: V N0 W: transitif, intransitif, refléchi; etc

• Phonological rules using specilized tems, such as: ،مهموز، مثال، ناقص

• Text analysis by: • Verb entry only: <V>

• Patterns, for example: <V+فاعل>,

• Phonological rules, for exemple: <V+مثال>

V grammar

Text sample

17

Locate V category

18

VN Grammar

VA Grammar

Syntatical analysis

• Data collection

• Main structure: V N0 W

• Verb equal basic sentence

• Tree types of sentences: • Basic sentence, based on main distributions • Idiomatic sentence • Sentence with support verb (Nominalization)

• Built tables: Columns & lignes based on bidirectional transformation

• More than 150 proprierties an sub proprieties

• Develop electronical dictionary

• Develop local grammar

• Apply to randomed texts

Syntatic database 2.500.000 basic sentences

Verb

No Nominalization =: Vsup N0 nr V-n Prep N1 +hum

No

=: +

Co

ncr

et

No

=: N

nr

Completive

Sab

bab

a V

-n L

i N1

Sab

bab

a N

o D

et V

-n L

i N1

'ath

ara

No

V-n

Fi N

1

'ath

ara

No

Det

V-n

Fi N

1

'ath

ara

N1

(V-n

N1)

Xal

aqa

No

Det

V-n

Li N

1

Xal

aqa

No

V-n

Li N

1

'ad

xala

No

Det

V-n

'ala

N1

'ad

xala

No

V-n

'ala

N1

'ah

dat

ha

No

Det

V-n

Li N

1

'ah

dat

ha

No

V-n

Li N

1

Har

raka

No

Det

V-n

Fi N

1

Har

raka

No

V-n

Fi N

1

Ba'

ath

a N

o D

et V

-n F

i N1

'a't

a N

o D

et V

-n L

i N1

'ad

hfa

No

V-n

'ala

N1

Jala

ba

No

Det

V-n

Li N

1

No

=: 'a

n P

No

=: 'a

nn

a P

No

=: K

awn

P

No

=: V

-n W

Sab

bab

a N

o (

V-n

N1)

1

+ - + - - + - - - - - - - - - - - - + - + + + + أطرب

- - - - - - + - - - - - - - - + - + + + + + + - أطفأ

+ - + + + + + - - - + + - - - - - - + + + + + - أظلم

- - - - - + - - - - - - - - - - - - + - + + + - أكل

+ - + - - - + - - - - - - - - - - + + + + + + - أكمل

- - + - - - + - - - - - - - - - - + + + + + + + ألجم

- - + - + - - - - - - - - - - - - + + + + + + + ألزم

+ - + + + + + - + + + + + + + + - + + + + + + + ألم

+ - - + + + + - - + + + - + - + + + + + + + + + ألهب

- - - + - + - + - - - - - - + - - - + - + + + - ألهم

+ - + - - + - - - - - - - - - + - + + - + + + - أمات

+ - + - - - + + + + - - - - - + - + + - + + + - أنحل

- - + - - - - - - - - - - - - - - - + - + + + + أنذر

+ - + + + + + - + - - - - - - - - - + + + + + + أنعش

- - - - - - - - - - - - - - - + - + + - + + + + أنقد

+ - + + + - + - - + + + + - + - + + + + + + + - أنشي

- + - - - - + + - - - - - - - + - + + + + + + + أنهك

- - - + - + - - - - - - - - + + - + + - + + + + أنهض

- - - - - - + - - - - - - - - - - - + - + + + + أصاب

+ - - + - + + + - - - + + - + + - + + + + + + + أصحى

- - + + - + + - + + - - - - - - - - + - + + + - أصلح

+ + + + - + - - + + + + - - + - - - + + + + + - أضاء

+ + + + + + + + + + - + - - - + + + + + + + + + أضجر

+ - - + - + - - - - - - + - + - - - + + + + + + أضحك

+ + - + - + + - - + - - + + + - - - + + + + + - أضرم

+ + + + - + + + - - + + - - + + - + + + + + + + أضني

+ + + + - + + - + + - + - - - - - - + + + + + - أضعف

- - - - - - + - - - + + - - - - - - + + + + + + أعاق

- + - + - + - - + + + + + + + - - - + + + + + + أعجب

+ - - + - + - - - - - + - - + - - + + + + + + + أعدي

- - + + - + - - - - - - - - - - - - + - + + + + أعلي

- - + + - - + - - - - + - - - + - + + + + + + - أعمي

Lexicon-grammar tables

23

التوليد الآلي للجمل بمنصة نوج وتقانة تعلم الآلة

1س ل فص 0س سبب لعلي الخوف 0س سبب 1(1س فص) 0س سبب 1س في فص 0س أثار علي في الشجن 0س أثار 1(1س فص) 0س أثار 1س ل الفص 0س خلق 1س ل فص 0س خلق 1س على الفص 0س أدخل 1س على فص 0س أدخل 1س ل الفص 0س أحدث 1س في فص 0س أحدث 1س في الفص 0س حرك 1س في فص 0س حرك 1س في الفص 0س بعث

1س ل الفص 0س أعطى 1س على فص 0س أضفى 1س ل الفص 0س جلب

لعلي ذعرا 0س سبب 1س ل الفص 0س سبب علي ذهول 0س سبب علي في حزنا 0س اثار 1س في الفص 0س أثار علي في أسى 0س اثار لعلي المتاعب 0س خلق لعلي صعوبة 0س خلق علي على البهجة 0س أدخل علي على بهجة 0س أدخل علي نفس في الألم 0س أحدث علي نفس جرحا 0س أحدث علي نفس في الغيرة 0س حرك علي في اسى 0س حرك علي نفس في الحقد 0س بعث

لعلي القوة 0س أعطى علي على الجمال 0س أضفى لعلي الأذى 0س جلب

Application to a LG table

24

Evaluation Domain recognition

• We applyed our local grammar and e-dictionary to standars arabic texts, the results was as follow:

Texts N Result V Result VN Result VA Result

Teaching <N+92.17 <التعليم % <N+90.01 <التعليم % <VN+86.00 <التعليم % <VN+97.15 <التعليم %

Health <N+87.52 <الصحة % <N+89.25 <الصحة % <VN+71.12 <الصحة % <VN+91.00 <الصحة %

Food <N+99.00 <الغذاء % <N+93.12 <الغذاء % <VN+90.00 <الغذاء % <VN+95.25 <الغذاء %

Tourism <N+94.02 <السياحة % <N+90.15 <السياحة % <VN+89.13 <السياحة % <VN+91.25 <السياحة %

Evaluation N Logical proprieties recognition

N Result Example

<N+_+H_+A_+C> 99.01 % رجل، ابن، أحمد

<N+_+H_-A_+C> 91.15 % أرنب، أسد، قرد

<N+_-H_+A_-C> 95.12 % الحب، الكراهية، الفكر

<N+_-H_-A_+C> 99.15 % حائط، مدرسة، بيت

<N+_+H_-A_+C> 79.02 % الأصبع، الأظافر، الشعر

Research perspectives

• E-dictionary for Arabic idioms • We have collected more than 30.000 espressions

• Classification based on: Expression an mining

• We plan to develop a e-dictionary nooj format

• We plan to translate it to English and French language

Arabic idioms sample

أحمر أو مُحْمَر عصب الأفق عصب

أقام فيه عصب الرجل بيته عصب

ضم ما تفرق منها بحبل عصب الشجرة عصب

أطاف عصب الغيار بالجبل عصب

استكفت به عصب القدم بفلان عصب

جوعهم عصب القوم عصب

ضمهم واشتد عليهم عصب القوم أمر عصب

اجتمعوا حوله عصب القوم بفلان عصب

لزمه عصب الماء عصب

ضيق الصدر عصب المزاح عصب

شد فخذيها عصب الناقة عصب

وضع حدا عصب سلمته عصب

دارت حوله عصبت الإبل بالماء عصب

International project using Erfan E-Dictionary

• Thank you