ONTOLOGY EVALUATIONارزیابی آنتولوژی

ارائه دهنده: احمد استيريزير نظر : دكتر کاهانی

دانشگاه فردوسي مشهد 90بهار

مطالب

مقدمهاهمیت ارزیابی آنتولوژی هاروشهای اصلی ارزیابی آنتولوژی ها بررسی مدلی برای رتبه بندی آنتولوژی های بازیابی شده

از موتورهای جستجوی آنتولوژیجمع بندی و نتیجه گیریمنابع

2

مقدمه

امروزه نقش و کاربرد آنتولوژی در سیستم های مبتنی بر دانشبسیار قابل توجه است.

آنتولوژی بعنوان یک ابزار قدرتمند برای نمایش و بیان دانشمربوط به یک حوزه در یک قالب رسمی و قابل پردازش توسط

ماشین، مطرح است.

به کمک آن می توان ارتباط بین سیستم های ناهمگون را برقرارکرد و تعامل و ارتباط متقابل بین برنامه ها، ماشینها، و سیستم

های ناهمگون را بهبود داد.

اگر چه وعده آنتولوژی ها حل مشکل تعامل سیستم هایناهمگون می باشد، اما در عمل، خود آنتولوژی ها، سطحی از

ناهمگونی را به سیستم اضافه می نمایند.

3

اهمیت ارزیابی آنتولوژی ها

با توجه به نقش مهم آنتولوژی در سیستم های مبتنی بردانش، موضوع ارزیابی و نحوه بررسی کیفیت آنتولوژی

از اهمیت باالیی برخوردار می باشد. طبیعتا اگر قرار است آنتولوژی ها بعنوان عناصر اصلی وب معنایی

استفاده شوند، باید بتوان به روشی اعتبار آنها را از نظر کیفی مورد سنجش قرار داد.

در حال حاضر هیچ روش استانداردی برای ارزیابیآنتولوژی وجود ندارد و این زمینه بعنوان یک زمینه

مناسب جهت کار و پژوهش مطرح می باشد.

4

روشهای اصلی ارزیابی آنتولوژی ها

golden. روشهای مبتنی بر مقایسه با یک مدل مرجع )1standard)

application. روش مبتنی بر 2

. روشهای چند معیاره3

. روش مبتنی بر افراد خبره4

5.... .

5

. روشهای مبتنی بر مقایسه با یک 1مدل مرجع

مقایسه ی آنتولوژی مورد نظر با یک آنتولوژی یا یک منبعاطالعاتی دیگر که بعنوان مرجع و منبع اصلی در حوزه مورد

بحث شناخته شده است.

مثال: ارزیابی یک آنتولوژی مربوط به حوزه تست نرم افزار

اگر آنتولوژی شناخته شده و مرجعی وجود داشته باشد آن را بهعنوان مرجع مقایسه انتخاب می کنیم.

اگر هم چنین آنتولوژی ای موجود نباشد منابع دیگر را مورداستفاده قرار می دهیم. مثال یکسری مستندات رسمی و دقیق را که دانش مربوط به حوزه تست نرم افزار را بخوبی در بر گرفته

است، انتخاب کرده و آنتولوژی را با آن مقایسه می نماییم.6

مقایسه آنتولوژی با آنتولوژی

مدل مرجع: یک آنتولوژی کار ما مقایسه آنتولوژی با آنتولوژی خواهد بود و کار ساده تر

از حالت دوم است.

در این حالت می توانیم اجزای آنتولوژی اول را باآنتولوژی مرجع مقایسه نموده و هر چه تشابه این دو

آنتولوژی بیشتر باشد آنتولوژی مورد بررسی به آنتولوژی مرجع نزدیکتر است و در نتیجه می توان گفت که از

کیفیت باالتری برخوردار است.

،منظور از اجزای آنتولوژی، کالسها، روابط، خصیصه هاقیود و نمونه ها می باشند.

7

ONTOLOGYخالصه سازی آنتولوژی )SUMMARIZATION)

منظور از خالصه سازی یک آنتولوژی، آن است که مهمترینقسمت های یک آنتولوژی را استخراج کنیم و در قالب یک

آنتولوژی جدید ذخیره نماییم. بدین ترتیب با حذف جزئیات غیر ضروری، می توانیم فهم و درک آنتولوژی را ساده تر کنیم.

مساله: فرض کنید می خواهید برای یک کاربرد خاص، از آنتولوژیاستفاده کنید.

ایده: در موتورهای جستجوی مخصوص، نظیرSWOOGLE ، جستجوکنید و ببینید آیا در حال حاضر در زمینه مورد نظر شما، آنتولوژی

آماده ای وجود دارد یا خیر.

انتخاب آنتولوژی مورد نظر ما با توجه به ارزیابی آنتولوژی هایپیشنهادی موجود.

8

ادامه(خالصه سازی آنتولوژی )

بررسی و ارزیابی یک نسخه ی سبک و خالصه شده ازآنتولوژی ها بدون ذکر جزئیات اضافی، کار ساده تری است. 

راه حل اول: بهره گیری ازVisualizer .مناسب امکان نمایش آنتولوژی در سطوح مختلفی از جزئیات جهت

مشاهده و ارزیابی آن در سطوح مختلف برای کاربران. مشکل: همواره نمی توان به امکاناتVisualizer .ها تکیه کرد

بعنوان مثال در برخی کاربردها، الزم است که یک عامل نرم افزاری، یک آنتولوژی را بررسی کند)مثال در بحث ارزیابی و انتخاب آنتولوژی توسط عامل نرم افزاری، این مساله پیش

می آید(. در این حالت بحث مشاهده بصری در مورد آن صدق نمی

کند و بایستی تمهیدات دیگری را جهت بهبود مساله بیندیشیم.9

ادامه(خالصه سازی آنتولوژی )

راه حل: تهیه ی یک نسخه ی خالصه شده از آنتولوژی هابدون ذکر جزئیات اضافی.

اگر بجای بررسی کل آنتولوژی، یک نسخه خالصه شده آنرا مورد پردازش قرار دهد، قاعدتا کارایی بهتری حاصل

خواهد شد.

،بنابراین، انگیزه اصلی برای بحث خالصه سازی آنتولوژیهمان درک و پردازش ساده تر آن، چه توسط انسان و چه

توسط ماشین، می باشد. در این زمینه کارهای بسیار کمی انجام شده است که می

توان از ایده ها و نظریه های مطرح شده در زمینه خالصه در این حیطه نیز بهره (Text Summarizatioinسازی متن )

گرفت.

10

مقایسه آنتولوژی با مستندات رسمی و دقیق علمی

مدل مرجع: مجموعه ای از مستندات رسمی و دقیق علمی باز هم به مقایسه اجزای آنتولوژی با اجزای آن مجموعه مستندات

می پردازیم و هرچه تشابه بیشتری بین آنها وجود داشته باشد، کیفیت آنتولوژی باالتر است چون دانش نمایش داده شده در آن آنتولوژی با

دانش بیان شده در آن مجموعه مستندات تشابه بیشتری دارد.

.مساله: محدودیت در مورد اجزای مورد مقایسه روش ساده آن است که منظور از اجزا، را فقط اجزای متنی

بدانیم یعنی فقط لغات، عبارات و کلمات کلیدی موجود در مستندات مرجع را با نام کالسها، روابط و خصیصه های

آنتولوژی مقایسه نماییم. به بیان دیگر در این حالت به نوعی مقایسه ما صرفا یک

است و نه یک مقایسه در سطح syntaxمقایسه در سطح semantic.

11

مقایسه آنتولوژی با مستندات رسمی و دقیق علمی)ادامه(

یعنی مثال بررسی می کنیم که چنددرصد از کلمات کلیدیمستندات مرجع، در نام عناصر آنتولوژی استفاده شده

است. اما نمی توانیم )یا خیلی سخت است که( بررسی کنیم چه میزان از ساختارها و روابط موجود در مستندات

مرجع، در ساختار آنتولوژی ذخیره شده است.

ارزیابی در این روش:معیارهای precision نسبت تعداد مفاهیمی از آنتولوژی که در :

مرجع مورد استفاده نیز ذکر شده اند به تعداد کل مفاهیمی که در آنتولوژی موجود می باشند.

recall نسبت تعداد مفاهیم و کلمات کلیدی موجود در :مرجع مورد استفاده که در آنتولوژی هم موجود می باشند

به تعداد کل مفاهیم موجود در مرجع مذکور.12

یک سوال اساسی!

،نتول�وژی مناس�ب و اس�تانداردی وج�ود داش�ته آاگ�ر در ی�ک زمین�هنت�ول�وژی در� آن ح�وزه نم�ی باش�د، در آباش�د ک�ه د�یگ�ر� نی�از� ب�ه �ایج�ا�د

نتیج�ه م�وض�وع مقایس�ه ی�ک �آنتول�وژی� ب�ا� ی�ک آنت�ول�وژی� مر�ج�ع، ب�ه ؟ضوع�یت دار�د یا� خیروچه مع�ناست و �آیا �اصال� م

:گ�اهی اوق�ات، بحث ارزی�ابی ی�ک آنتول�وژی خ�ودش ی�ک پاس�خب�ح�ث جن�ب�ی �اس�ت و� بعن�و�ان� ی�ک ا�ب�ز�ار� ب�رای� �ارزی�ابی� موض�وع� د�یگ�ری م�ور�د اس�ت�فاده �ق�را�ر می� گ�یرد و �د�ر اینص�ورت ا�ش�کال �

فوق مطرح نمی باشد. تولی�د خودک�ار آنتول�وژی ب�ا اس�تفاده مث�ال: ارزی�ابی الگ�وریتم ه�ای

از �جمل�ه از� �یکس�ری� مت�ون �ت�خصص�ی� به�ر�ه گ�یری �از� م�ب�احثی ب�ا� ontology learning آنتول�وژی تو�لی�د ش�ده ب�ا ارزی�ابی .... و

ه�ای مرج�ع� موج�ود �در زم�ین�ه ی آنتول�وژی ب�ا� توس�ط �الگ�وریتم� مورد نظر.

13

APPLICATION. روش مبتنی بر 2

در این روش، آنتولوژی ای که می خواهیم ان را ارزیابینماییم، را در یک برنامه کاربردی مورد استفاده قرار می

دهیم و سپس بر اساس میزان تاثیر مثبتی که استفاده از آن آنتولوژی در برنامه کاربردی مذکور دارد، به سنجش کیفیت

آنتولوژی مورد نظر می پردازیم.

مشکالت:

باید ابتدا یک برنامه کاربردی مناسب برای حوزه مربوط :اوال به آن آنتولوژی، در دسترس باشد و بتوانیم آن برنامه

کنیم customizeکاربردی را برای استفاده از آن آنتولوژی، نماییم. این موارد کارهای integrateو آنتولوژی را با آن

ساده ای نیستند و همیشه امکان چنین کاری وجود ندارد.14

APPLICATION. روش مبتنی بر 2)ادامه(

:اینکه کارایی برنامه کاربردی را به چه میزان و بر ثانیا اساس چه قاعده ای به کارایی آنتولوژی مورد استفاده

مرتبط نماییم، خودش جای بحث دارد.

یعنی بالفرض که یک آنتولوژی را در یک برنامه کاربردیبکار بردیم و کارآیی آن را اندازه گرفتیم، حال آیا نباید

فاکتورهای دیگری را نیز در این افزایش یا کاهش کارایی دخیل بدانیم؟

آیا می توانیم تمام این تغییر کارایی را به آنتولوژی مورداستفاده مربوط بدانیم؟ برنامه کاربردی باید چه ویژگی هایی داشته باشد تا کیفیت آنتولوژی را بخوبی منعکس

نماید؟

15

APPLICATION. روش مبتنی بر 2)ادامه(

:اینکه بخواهیم یک آنتولوژی را قبل از ارزیابی، در ثالثا یک برنامه کاربردی بطور کامل مورد استفاده قرار دهیم و آن برنامه کاربردی را هم به مدت کافی مورد تست و

ارزیابی قرار دهیم تا بتوانیم کارایی آن را بسنجیم، ممکن است هزینه این تصمیمات زیاد باشد.

همچنین اگر بخواهیم چند آنتولوژی را با هم مقایسهها را در آن برنامه کاربردی مورد نآنماییم باید همه

استفاده قرار دهیم، که این امر هزینه ها را بشدت .افزایش می دهد..

16

. روشهای چند معیاره3

تعریف و توجیه معیارهای ارزیابی

برای ارزیابی بیان نقش و اهمیت این معیارها آنتولوژی ها

با هاهر یک از این معیاریکپارچه کردن کمیت بهره گیری از یک فرمول مناسب طراحی شده.

یک کمیت نهایی که مبین میزان محاسبه ی.کیفیت آنتولوژی می باشد

17

. روش مبتنی بر افراد خبره4

در روش مبتنی بر افراد خبره در واقع بیش ازد، مباحث فلسفی و شآنکه بحث فنی داشته با

.انسانی در آن مطرح است

،یک فرد خبره که در حوزه مذکور در این روشبعنوان یک فرد متخصص شناخته می شود،

آنتولوژی را بصورت دستی و با روشهای نظری و بطور غیرخودکار مورد ارزیابی و سنجش قرار

می دهد.18

بررسی مدلی برای رتبه بندی آنتولوژی های بازیابی شده از موتورهای جستجوی آنتولوژی

همانطور که پیش تر گفته شد از یک سو، آنتولوژیها بعنوان عنصر پایه در سیستم های مبتنی بر دانش

مطرح می باشند و تمایل به سمت استفاده از آنها بسیار زیاد می باشد. از سوی دیگر، طراحی،

توسعه و بروزرسانی آنتولوژی های خوب و دقیق، کار سخت و زمانبری می باشد که نیاز به دقت و

تخصص دارد.

در نتیجه مشابه همان موضوعی که در مورد توسعهسیستم های نرم افزاری مطرح است، یعنی بحث

استفاده مجدد، در اینجا هم مطرح است و استفاده مجدد از آنتولوژی های موجود، مطلوب است.

19

SWOOGLEنحوه ی عملکرد

موتور جستجوی آنتولوژیSWOOGLE فراهم آوردن واسطی برای جستجوی آنتولوژی های موجود در

مخزن آن بر حسب کلمه کلیدی مورد نظر. اما مساله اصلی که سعی در بهبود آن داریم،آن است

عمل جستجو را فقط بر حسب کلمه SWOOGLEکهکلیدی کاربر انجام می دهد و نه بر حسب معیارهای

معنایی.در واقع می توان اینگونه بیان کرد کهSWOOGLE

است که بر روی crawlerدارای یک، Googleمانند web به جستجوی آنتولوژی ها می پردازد و آنها را

index می کند. سپس به هر یک از این آنتولوژی هابا استفاده googleمی دهد. همانند کاری که rankیک

خود انجام می دهد. pageRankاز الگوریتم

20

)ادامه(SWOOGLEنحوه ی عملکرد

  SWOOGLE برای رتبه بندی آنتولوژی ها از الگوریتمیاستفاده می کند و آنتولوژی هایی را PageRankشبیه

شده باشند را در importکه در آنتولوژی های بیشتری اولویت قرار می دهد. 

در حالیکه این ترتیب لزوما مناسب نیست و ترتیب نتایجباید بر حسب میزان نزدیکی معنایی آنتولوژی ها با کلمه

کلیدی کاربر تعیین شود. یعنی آنتولوژی ای در اولویت قرار گیرد که از نظر معنایی به کلمه یا کلمات کلیدی

کاربر نزدیک تر باشد. بدین ترتیب، مشکل اصلی آن است که جستجو

SWOOGLE در واقع یک جستجویkeyword-based و بدون توجه به معنا، می باشد. 

21

راه حل پیشنهادی

معرفی یک چارچوب با عنوانAKTiveRank . ایده اصلی: یک موتور جستجو، باید آنتولوژی ها

را بر حسب نزدیکی ساختاری و معنایی آنها با کلمه کلیدی کاربر، رتبه بندی نماید.

روال کار این چارچوب بدین ترتیب است که AKTiveRankکاربر با استفاده از واسطی که

فراهم می کند کلمه کلیدی خود )مثال نام کالسهایی که می خواهد آنتولوژی های جواب، آن

کالسها را داشته باشند( را وارد کرده و به جستجو می پردازد.

22

راه حل پیشنهادی )ادامه(

در واقعAKTiveRank در پشت صحنه، ازSWOOGLE عمل جستجو SWOOGLEاستفاده می کند و در واقع

عمل رتبه بندی و AKTiveRankرا انجام می دهد و ارائه نتایج نهایی به کاربر را بر عهده دارد.

 AKTiveRank برای رتبه بندی آنتولوژی های نتایج، از معیار استفاده می کند و برای هر یک از آنتولوژی 4

معیار را محاسبه کرده و سپس با 4ها، مقدار این مقدار، یک مقدار نهایی برای هر 4ترکیب این

آنتولوژی بدست می آورد و سپس آنتولوژی ها را بر حسب این مقدار نهایی، رتبه بندی می نماید.  23

معیارهای رتبه بندی

CMM: Class Match Measure. معیار 1

،مفهوم این معیار آن است که در آنتولوژی مورد ارزیابیچه تعداد از کلمات کلیدی کاربر بعنوان نام کالسها،

استفاده شده اند. بدین ترتیب هرچه مقدار معیارCMM برای یک

آنتولوژی بیشتر باشد این بدان معناست که آن آنتولوژی به میزان بیشتری مفاهیم مربوط به

کلمات کلیدی مورد نظر کاربر را پوشش می دهد و آن کلمات کلیدی در آن آنتولوژی از جایگاه

مهمی برخوردار می باشند. 24

معیارهای رتبه بندی )ادامه(

DEM: Density Measure. معیار 2

این معیار مشخص کننده آن است که آنتولوژی موردارزیابی، کلمات کلیدی مورد نظر کاربر را تا چه حد و تا

چه عمقی )تعداد خصیصه ها و زیر کالس ها( مورد پوشش قرار می دهد و به چه میزان جزئیات آن مفهوم و آن کلمه

کلیدی را در بر می گیرد. هر چه مقدار این معیار برای یک آنتولوژی بیشتر باشد این

بدان معناست که آن آنتولوژی، کلمه کلیدی مورد نظر را  با جزئیات بیشتری مورد تعریف و پوشش قرار می دهد.

برای محاسبه مقدارDEM ، ،تعداد زیرکالسهاsuperclass ها نیز مورد توجه قرار می گیرد.  siblingها، روابط و

25

معیارهای رتبه بندی )ادامه(

SSM: Semantic Similarity Measure. معیار  3

این معیار مشخص می کند که کالسهای موجود در آنتولوژی، کهنامشان با کلمات کلیدی کاربر مطابقت دارد )مطابقت جزئی یا کامل( تا چه حد به هم نزدیکی معنایی دارند. هر چه آن کالسها،

با هم، رابطه و نزدیکی معنایی بیشتری داشته باشند این بدان معناست که مفاهیم مستتر در کلمات کلیدی مذکور به شکل

کاملتری )بهمراه مفاهیم نزدیک و مرتبط بیشتری( بیان شده اند.

برای اندازه گیری میزان نزدیکی این کالسها با هم، از معیار نزدیکترین مسیر استفاده شده است. ایده اصلی آن است که هر

از نظر معنایی ارتباط بیشتری با هم داشته Bو Aچه دو مفهوم باشند، کالسهای معادل این دو مفهوم در آنتولوژی نیز به هم

نزدیکتر می باشند.

26

معیارهای رتبه بندی )ادامه(

BEM: Betweenness Measure. معیار 4

ایده اصلی این معیار آن است که اگر کوتاهترین مسیر بین هر دوزوج مفهوم موجود در آنتولوژی را مشخص نماییم، آنگاه اگر برای

یک مفهوم، تعداد کوتاهترین مسیرهایی که از این دو مفهوم می گذرند را محاسبه نماییم، هر چه این مقدار بزرگتر باشد، این بدان معناست که آن مفهوم، در آن آنتولوژی، نقش مهمتر و کلیدی تری

داشته است و از محوریت و مرکزیت بیشتری برخوردار است.  

هرچه کلمات کلیدی مورد نظر کاربر، در یک آنتولوژی از جایگاه مهمتر و مرکزی تری برخوردار باشند، آن آنتولوژی، به مفاهیم

مورد نظر کاربر توجه بیشتری داشته است و به آن مفاهیم نزدیکتر می باشد. در نتیجه آن آنتولوژی از کیفیت و اولویت

بیشتری برخوردار است.

27

معیارهای رتبه بندی )ادامه(

همانطور که پیشتر گفته شد، در پایان پس از کمیت برای هر آنتولوژی، 4محاسبه مقدار این

یک مقدار نهایی برای آن آنتولوژی محاسبه می کمیت مذکور( که میزان 4شود )ترکیب وزندار

ارزش و قرابت معنایی آن آنتولوژی با کلمات کلیدی مورد نظر کاربر را مشخص می کند.

سپس بر اساس این مقادیر نهایی، آنتولوژی هارتبه بندی می شوند. 

28

گیرینتیجهجمع بندی و

در حال حاضر هیچ روش استانداردی برای ارزیابی آنتولوژیموجود نمی باشد.

در انتخاب روش ارزیابی یک آنتولوژی، باید به اینکه هدف ارزیابیچه می باشد و همچنین به اینکه آن آنتولوژی قرار است در چه

کاربردی مورد استفاه واقع شود، توجه نمود.

خودکارسازی ارزیابی آنتولوژی از اهمیت باالیی برخوردار استچون با توجه به دورنمایی که از نقش و اهمیت آنتولوژی ها در وب معنایی وجود دارد، نیازمند روشهایی هستیم که با حداقل

دخالت نیروی انسانی، قادر به ارزیابی یک آنتولوژی باشند. توجه به ویژگی های وب معنایی برای ارائه یک روش ارزیابی

آنتولوژی که با نیازهای وب معنایی سازگار باشد مهم است. بدین آنتولوژی را نیز در روش ارزیابی دخیل contextترتیب باید

نماییم.29

منابع

[1]   H. Alani, Ch. Brewster, "Metrics for Ranking Ontologies", University of Southampton and University of Sheffield, EON 2006.

 

[2] X. Zhang, G. Cheng, Y. Qu, "Ontology Summarizatoin Based on RDF Sentence Graph", 16th International World Wide Web Conference, 2007.

[3] S. Dasgupta and Y. Lee, "Relation Oriented Ontology Summerization". 2007,University of Missouri - KC.

 

[4] X. Zhang, H. Li, Y. Qu, "Finding Important Vocabulary within Ontology", 1st Asian Semantic Web Conference )ASWC(, 2006.

 

30

با سپاس از توجه شما

31http://Ahmad.Estiri.fumblog.um.ac.ir