Tan Sim Tee A97299Tan Sim Tee A97299

Quah Cheak Seong A97271Quah Cheak Seong A97271

Chung Wui Fah A97154Chung Wui Fah A97154

Lee Chun Aik A97212Lee Chun Aik A97212

Ng Wai Mann A97262Ng Wai Mann A97262

Scalable Web Search by Scalable Web Search by Adaptive Online Agents:Adaptive Online Agents:

An InfoSpiders Case StudyAn InfoSpiders Case Study

Pembangunan Enjin GelintarPembangunan Enjin Gelintar(TP2433)(TP2433)

PengenalanPengenalan

Persekitaran jaringan informasi telah menjadi semakin kompleks Persekitaran jaringan informasi telah menjadi semakin kompleks iaitu masalah “decentralization”, “noise”, “heterogeneity” dan juga iaitu masalah “decentralization”, “noise”, “heterogeneity” dan juga “dynamics”.“dynamics”.

Demi memenuhi keperluan pengguna, satu sistem “multi-agent” Demi memenuhi keperluan pengguna, satu sistem “multi-agent” telah diwujudkan untuk menatasi masalah tersebut.telah diwujudkan untuk menatasi masalah tersebut.

Kerjasama terhasil daripada interaksi secara tidak langsung antara Kerjasama terhasil daripada interaksi secara tidak langsung antara agen-agen dan bersesuaian dengan persekitaran.agen-agen dan bersesuaian dengan persekitaran.

““Multi-agent” terdiri daripada satu kumpulan agen yang benar Multi-agent” terdiri daripada satu kumpulan agen yang benar untuk memenuhi keperluan dan kehendak pengguna. untuk memenuhi keperluan dan kehendak pengguna.

Kandungan agen adalah bergantung kepada persekitaran dan Kandungan agen adalah bergantung kepada persekitaran dan perubahan yang berlaku dalam sesuatu pencarian maklumat. perubahan yang berlaku dalam sesuatu pencarian maklumat.

Sekiranya terdapat sumber yang mencukupi dalam Sekiranya terdapat sumber yang mencukupi dalam persekitaran, dengan itu agen yang baru akan terbentuk persekitaran, dengan itu agen yang baru akan terbentuk dengan banyak dan akan bergabung dengan agen yang dengan banyak dan akan bergabung dengan agen yang lepas.lepas.

Jikalau sumber adalah terdapat mencukupi maka, agen Jikalau sumber adalah terdapat mencukupi maka, agen itu akan bersaing antara satu sama lain dan terdapat itu akan bersaing antara satu sama lain dan terdapat sebilangan agen akan disingkirkan dalam persaingan sebilangan agen akan disingkirkan dalam persaingan tersebut.tersebut.

Selain itu, pihak server boleh membenarkan agen mobile Selain itu, pihak server boleh membenarkan agen mobile untuk melaksanakannya dan mungkin akan untuk melaksanakannya dan mungkin akan menghasilkan agen yang baru dengan menggunakan menghasilkan agen yang baru dengan menggunakan perkakasan di dalam persekitaran operasi.perkakasan di dalam persekitaran operasi.

Dengan itu, terbentuk satu sistem enjin gelintar yang Dengan itu, terbentuk satu sistem enjin gelintar yang berfungsi dengan berkesan dalam pencarian maklumat berfungsi dengan berkesan dalam pencarian maklumat iaitu sisem enjin gelintar “InfoSpiders”. iaitu sisem enjin gelintar “InfoSpiders”.

Enjin Dan AgenEnjin Dan Agen

Enjin gelintar ialah suatu perkakasan / program yang digunakan Enjin gelintar ialah suatu perkakasan / program yang digunakan untuk mencari dan mencapai maklumat berdasarkan kepada untuk mencari dan mencapai maklumat berdasarkan kepada sebutan gelintar.sebutan gelintar.

Dengan terbuktinya teknik pencarian maklumat, enjin gelintar Dengan terbuktinya teknik pencarian maklumat, enjin gelintar telah mengikuti perkembangan web dan membekalkan pengguna telah mengikuti perkembangan web dan membekalkan pengguna sebanyak mungkin bantuan untuk mencari dan mancapai sebanyak mungkin bantuan untuk mencari dan mancapai maklumat dalam web.maklumat dalam web.

Terdapat 3 bentuk enjin gelintar dalam web iaitu:Terdapat 3 bentuk enjin gelintar dalam web iaitu:i)Web Crawlersi)Web Crawlersii)Web Portals ii)Web Portals iii)Meta Search Enginesiii)Meta Search Engines

Enjin gelintar memerlukan kueri iaitu carian berasaskan kata Enjin gelintar memerlukan kueri iaitu carian berasaskan kata kunci atau gelintar iaitu navigasi melalui set jalinan untuk kunci atau gelintar iaitu navigasi melalui set jalinan untuk mencapai maklumat.mencapai maklumat.

Enjin gelintar semakin berkembang saiz, keberkesanan, Enjin gelintar semakin berkembang saiz, keberkesanan, persembahan danm pelbagai jenis perkhidmatan yang persembahan danm pelbagai jenis perkhidmatan yang ditawarkan.ditawarkan.

Model di sebalik enjin gelintar menjalankan tugasnya Model di sebalik enjin gelintar menjalankan tugasnya dengan memproses maklumat dalam satu koleksi dengan memproses maklumat dalam satu koleksi dokumen dan kemudian menghasilkan satu indeks.dokumen dan kemudian menghasilkan satu indeks.

Proses seterusnya yang terlibat semasa mencari Proses seterusnya yang terlibat semasa mencari maklumat dengan enjin gelintar ialah menyingkirkan maklumat dengan enjin gelintar ialah menyingkirkan perkataan yang tidak perlu, mencantumkan perkataan perkataan yang tidak perlu, mencantumkan perkataan dengan menggunakan “Thesaurus” dan juga skema dengan menggunakan “Thesaurus” dan juga skema pemberat perkataan yang digunakan.pemberat perkataan yang digunakan.

Agen membahagikan kueri yang banyak ke pelbagai enjin Agen membahagikan kueri yang banyak ke pelbagai enjin gelintar yang lain untuk menambahkan keberkesanan gelintar yang lain untuk menambahkan keberkesanan enjin gelintar dan teknik ini dinamakan “Meta-search”. enjin gelintar dan teknik ini dinamakan “Meta-search”.

Terdapat pelbagai jenis agen web iaituTerdapat pelbagai jenis agen web iaitui) Citeseer- Satu agen yang bertindak dengan sendiri i) Citeseer- Satu agen yang bertindak dengan sendiri sebagai web agen secara auto mobile mencari dan sebagai web agen secara auto mobile mencari dan mencapai maklumat.mencapai maklumat.

ii) Ahoy- Satu agen bertindak sebagai “Homepages ii) Ahoy- Satu agen bertindak sebagai “Homepages finder” yang bergantung kepada “Meta-search” enjin.finder” yang bergantung kepada “Meta-search” enjin.

iii) Webfind- Satu agen yang bertindak sebagai pencari iii) Webfind- Satu agen yang bertindak sebagai pencari lokasi berkenaan kertas sainstifik tetapi ia bergantung lokasi berkenaan kertas sainstifik tetapi ia bergantung kepada pelbagai jenis infomasi “Repository”.kepada pelbagai jenis infomasi “Repository”.

Terdapat pelbagai agen kelas direka untuk mempelajari Terdapat pelbagai agen kelas direka untuk mempelajari keperluan pengguna daripada “Browsing”.keperluan pengguna daripada “Browsing”.

Teknik “Approach and methods” yang telah diaplikasikan Teknik “Approach and methods” yang telah diaplikasikan ke dalam pembangunan populasi agen informasi ke dalam pembangunan populasi agen informasi “InfoSpiders”.“InfoSpiders”.

Agen SenibinaAgen Senibina

Agen ini berinteraksi dengan persekitaran maklumat di mana ia terdiri Agen ini berinteraksi dengan persekitaran maklumat di mana ia terdiri daripada koleksi rangkaian yang sebenar dan datanya disimpan dalam daripada koleksi rangkaian yang sebenar dan datanya disimpan dalam cakera tempatan.cakera tempatan.

Contohnya: data “Feedback” berkaitan dan “Cache file”.Contohnya: data “Feedback” berkaitan dan “Cache file”.

Demi berinteraksi dengan persekitaran tersebut, pengguna Demi berinteraksi dengan persekitaran tersebut, pengguna mengakses data di klien tempatan (pencarian status terkini) dan di mengakses data di klien tempatan (pencarian status terkini) dan di web.web.

Pengguna juga berinteraksi dengan melakukan pengaksesan berkaitan Pengguna juga berinteraksi dengan melakukan pengaksesan berkaitan yang disimpan di tempat klien dan akan diakses oleh agen dan yang disimpan di tempat klien dan akan diakses oleh agen dan kemudiannya mereka melapor kepada pengguna.kemudiannya mereka melapor kepada pengguna.

Klien tiada interaksi secara langsung antara pengguna dan agen Klien tiada interaksi secara langsung antara pengguna dan agen selepas penghantaran “query” dan “starting points”.selepas penghantaran “query” dan “starting points”.

Prototaip “Infospiders” berlancar di UNIX dan MacOS.Prototaip “Infospiders” berlancar di UNIX dan MacOS.

Antara muka web ini adalah berdasarkan kepada Antara muka web ini adalah berdasarkan kepada perpustakaan W3C .perpustakaan W3C .

Agen menggunakan alat pencarian maklumat seperti Agen menggunakan alat pencarian maklumat seperti filter(penapis) untuk masalah filter(penapis) untuk masalah ”noise words” dan “stemmer based” (pencantas) pada ”noise words” dan “stemmer based” (pencantas) pada alkhwarizmi Porter.alkhwarizmi Porter.

Alat ini manyimpan perwakilan oleh dokumen yang dicapai di Alat ini manyimpan perwakilan oleh dokumen yang dicapai di dalam mesin klien.dalam mesin klien.

Setipan dokumen diwakili oleh suatu senarai “link” cantasan Setipan dokumen diwakili oleh suatu senarai “link” cantasan kata kunci.kata kunci.

Jika kandungan “cache” bagi dalaman mencapai satu tahap, Jika kandungan “cache” bagi dalaman mencapai satu tahap, strategi penggantian “LRU (Least Recently Used)” digunakan.strategi penggantian “LRU (Least Recently Used)” digunakan.

Pembangunan masa Pembangunan masa depandepan

Di dalam tajuk ini membincangkan had skala oleh suatu Di dalam tajuk ini membincangkan had skala oleh suatu enjin gelintar dan mencadangkan satu penyelesaian enjin gelintar dan mencadangkan satu penyelesaian bergantung kepada populasi dari agen infomasi.bergantung kepada populasi dari agen infomasi.

Persaingan antara “Human Browser” dan “Infospiders” Persaingan antara “Human Browser” dan “Infospiders” akan wujud dalam proses pencarian maklumat.akan wujud dalam proses pencarian maklumat.

Apabila “New Page” sudah dicipta, purata masa akan Apabila “New Page” sudah dicipta, purata masa akan diambil kira sehingga maklumat yang dikehendaki dapat diambil kira sehingga maklumat yang dikehendaki dapat dicari, pada masa ini kita dapat membandingkan purata dicari, pada masa ini kita dapat membandingkan purata masa untuk mencari maklumat dengan menggunakan masa untuk mencari maklumat dengan menggunakan “InfoSpiders”.“InfoSpiders”.

Perkembangan dan kemajuan “InfoSpiders” yang Perkembangan dan kemajuan “InfoSpiders” yang berlanjutan akan mewujudkan ia sebagai maklumat berlanjutan akan mewujudkan ia sebagai maklumat penting pada masa hadapan.penting pada masa hadapan.

Pengguna seharusnya bergantung kepada agen Pengguna seharusnya bergantung kepada agen persendirian dalam kemajuan kekompleksan maklumat persendirian dalam kemajuan kekompleksan maklumat web.web.

Agen akan mengubahkan medan di antara kepintaran Agen akan mengubahkan medan di antara kepintaran dan dunia kita.dan dunia kita.

Berharaplah kita dapat mewujudkan masa dan kebolehan Berharaplah kita dapat mewujudkan masa dan kebolehan kognitif yang lebih baik.kognitif yang lebih baik.

TamatTamat