isearch: brugerbehov og testresultater i integreret søgning
DESCRIPTION
TRANSCRIPT
![Page 1: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/1.jpg)
iSearch: brugerbehov og
testresultater i integreret søgning
Marianne Lykke, professor, PhD.Aalborg UniversityInstitut for Kommunikation, eLearning Lab
![Page 2: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/2.jpg)
Dagens emner
• Projektets formål og problemstilling
• Testsamlingen
• Resultater vedr. testsamling
• Resultater vedr. informationsbehov
• Resultater vedr. søgeperformance
• Opsamling og det videre arbejde
![Page 3: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/3.jpg)
Formål og problemstilling
‘Why is Google so easy
and the library so hard?’ (Claire Duddy - student)
United Kingdom Serials Group
2009 Annual conference
![Page 4: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/4.jpg)
Formål og problemstilling
Haves:
Mange digitale samlinger med forskellige medier, genrer, dokumenttyper, metadata og vokabularer
Ønskes:
En søgemaskine, der kan finde de mest relevante resultater på tværs af det hele
![Page 5: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/5.jpg)
Formål og problemstilling
Integreret søgning er en mulig løsning:
• Relevante informationsobjekter høstes
• Posterne normaliseres til et enkelt metadata format
• De indekseres i et stort fælles indeks
• Der tilføjes en Google-like søgeboks og rangering
• (…en slags federated search 2.0)
![Page 6: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/6.jpg)
Formål og problemstilling
• Overordnet handler projektet Værktøjer til integreret søgning om at teste og evaluere, hvilke søgealgoritmer og indekseringskonfigurationer, der giver de bedste søgeresultater ved integreret søgning
• I praksis har det største arbejde været at udvikle og etablere et realistisk testmiljø, hvor søge- og rangordningsalgoritmer kan evalueres systematisk og metodisk korrekt
![Page 7: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/7.jpg)
iSearch testsamling
En testsamling til at evaluere værktøjer til integreret søgning
kræver som minimum:
• En samling af forskellige dokumenttyper, med forskellige
dokumentrepræsentationer
• Et sæt søgeopgaver
• Relevansvurderinger i forhold til søgeopgaver
• Formålet er at foretage både realistiske og kontrollerede
testsøgninger
![Page 8: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/8.jpg)
iSearch testsamling• Testsamling indenfor fagområdet fysik
• Testsamling bestående af:
– 18.841 bogposter
– 291,244 artikelposter, inkl. abstrakts
– 143,569 fuldtekst artikler
• Varieret sæt af metadata formater og vokabularer
• 65 realistiske informationsbehov
• 4-skala relevansbedømmelser
• Demografisk information om fysikere
• Holdningsinformation om metadata, søgning,
relevansbedømmelse, tilfredshed med søgeresultat
![Page 9: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/9.jpg)
Informationsbehov
• 65 søgeopgaver
• Indsamlet gennem 3 workshops afholdt på DTU, KU og
AAU
• 23 fysikere, seniorforskere, phd’ere,
specialestuderende)
• Spørgeskema
• Beskrivelse af informationsbehov ud fra 5
perspektiver
• Demografiske data
• Holdningsdata
• Op til 200 relevansbedømmelser per opgave
• 4 skalaer: highly, faily, marginally and not relevant
![Page 10: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/10.jpg)
Informationsbehov
5 perspektiver
Perspective Question
a) Current information need What are you looking for?
b) Work task situation Why are you looking for this?
c) Current knowledge stateWhat is you background
knowledge of this topic?
d) Ideal answerWhat should am ideal answer
contain to solve problem or task?
e) Adequate search terms
Which central search terms would
you use to express situation and
information need?
![Page 11: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/11.jpg)
iSearch information need No. 49a) Information Need: Information on characterization by photo luminescence of highly
doped ZnO films
b) Work Task: For my master thesis I work with characterization of ZnO films by photo
luminescence. The films are manufactured by RF magnetron sputtering and have
thicknesses of approximately 100 nm. The films are either intrinsic or doped with Al.
Green luminescence are of particular interest, but other defect modes are also of
interest. The aim is to document a simple way of characterizing films in a non intrusive
manor, and maybe to implement the technique in the production to monitor film growth.
In particular information on sub band gab excitation is interesting as only a 405 nm
laser is readily available at the institute
c) Background: I have worked with the topic for a year and a half. We have made
experiments with photo luminescence and have observed green luminescence. I have
read quite a lot of review articles on the subject and have been seeking articles with
comparable parameters
d) Ideal Answer: An article containing examples of luminescence from samples made by
rf magnetron sputtering. Graphs with photoluminescence data from ZnO films are
essential. Ideally Al doped ZnO films would be featured in the article
e) Search terms: ZnO, rf magnetron sputtering, photo luminescence, al doped, green
luminescence
![Page 12: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/12.jpg)
Informationsbehov
Formål
Task purpose %
Theoretical background 54
Previous results 26
Research methodology 20
![Page 13: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/13.jpg)
Informationsbehov
Søgefacetter
Search facets Task description questions
a) b) c) d) e) All
Common topic 316 545 310 234 242 1647
Method 47 73 66 37 48 271
Info type 38 26 29 145 5 243
Application 1 7 1 1 1 11
Other n/a 15 11 5 n/a 31
![Page 14: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/14.jpg)
Informationsbehov
Andre facetter
• Research groups
• Specific reference
• Source
• Year
• Location
• Disciplinary field
• Audience
![Page 15: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/15.jpg)
Informationsbehov
Antal søgetermer
Task description questions (average)
Task purpose a) b) c) d) e) All
Theoretical
background6.7 10.5 6.1 7.1 4.8 35.2
Previous results 5.5 10.1 6.1 5.4 4.7 31.8
Research
methodology5.8 9.6 6.9 6.3 3.8 32.4
All 6.2 10.2 6.4 6.5 4.6 33.8
![Page 16: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/16.jpg)
Relevansbedømmelser
No. of tasks
Range of relevant docs. N = 65
> 100 9
75 - 100 3
50 - 74 8
25 - 49 13
15 - 24 12
10 - 14 8
< 10 12
![Page 17: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/17.jpg)
Søgeperformance - dokumenttyper
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
0,40
0,45
0,50
0,00 0,20 0,40 0,60 0,80 1,00
Præ
cis
ion
Recall
Alle rel.
rel. Bogposter
rel. Fuldtekst
rel. Metadata
![Page 18: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/18.jpg)
Søgeperformance - fusion
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
0,40
0,45
0,50
0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00
Pre
cis
iop
n
Recall
Alle rel.
rel. Bogposter
rel. Fuldtekst
rel. Metadata
![Page 19: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/19.jpg)
Søgeperformance - metadata
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
0,40
0,45
0,50
0,00 0,10 0,20 0,30 0,40 0,50 0,60 0,70 0,80 0,90 1,00
Pre
cis
iop
n
Recall
description fulltext
subject title
![Page 20: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/20.jpg)
Relevansbedømmelse - metadata
0,0
10,0
20,0
30,0
40,0
50,0
60,0
70,0
80,0
Author Description Date Comment Subjects
Extremely useful Somewhat useful Not at all useful
![Page 21: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/21.jpg)
Søgeperformance – description
0,00
0,05
0,10
0,15
0,20
0,25
0,30
0,35
0,40
0,45
0,50
0,00 0,20 0,40 0,60 0,80 1,00
Pre
cis
iop
n
Recall
Alle rel.
rel. Bogposter
rel. Fuldtekst
rel. Metadata
![Page 22: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/22.jpg)
Søgeperformance - dokumenttyper
0
0,1
0,2
0,3
0,4
0,5
0,6
Previous results Design methodology Theory & background knowledge
ND
CG
NDCG for different task purposes and document types
All document types Book records
Full text articles Metadata records
![Page 23: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/23.jpg)
Søgeperformance - søgetermer
0,0
0,2
0,4
0,6
0,8
1,0
Short length (2-4 terms) Long length (5-12 terms)
ND
CG
NDCG for different task lengths and document types
All document types Book records
Full text articles Metadata records
![Page 24: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/24.jpg)
Opsamling og videre arbejde
• Oprettelse af testsamling til evaluering af integreret søgning
• Realistisk og kontrolleret test setting
• Informationssøgning indenfor fagområdet Fysik:– 3 overordnede typer informationsbehov
– Muligt at identificere 5 perspektiver på informationsbehov med forskelligt antal facetter
– BT/NT, forkortelser, få andre synonyme variationer
• Søgeeffektivitet varierer på tværs af informationsbehovstyper og dokumentrepræsentationer
• Fremtidigt arbejde:– Analyser af sammenhæng mellem informationsbehovstyper,
facetter, dokumenttyper, vokabularer og dokumentrepræsentationer
– Kvalitative, forklarende analyser
– Analyser i ”virkelighedens verden”
![Page 25: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/25.jpg)
Erfaringer
• Hensyntagen til dokumenttyper med hensyn til vægtning og fusion
• Analysere informationsbehovstyper, længde og struktur– Opsætning
– Interface og brugter-systemdialog
– Undervisning
![Page 26: iSearch: brugerbehov og testresultater i integreret søgning](https://reader030.vdocuments.net/reader030/viewer/2022020217/545d3f76af7959c8098b4ade/html5/thumbnails/26.jpg)
LitteraturIngwersen, P., Lykke, M., Bogers, T., Larsen, B. & Lund, H. (2010): Assessors'
Search Result Satisfaction Associated with Relevance in a Scientific Domain.
In: Belkin, N. J. & Kelly, D. (reds.) IIiX'10 Proceeding of the Third Symposium
on Information Interaction in Context, New Brunswick, NJ, USA, August 18-21,
2010.New York: ACM, p. 283-287.
Ingwersen, P., Toine, B. & Lykke, M. (2010). Does degree of work task completion
influence retrieval performance. In: Proceedings of the 73rd ASIS&T Annual
Meeting. Grove, A. (red.). 47. American Society for Information Science and
Technology
Lykke, M., Ingwersen, P., Bogers, T., Lund, H. & Larsen, B. (2010): Physicists'
Information Tasks: Structure, Length and Retrieval Performance. In: Belkin, N.
J. & Kelly, D. (reds.) IIiX'10 Proceeding of the Third Symposium on Information
Interaction in Context, New Brunswick, NJ, USA, August 18-21, 2010.New
York: ACM, p. 347-351.
Lykke, M., Larsen, B., Lund, H. & Ingwersen, P. (2010): Developing a Test
Collection for the Evaluation of Integrated Search. In: Gurrin, C. & al. eds.
Advances in Information Retrieval, 32nd European Conference on IR
Research, ECIR 2010, Milton Keynes, UK, March 28-31, 2010, Proceedings.
Berlin: Springer, p. 627-630. (Lecture Notes in Computer Science ; 5993)