Download - Měření spokojenosti v knihovnách
Měření spokojenosti v knihovnách
Ladislava Zbiejczuk Suchá Gabriela Šimková
Národní knihovna, 17/10/2013
Měření spokojenosti v knihovnách
• Standardy VKIS stanovují – Měření spokojenosti jednou za 5 let. – „Více než 90 % uživatelů hodnotí služby
knihovny jako dobré nebo velmi dobré.“ – „Více než 75 % dětí a mládeže hodnotí služby
knihovny stupněm dobrý“.
Měření spokojenosti v knihovnách
• Standardy VKIS nestanovují – Jak má být anketa reprezentativní? – Jak má probíhat sběr dat? – Jak reportovat výsledky? – Jak výsledky porovnávat?
Pro koho děláme výzkum?
• Pro sebe/vedení – rozhodování založené na datech
• Pro zřizovatele – reportování kvality • Pro uživatele – uživatel v centru naší
pozornosti
Fáze výzkumu 1. Výzkumná otázka/problém 2. Rozhodnutí o populaci a vzorku 3. Rozhodnutí o technice sběru dat 4. Konstrukce výzkumného nástroje 5. Pilotáž výzkumného nástroje a úprava 6. Sběr dat 7. Analýza 8. Prezentace dat
Jak začít? • „Market researchers tend to emphasize the technical part
of their job, but I think they shouldn’t do this. Of course we need people with excellent knowledge of techniques and methodology, but it is when they have a vision and judgement that researchers can make a difference.“
Will van den Berg, Philips Consumer Electronics
• Co může výzkum přinést organizaci? • Co bude jinak oproti tomu, kdyby výzkum nebyl?
Příprava výzkumu
• Kdo se podílí na formulaci výzkumného problému? – Zaměstnanci – Zřizovatel – Uživatelé (?)
Fáze I: definování problému
• Zapojení zaměstnanců - brainstorming • Generování možných témat pro výzkum • Prioritizace, výběr opravdu důležitých oblastí
Fáze I: definování problému
• Složitější oblasti – rozklad problému na jednotlivé dílčí problémy tak, aby byly měřitelné
Spokojenost se službami • „Spokojenost se službami“
The user satisfaction and loyalty model (Martensen Gronholdt, 2003)
Spokojenost se službami – NK ČR Hodnocení knihovnických a informačních služeb z hlediska nabídky a
podmínek: • výpůjční služby • meziknihovní služby • kopírovací služby • rešeršní služby • přístup k internetu Hodnocení obsahu knihovních fondů a elektronických informačních
zdrojů: • domácí produkce knih a časopisů • knih ze zahraniční produkce • zahraničních tištěných časopisů • elektronických informačních zdrojů (elektronické časopisy a další
báze) Hodnocení internetových stránek a prostředí databází: • Umožňují Vám internetové stránky knihovny nalézat samostatně
informace o fondech a službách? • Považujete prostředí databází za přívětivé pro samostatné
vyhledávání informací, o které máte zájem?
Spokojenost se službami – NK ČR Hodnocení tištěných informačních materiálů a podpory informační gramotnosti uživatelů: • Pomáhají Vám tištěné informační letáky knihovny při práci v knihovně? • Jak Vám pomáhají naše tištěné informační letáky? • Pomáhá Vám knihovna získat informační dovednosti, které potřebujete ke své práci nebo
studiu? Hodnocení prostředí pro studium, technického vybavení a sociálního zázemí: • Považujete prostory knihovny za pohodlné pro potřeby Vašeho studia a učení? • Považujete technická zařízení určená pro přístup k informacím za dostatečná? • Jste spokojen/a se sociálním zázemím knihovny? (oddechové prostory, WC) Hodnocení pracovníků knihovny z hlediska důvěry, korektnosti, pohotovosti při řešení problémů
a odborné kvalifikace: • Důvěřujete pracovníkům knihovny? • Jsou k Vám pracovníci knihovny korektní? • Jsou pracovníci knihovny schopni pohotově zvládat problémy, se kterými se na ně obracíte? • Mají podle Vás pracovníci knihovny dostatečnou úroveň odborných znalostí, aby mohli
odpovídat na Vaše dotazy? Celkové hodnocení služeb knihovny a hodnocení přínosu služeb knihovny pro uživatele a
celkové spokojenosti uživatelů se službami knihovny: • Považujete služby knihovny za přínosné pro Vaše studium, výzkum či odbornou práci? • Jste spokojen/a s celkovou kvalitou služeb poskytovaných knihovnou?
Spokojenost se službami • LibQUAL
– Minimální úroveň služby – Požadovaná úroveň služby – Reálná úroveň služby
Koho budeme měřit?
• Kdo je populace? – uživatelé knihovny • Kdo nám odpoví? – jaký bude náš vzorek?
Kolik dotazníků potřebujeme sesbírat?
• Kolik lidí do knihovny chodí? • Jak homogenní je tato skupina? • Jak složitý je náš problém? • S jakou výběrovou chybou počítáme? • Výpočet vzorku – např.
http://surveysystem/sscalc.htm
Jak velký vzorek?
Velikost populace Velikost vzorku
Do 100 jednotek 80 %
Do 1000 jednotek
40 %
Do 10 000 jednotek
7,5 %
Do 100 000 jednotek
1,5 %
Do 1 000 000 jednotek 0,25 %
Do 10 000 000 jednotek 0,045 %
Kontrola kvality a reprezentativity
• V průběhu vyplňování: screeningové a filtrační otázky
• Po vyplnění: ad hoc kontrola klíčových charakteristik (věk, pohlaví), případně vážení
Jaká data u uživatelích už máme?
• Co všechno o uživatelích už víme? • Dokážeme určit, jaká forma dotazníku jim bude
vyhovovat?
Papírové dotazníky
• Velmi flexibilní • Možnost ohodnotit služby přímo na místě • Možnost kombinace s jinými metodami
• Časově náročné zpracování • Motivace pro vyplňování • Nízká míra responze
Telefonické dotazování
• Vysoká míra responze • Možnost rovnou vyplňovat do systému • Možnost přizpůsobit se uživateli v čase
• Časová náročnost • Finanční náročnost • Nemožnost používat vizuální pomůcky • Špatná odezva na otevřené otázky
Online dotazníky • Okamžitý přístup k datům • Dobrá míra responze i na citlivé otázky • Nezaujaté odpovědi • Možnost využití kvót a screeningových otázek • Dobrá míra responze i na komplexní a
otevřené otázky
• Nutnost aktuální databáze kontaktů • Otázka motivace respondentů • Ne všichni jsou online!
Případová studie: Jevíčko vs. Polička • Jevíčko: Kombinace online dotazníku a
tištěné verze distribuované do schránek – 3000 dotazníků
• Návratnost tištěné verze blížící se nule
• Polička: kombinace metod – tištěné + na pobočce
Jak motivovat?
• Mají dostat odměnu za vyplnění? • Jakou? • Jak zvýšit jejich zapojení?
Personalizace
• Zapojení do procesu zlepšování • Osobní oslovení • Vysvětlení důvodu • Jak často používat dotazníky, aby to fungovalo?
Zapojení uživatelů „User-centred design“
Zapojení
• Kombinace metod – nejen kvantitativní dotazníky • Vymyslet soutěž v rámci dotazníku • Sdílet výsledky a výstupy
Jdeme na to: papír a tužka
• Dramaturgie dotazníku • Dotazník krok po kroku • Větvení, filtrování, přeskoky otázek
Rozhodování o dotazníku
• Šablona dotazníku nebo vymyslet vlastní? • Využít existující nástroj nebo vyvinout
vlastní?
• Jaké máme zkušenosti? • Vyhodnocení kvality existujících dotazníků • Chceme porovnat výsledky?
Nástroje
Survio dotazníky pro knihovny
• Šablony připravené na míru pro knihovny • Zvýhodněná cena DIAMOND verze:
100 Kč/rok • Návody na http://vyzkumy.knihovna.cz
Dramaturgie dotazníku
• Na začátek jednoduchá otázka • Konverzační tón (využívat přechody,
pomoci respondentovi s orientací) • Seskupovat podobné otázky • Střídat různé druhy odpovědí • Složité otázky doprostřed dotazníku • Sociodemografické a osobní otázky
nakonec
ejte se na přímé zážitky
Vždy jen jednu otázku
Vyhněte se otázkám se skrytou nápovědou a příčinnou souvislostí
Upřesněte, kolik chcete odpovědí
Typy otázek v dotazníku
• Otevřené / uzavřené otázky • Uzavřené
– Standardizované odpovědi – Vyčerpávající soubor všech možných
odpovědí – Všechny kategorie (možnosti) musí být výlučné – Podrobnější členění lze následně seskupovat
(hrubější kategorie) – Oboustranně souměrné varianty
Typy otázek v dotazníku
Lickertova škála (metoda měření postojů)
• Jak jste spokojen se službami knihovny? 1. velmi nespokojen 2. spíše nespokojen 3. ani spokojen, ani nespokojen 4. spíše spokojen 5. velmi spokojen
Typy otázek v dotazníku
Seřazení položek • Jaké mají být vlastnosti ideálního
knihovníka?
Seřaďte položky podle důležitosti Rozhodnost Moudrost Píle Uvážlivost Mazanost Komunikativnost
Typy otázek v dotazníku
Baterie otázek
Jak jste spokojen/a s … Velmi spokojen/a
Spíše spokojen/a
Ani/ani
Spíše nespokojen/a
Velmi nespokojen/a
Výběrem knih ve volném výběru
1 2 3 4 5
Délkou výpůjční lhůty 1 2 3 4 5
Přístupem personálu knihovny
1 2 3 4 5
Úrovní toalet 1 2 3 4 5
Typy otázek v dotazníku
Sémantický diferenciál
1 2 3 4 5 6 7 8 9 Ostýchavý/á Průbojný/a Impulzivní Uvážlivý/á Hodný/á Zlý/á Moudrý/á Pošetilý/á Rozhodný/á Nerozhodný/á
Typy otázek v dotazníku
Volba postoje Někteří knihovníci si myslí, že fond by se měl především přizpůsobit požadavkům čtenářů. Jiní si myslí, že knihovna by měla aktivně nabízet čtenářům knihy, které ani nemusí znát. Kterému názoru dáváte přednost? • ( ) Knihovna by se měla přizpůsobit • ( ) Knihovna by měla sama budovat fond • ( ) Nemohu vybrat
Metodologická dilemata
• Rozhodnutí o kategorii „nevím“ • Rozhodnutí o středové kategorii
Délka dotazníku
• Čím delší dotazník, tím vyšší míra opuštění • Čím delší dotazník, tím vyšší míra výběru
odpovědi „nevím, nemohu se rozhodnout“ • 10 otázek? • Důležitější než samotný pokrok ve
vyplňování je vnímání pokroku uživatelem
Design a vizuální pomůcky
• Vyšší míra vyplnění online dotazníků je zaznamenána u designově střídmých dotazníků.
• Oproti tomu vizualizace určitých prvků (např. log, ukázek zboží) může zvyšovat míru odpovědí na konkrétní otázku (Deutskens, et al. 2004).
Byly vaše čtenářské
aktivity omezeny kvůli časové
náročnosti vaší práce?
Chtěl(a) byste mít
dům a děti?
Kolik Vám je let?
0 – 20 20 – 30 30 – 40 40 – 60 60 – 80
Jaký je váš příjem?
Myslíte si, že při
současném stavu školství se je
rozumné dávat své dítě na gymnázium?
Knihy a časopisy
čtu: Nikdy Zřídka Často
Velmi často Každý den
Myslíte si, že by knihy měly být
seřazeny dle signatury?
Pilotní testování
• Ideální přímo s uživateli, ale lepší jakékoliv testování než žádné (zaměstnanci, rodina)
• Cca 10-20 respondentů • Online i tištěná verze
Distribuce dotazníku
• 5-fázový proces – Příprava – Rozeslání – Upomínka 1 – Upomínka 2 – Poděkování, sdílení
Pauza?
Co s daty?
• Co všechno o uživatelích už víme? • Dokážeme určit, jaká forma dotazníku jim bude
vyhovovat?
Čištění dat
• Garbage in, garbage out • Chyby při zpracování, záměny znaků • Extrémní hodnoty
SURVIO: odpověď můžete „vypnout“,
ale ne změnit
Třídění prvního stupně za vás udělá
aplikace
Tabulky četností
Jaké je Vaše vzdělání?
Četnost odpovědí
Relativní četnost
Validní relativní četnost
Validní hodnoty Základní 46 7,5 % 7,6 % Základní vyučen /střední bez maturity
62 10,1 % 10,2 %
Střední s maturitou 307 50,1 % 50,5 %
Pomaturitní nástavba, VOŠ
40 6,5 % 6,6 %
Vysokoškolské 153 25,0 % 25,2 %
Celkem validní hodnoty
608 99,2 % 100,0 %
Chybějící hodnoty (neví, neodpověděl/a)
Chybějící hodnoty 5 0,8 %
Celkem 613 100,0 %
Takto vypadá správně a úplně vyplněná tabulka – obsahuje: • počty validních y chybějících hodnot • absolutní i relativní četnosti • validní relativní četnosti
Koláčové grafy
• Vhodný pro: – Třídění prvního stupně (jedna datová řada) – porovnání četností u nominálních proměnných,
které nemají příliš mnoho hodnot (méně než 7) – Pokud hodnoty, které chcete vykreslit, nejsou
nulové – Pokud hodnoty představují část celku
Sloupcové grafy • Klasický sloupcový graf vhodný pro:
– Porovnání položek – Ordinální proměnné a kardinální proměnné s menším
počtem kategorií – Znázornění změn za časové období (třídění druhého
stupně) • Sloupcový skládaný graf:
– znázornění vztahu jednotlivých položek k celku s porovnáním podílu každé z hodnot na celkové hodnotě v různých kategoriích
• 100% skládaný graf: – porovnání procentuálního podílu (relativních četností)
jednotlivých hodnot na celkové hodnotě v různých kategoriích
– např. porovnání Lickertových škál v bateriích otázek
1 - Cítím se trapně kvůli tomu, že nevím, jak využívat služeb akademické knihovny 2 - Jsem zmatený z mnoha záležitostí týkajících se vysoké školy. 3- Nejsem si jistý/á, jak mám začít v knihovně vyhledávat. ---
1 – rozhodně souhlasím 2 – spíše souhlasím 3 – ani souhlasím, ani nesouhlasím 4 – spíše nesouhlasím 5 – rozhodně nesouhlasím
Nástroje pro vizualizace, infografiky
• http://www.easel.ly/ • http://infogr.am • http://visual.ly/
Nástroje pro vizualizace, infografiky
Nástroje pro vizualizace, infografiky
Chci, aby tady…
Zapůsobit na city