om de nasjonale brukerundersøkelsene, Øyvind bjertnæs, 06112014
DESCRIPTION
Om de nasjonale brukerundersøkelsene, Øyvind Andresen Bjertnæs, Kunnskapssenteret. Hvordan innhente og benytte brukernes erfaring til kvalitetsforbedring? Seminar på Kunnskapssenteret 6. november 2014TRANSCRIPT
Kunnskapsesenterets
nye PPT-mal
Øyvind Andresen Bjertnæs, Forskningsleder
Seksjon for brukeropplevd kvalitet
Nasjonale brukererfaringsundersøkelser:
bakgrunn, datainnsamling og bruk av data
06.november 2014
November 7, 2014 2
Seksjon for brukeropplevd kvalitet
1. Nasjonale brukererfaringsundersøkelser (PasOpp)
2. Fastlegers vurderinger av distriktspsykiatriske sentre
3. Norsk del av Commonwealth Funds internasjonale helsesystemundersøkelser
4. Befolkningsundersøkelser om pasientsikkerhet og kvalitet
5. Metoder og undersøkelser relatert til brukerrapporterte utfallsmål
November 7, 2014 3
Oversikt nasjonale undersøkelser
Survey
2003-
2012 2013 2014 2015 2016 2017 2018 2019 2020
Ordinary user experience surveys
Hospital adult inpatients
03,06,
11, 12 X X (X) (X) (X) (X) (X) (X)
General practitioners 10 (LV) X
Addiction, adult inpatients X X
Mental health, adult outpatients 04, 07
Hospitals, children departments 05
Mental health, adult inpatients 05 X
Mental health, children outpatients 06 (X)
Hospital, adult cancer patients 09
Hospital adult outpatients 04
Maternity services 11
Surveys among cooperation partners
GP assessment of community MHC
06,08,
11 X (X) (X)
International surveys
Commonwealth Fund, GPs 09,12 (X) (X)
Commonwealth Fund, gen.population 10 X (X) (X)
Commonwealth Fund, chronic/55+ population 11 X (X) (X)
Nasjonale brukererfaringsundersøkelser
(www.pasopp.no)
Formålet er å gjennomføre systematiske spørreskjemaundersøkelser om brukererfaringer, som grunnlag for:
– Faglig kvalitetsforbedring
– Virksomhetsstyring
– Fritt brukervalg
– Åpenhet om helsetjenestens resultater
Føringer: – Sammenlignbarhet
– Institusjonsnivå
– Kvalitetsindikatorer i det nasjonale indikatorsystemet
November 7, 2014 4
November 7, 2014 5
Viktigheten av standardisering – eksempel fra
USA
Formål retningslinje:
– Standardisere datainnsamlingsprosess
– Sikre sammenlignbarhet
Tillatte datainnsamlingsmetoder:
– Postalt skjema
– Telefonintervjuer
– Interactive Voice Response
– «Mixed mode»
512 sider
November 7, 2014 6
OECD prinsipper for etablering av nasjonale
systemer for å måle pasienterfaringer
1. Patient measurement should be patient-based
2. The goals of patient measurement should be clear
3. Patient measurement tools should undergo cognitive testing and the psychometric properties should be known
4. The actual measurement and analyses of patient experiences should be standardised
5. The reporting method of findings of patient experiencesmeasurement should be chosen with care
6. International comparability of measurement of patientexperiences should be enhanced
7. National systems for the measurement of patient experiences should be sustainable
November 7, 2014 7
Kunnskapsesenterets
nye PPT-malDatainnsamling i nasjonale
brukererfaringsundersøkelser
Overveielser
Valg av innsamlingsmåte må gjøres i det enkelte tilfellet, etter vurdering av en rekke faktorer som type populasjon, tema, utvalgsmetode og behov for ressurser
Datainnsamlingsmåte i nasjonale brukererfaringsundersøkelser må tilfredsstille krav til vitenskapelighet (objektivitet og representativitet), og la seg gjennomføre i tråd med ytre rammebetingelser (økonomiske, tidsmessige og juridiske)
November 7, 2014 9
November 7, 2014 10
November 7, 2014 11
Patient satisfaction (Crow 2002, HTA review)
Postal innsamling versus utdeling på institusjon
November 7, 2014 12
Bjertnaes ØA, Garratt A, Johannessen JO. Data collection methods and results in user surveys in mental health care. Tidsskr Nor Laegeforen.
2006 May 25;126(11):1481-3.
«Surveytid» - tid fra utskrivning til utsending av
skjema
November 7, 2014 13
Bjertnaes OA. The association between survey timing and patient-reported experiences with hospitals: results of a national postal survey.
BMC Med Res Methodol. 2012 Feb 15;12:13.
Kan pårørende hjelpe pasienter å svare?
November 7, 2014 14
Bjertnaes O. Patient-reported experiences with hospitals: comparison of proxy and patient scores using propensity-score matching.
Int J Qual Health Care. 2014 Feb;26(1):34-40.
Hvordan kan elektronisk kombineres med postal
i føde/barsel undersøkelser?
November 7, 2014 15
Bjertnaes OA, Iversen HH. User-experience surveys with maternity services: a randomized comparison of two data collection models.
Int J Qual Health Care. 2012 Aug;24(4):433-8.
November 7, 2014 16
Datainnsamlingsmetoder og datakvalitet
Robling MR et al. Applying an extended theoretical framework for data collection mode to health services research.
BMC Health Serv Res. 2010;10:180.
Total survey error (fra Groves RM et al. 2009,
Survey Methodology, side 48)
November 7, 2014 17
November 7, 2014 18
Standard datainnsamlingsprosedyrer i nasjonale
brukererfaringsundersøkelser i Norge
Tilfeldig trekking av 400 brukere per institusjon i en 3-måneders periode
Uttrekk fra pasientadministrative systemer med FS-systemet:
– Kontaktinformasjon (for å sende ut spørreskjema)
– Demografiske data, oppholdsdata og medisinske data (for frafallsvekting, case-mix og andre analyser)
Postale spørreskjemaer sendes ut noen uker etter konsultasjon/opphold, mulighet for elektronisk svar i noen undersøkelser
1-2 postale purringer på de som ikke svarer
Telefonintervju av tilfeldig utvalg ikke-svarere
Tverrfaglig spesialisert rusbehandling og døgnpsykiatri er unntatt fra standarden (under uttesting)
November 7, 2014 19
Svarprosent og frafallsskjevhet
57
46
52
35
0
10
20
30
40
50
60
Inpatientshospital 2012
Inpatientshospital 2011
Cancer patients2009
Psychiatricoutpatients 2007
Svarprosent i nasjonale undersøkelser i Norge - eksempler
Bruk vekter for å kompensere for frafall, basert på analyse avsvarsannsynligheter
Oppfølgingsstudier av ikke-svarere (Guldvog et al. 1997): Journalgjennomgang og
telefonintervju i tilfeldig utvalg på 285 pasienter som ikke hadde svart
Svarere og ikke-svarere gir omtrent samme tilbakemelding, men kan ikke generalisere til: de sykeste de med størst funksjonssvikt de som ikke har fast
bopeladresse de som ikke kan norsk godt nok
Svarprosent er en dårlig indikatorpå datakvalitet
Svarprosent en dårlig indikator på ikke-svarer
skjevhet
November 7, 2014 20
Groves RM, Peytcheva E. The impact of nonresponse rates on nonresponse bias: a meta-analysis.
Public Opinion Quarterly. 2008;72:167-189.
Hva med elektronisk datainnsamling?
November 7, 2014 21
Andre datainnsamlingsmetoder
November 7, 2014 22
Avslutning
Datainnsamling er en betydelig oppgave i nasjonale brukererfaringsundersøkelser, med store potensielle feilkilder
Det er utarbeidet en standardisert innsamlingsmåte som fungerer bra for de fleste populasjoner, med noen unntak
Viktig med robuste målemetoder ved produksjon av eksterne kvalitetsindikatorer, og underliggende metodeforskning
Viktig å tilby mulighet for å svare elektronisk, men kun som et supplement til postalt skjema
Lokale undersøkelser er viktig, og kan gjerne ha et annet design enn nasjonale, og utnytte kvalitative metoder
November 7, 2014 23
Kunnskapsesenterets
nye PPT-malBruk av data til forbedring
November 7, 2014 25
http://13c4.wordpress.com/2007/02/24/50-reasons-not-to-change/
Contandriopoulus et al 2014: themultiple causal pathways betweenperformance measures’ use and effects
1. Selection
2. Change through managerialinterventions
3. Change through socialstructuring
4. Change through internalpressures
Kotter JP (1996): the 8-step process for leading change
1. Establishing a sense of urgency
2. Creating the guiding coalition
3. Developing a change vision
4. Communicating the vision for buy-in
5. Empowering broad-based action
6. Generating short-term wins
7. Never letting up
8. Incorporating change into theculture
Nasjonale brukererfaringsundersøkelser
(www.pasopp.no)
Formålet er å gjennomføre systematiske spørreskjemaundersøkelser om brukererfaringer, som grunnlag for:
– Faglig kvalitetsforbedring
– Virksomhetsstyring
– Fritt brukervalg
– Åpenhet om helsetjenestens resultater
Føringer: – Sammenlignbarhet
– Institusjonsnivå
– Kvalitetsindikatorer i det nasjonale indikatorsystemet
November 7, 2014 26
Barrierer spørreskjemadata
Mulige barrierer for å benytte spørreskjemadata fra pasienter i kvalitetsforbedring:
– Organisatoriske (f.eks. prioriteringer)
– Fagrelaterte (f.eks. skepsis blant klinikere)
– Datarelaterte (f.eks. manglende kompetanse)
Viktig å:
– utvikle virksomheter som støtter pasientsentrert omsorg,
– ha kvalitetsforbedringskapasitet og mottagelighet for resultatene,
– ha lederskap som støtter opp under kvalitetsforbedringsarbeidet,
– ha teknisk ekspertise på data.
Davies E, Cleary PD. Hearing the patient's voice? Factors affecting the use of patient survey data in quality improvement. Qual Saf Health Care. 2005 Dec;14(6):428-32.
November 7, 2014 27
Brukes brukererfaringsdata i lokalt kvalitetsarbeid?
Figur. Prosentandel som rapporterer bruk av data
November 7, 2014 28
5456
60 61
82 83
0
10
20
30
40
50
60
70
80
90
Heje HN et al. 2011,allmennleger,Danmark
Iversen HH et al.2010, sykehus, Norge
Koch JR et al. 2011,"community servicesboards", USA
Hearnshaw H et al.1996,allmennpraksiser,England og Wales
Riiskjær E et al. 2010,sykehus, Danmark
Friedberg MW et al.2011, allmennleger,USA
November 7, 2014 29
Kartlegging om bruken av de nasjonale dataene
I 2007 gjennomførte vi en web-basert undersøkelse blant 5 ansatte på hver barneavdeling om den nasjonale undersøkelsen ved barneavdelinger i 2005
Hovedresultater:– Positive holdninger til at pasienter og pårørende involveres når kvaliteten
på helsetjenestene skal evalueres – God kjennskap til undersøkelsen – Brukerundersøkelsen ble oppfattet som nyttig – 56% svarte at avdelingen hadde iverksatt tiltak for å rette på de
utfordringene som ble identifisert i undersøkelsen (fritekst med beskrivelse av tiltak i tillegg)
Tall på avdelingsnivå trolig èn av forklaringene på positive vurderinger av nytte og oppfølging
Iversen HH, Bjertnæs ØA, Groven G, Bukholm G. Usefulness of a national parent experience survey in quality improvement:
views of paediatric department employees. Qual Saf Health Care. 2010;19:e38.
Forbedringer – hva skal til?
Insentiv for endring hvis det er:
(1) tilstrekkelig validitet
(2) resultater på lavt nivå og enheterhar lavere resultat enn andreenheter;
(3) åpenbare tiltak for å forbedreresultatene.
Riiskjaer E, Ammentorp J, Nielsen JF, Kofoed PE. Patient surveys--a key to organizational change? Patient EducCouns. 2010 Mar;78(3):394-401.
November 7, 2014 30
Lavt nivå (poster Lovisenberg 2013)
(Uvektet/ujustert)
83 83 82
79
83
78
6768
94
69 70
66 65
76
65
49
44
86
0
10
20
30
40
50
60
70
80
90
100
Pleie Lege Informasjon Organisering Pårørende Standard Samhandling Utskrivning Passikkerhet
Post 1
Post 2
Post 3
Post 4
Post 5
Post 6
November 7, 2014 32
Èn metode for å velge innsatsområder
Davies E, et al. Evaluating the use of a modified CAHPS survey to support improvements in
patient-centred care: lessons from a quality improvement collaborative. Health Expect. 2008 Jun;11(2):160-76.
Hva er viktigste innsatsområder? (post 1 og 4 på
Lovisenberg)
November 7, 2014 33
POST 1 Pleie Lege Informasjon Organisering Pårørende Standard Samhandling Utskrivning Passikkerhet
Post 1 diff snitt 5 5 8 6 6 4 4 6 2
Post 1 prioritet 0,65 0,53 0,54 0,58 0,52 0,68 0,32 0,35 0,09
POST 4
Post 4 diff snitt -10 -8 -8 -8 -1 -8 -13 -18 -6
Post 4 prioritet 0,67 0,75 0,51 0,71 0,5 0,59 0,34 0,3 0,72
CAHPS improvement guide - intervensjoner
Open Access Scheduling for Routine and Urgent Appointments
Streamlined Patient Flow
Access to Email for Administrative Help and Clinical Advice
Internet Access for Health Information and Advice
Rapid Referral Programs
Changes in Policies and Processes and Applications of Information Technology
Training to Advance Physicians’ Communication Skills
Tools to Help Patients Communicate Their Needs
Shared Decisionmaking
Support Groups and Self-Care
Delivery of Evidence-Based Information
Planned Visits
Group Visits
Listening Posts
Patient and Family Advisory Councils
Service Recovery Programs
Standards for Customer Service
Reminder Systems for Preventive Services and Immunizations
November 7, 2014 34
NHS: evidence, retningslinje og standarder
http://pathways.nice.org.uk/pathways/patient-experience-in-adult-nhs-services
Generisk retningslinje (2012)
335 sider med fokus på hva som er viktig for pasientene og tiltak for forbedring av pasienterfaringer
Tematisk inndelt
Oppdatering publisert i 2014
November 7, 2014 35
Review om brukerorienterte intervensjoner i
kliniske konsultasjoner (2012)
43 randomiserte studier
Hovedsakelig opplæringstiltak (korte, lange)
Effektive i å overføre kompetanse i brukerorientering til helsepersonell
Blandede effekter på pasienttilfredshet, helseatferd og helse
November 7, 2014 36
Pasientenes forslag til forbedringer – standard Lovisenberg post 1
Koseligere dag og spiseromBedre renhold
Maten kunne kanskje holdt en bedre standard …
Litt bedre renhold på rommene, gulvet
Være sikker på at maten kan tilpasses diabetikere
bedre
Forslag til forbedring må være maten. Nokså kald
middag. .. På baderom var det mangel på forhøyet
sete på toalettene
Rengjøring på bad og rom
Å få sengen redd må være mulig uten at pasienten
ber om dette ved innsetting av en total
kneprotese med skrekkelige smerter
Bedre renhold!Jeg fikk ingen informasjon
om tidspunkter for matservering Akkurat da jeg var i ferd med å
sovne ved midnatt rusket antakelig en sikkerhetsvakt
HARDT i døren min (som var låst), og jeg skvatt til og det var
vanskelig å komme inn igjen i søvn. … Man kan vel bare
henge opp et skilt på utsiden med «sovende pasient»
Enkelte av de som står for matservering bør ha større respekt for pasientene, å
være litt mer behjelpelige og hyggelige
En mangel på sengen, den manglet noe man kunne
løfte seg opp fra liggende, med armene
Men jeg synes ikke de som vasket gulvene var veldig
nøye. Tok bare en liten sveip midt på gulvet
Manualer – «how to»
November 7, 201438
Kulturendring - spør alle pasienter (friends and family test, NHS England)«How likely are you to recommend our xxx to friends and family if they needed similar care or treatment?»
Alle pasienter ved døgnenheter på sykehus og akuttavdelinger fra 2013
Poliklinikker/dagbehandling, GPs, mental helse, tannlege, ambulerende tjenester mm følger etter, senest 2015
Målsetninger:– A tool for local service improvement
– Providing information to empower patient choice
– Intra-trust performance monitoring
– Providing comparable data to hold trusts to account
Kunnskapssenteret arbeider med norsk versjon – BOK-testen
November 7, 201439
Avslutning
Klare forventninger om mer brukerorientering og bedre brukererfaringer
Hva Kunnskapssenteret kan tilby:– Nasjonale målinger på institusjonsnivå – benchmarks og trender
– Målinger på lavere nivå, kontinuerlig måling
– Validerte instrumenter, sjekkliste
– Veiledning og støtte til lokale forbedringsprosjekter
– BOK-test («spør alle»), under utvikling
– Råd om kunnskapsressurser, forbedringsmetodikk mm
Helsetjenestene må selv planlegge og gjennomføre forbedringsprosjektene
November 7, 201440