device agnostic research sex drugs politics

Sex, Drogen und Politik

Device Agnostic Research im mobilen Zeitalter

Vortrag Research & Results, München 23. Oktober 2013 Prof. Dr. Holger Lütters | [email protected] | twitter.com/borschtsch

mailto:[email protected]



Prof. Dr. Holger Lütters · Device Agnostic Research · Research & Results · 23. Oktober 2013 2

Kernfrage: Erzeugt die Verwendung von Mobilgeräten zur Marktforschungsbefragung andere Ergebnisse?

Grundsatzfrage für die Marktforschung: Sind mobile Geräte eine eigene Kategorie von Befragung, oder kann man mobile Erhebungen zum Kanon des Online-Marktforschungsinterviews zählen?

These: Mobil antwortet der Mensch auf heikle Fragen anders

Umsetzung der Studie:

Studie mit 4 Geräteklassen, zur Untersuchung von

Antworteffekten (Desktop, Laptop, Tablet und Smartphone)

Befragung von Dingen, die man tunlichst nicht befragen sollte

Explizit provokante Fragen zur Überprüfung devianten

Antwortverhaltens in unterschiedlichen (mobilen) Situationen

(Zu Hause, bei der Arbeit, unterwegs…)

Themenwahl Sex, Drogen und Politik in der Reihenfolge Politik, Sex

und Drogen zur langsamen Annäherung an die „heiklen“ Fragen

Device Agnostic Research

Befragungen auf unterschiedlichen Endgeräten ohne

Installation von Zusatzsoftware

0


Device Agnostic Research: Forschung ohne an Geräte glauben zu müssen

Erhebungen auf iOS-Geräten ergeben z.T. andere Ergebnisse als

bspw. auf Android-Geräten (z.B. bei Preisbereitschaft)

Idee: Die Studie muss auf jedem Teilnehmergerät in adäquater

Qualität funktionsfähig sein, ohne dass eine zusätzliche Software

(Flash, Silverlight oder App) installiert werden muss.

Der Fragebogen wird nicht im Hinblick auf eine Geräteklasse

optimiert, sondern soll auf allen Geräten funktionieren

Je nach Gerät sollen sich bestimmte Funktionen automatisch

ein/ausschalten und eine angenehme UX ermöglichen

Die Studie soll das Verhalten der Nutzer erheben und auf Effekte in

den Response-Daten und Antwortdaten ermitteln.

Die konkreten Antworten stehen nicht im Mittelpunkt, sondern

lediglich die Unterschiede der Antworten in Abhängigkeit der Geräte

Repräsentativstudie der HTW Berlin mit

Unterstützung durch Panelbiz Berlin

1

Durchführung der Studie


Studie mit vier technischen Routen mit identischem Inhalt zu drei „heiklen“ Themenkreisen

VIER DEVICE-VARIANTEN

THEMEN:

Politik Sexualverhalten Drogen

Device1: Desktop

Device 3:

Tablet

Device 4:

Smartphone

Device 2: Laptop


10-minütige deutschlandweite Repräsentativbefragung

Feldbericht

Deutschlandweite Repräsentativbefragung durch Panelbiz.com mit SaaS Tool questfox®

- Geräte und Nutzertypologien

- Zeit zur Beantwortung der Befragung

- Drop-out Betrachtung

- Konsistenzüberprüfung im Analytic Hierarchy Process Verfahren

2

Nicht reaktive Ergebnisunterschiede

Geräte und Nutzung


Auch Mobilgeräte werden in den eigenen vier Wänden genutzt. Nur das Smartphone ist wirklich mehrheitlich mobil

Zu Hause (n=513) Nicht zu Hause (n=149)

n=662 vollständige Interviews


Der Laptop wird verstärkt von Frauen eingesetzt Desktop ist ein männlicher Device Mobilgeräte kaum Unterschiede

41,1% (n=44)

59,3% (n=70)

48,3% (n=101)

51,3% (n=117)

58,9% (n=63)

40,7% (n=48)

51,7% (n=108)

48,7% (n=111)



Desktop User sind im Schnitt älter Das Smartphone wird eher von Jüngeren genutzt Das Tablet erst ab einem gewissen Alter

42,02 (n=107)

38,86 (n=118)

39,04 (n=209)

30,89 (n=228)

Alter


Antwortdauer


Die unterschiedlichen Devices erzeugen unterschiedliche Response Rates und Antwortzeiten

Mean: 619 Sekunden (1,9% länger als Desktop) Median: 533 Sekunden (9% länger als Desktop)

Mean: 929 Sekunden (34,7% länger als Desktop) Median: 763 Sekunden (36,4% länger als Desktop)

Basis: n=662 vollständige Teilnehmer

Gesamte Studie (alle Geräte) Mittelwert (MEAN) 767 Sekunden=12,8 Minuten Median 621 Sekunden=10,35 Minuten

Mean: 755 Sekunden (19,6% länger als Desktop) Median: 631 Sekunden (23,1% länger als Desktop)

Mean: 607 Sekunden Median: 485 Sekunden


Die mit 10 Minuten Dauer angegebene Befragung wurde in einer gefühlten Einschätzung nicht als länger bewertet (auch wenn es länger war)


• tatsächliche Antwortzeit (Median) aller Teilnehmer der Gruppe

• Schätzung der benötigten Zeit

„Kann ich

nicht sagen“

6,5%

8,5%

5,8%

2,71 8,08 Minuten*

3,45 12,7 Minuten*

4,7%

2,98 10,51 Minuten*

2,83 8,88 Minuten*

8,10 Minuten

8,26 Minuten

8,61 Minuten

10,55 Minuten

Echte Dauer Schätzung


Das Smartphone hat 36% mehr Zeit benötigt als der Desktop Aber: Mobile Befragungen fühlen sich kürzer an als sie sind

Echte Zeit MEDIAN in Sek.

Vergleich der Devices

Abfrage: Gefühlte Zeit in Sek.*

Vergleich der Devices

Gefühlte Zeit in Relation zu tatsächlicher Zeit (Median)

G1

485 =100% 486 =100% 0 %

G2

533 +9% 495 +2% -7%

G3

631 +23% 516 +6% -17%

G4

763 +36% 633 +24% -12%

Vorgabe 10 Minuten für Interview * Die Abfrage der Zeit erfolgte in Minutenschritten

Abbrecherquoten


Drop-out Raten der Mobilgeräte erheblich höher Smartphone erzeugt den höchsten Drop-out

Basis: n=663 Teilnehmer (Completion Rate nach Screenouts/Quota-Full)

Drop-out: 9,4%

Drop-out: 8,5%

Drop-out: 14,9%

Drop-out: 22,7%

n=107 113 mögliche Interviews





0%

2%

4%

6%

8%

10%

12%

14%

16%

18%

20%

Q11 Q12 Q13 Q14 Q15 Q16 Q17 Q18 Q19 Q20 Q21 Q22 Q23 Q24 Q25 Q26 Q27 Q28 Q29 Q30 Q31 Q32 Q33 Q34

Die Abbruchquote bei mobilen Geräten bleibt während des Interviews konstant erhöht gegenüber Desktop und Laptop

Basis: 2273 Responses in 4 Gerätekategorien Betrachtung ab Qualifikation für das Interview (Post Screener Phase ab Q11)

Konsistenzcheck


Konsistenzmessung nach Analytic Hierarchy Process in der Messung im Paarvergleich


In der Paarvergleichsbefragung keine wesentlichen Unterschiede zwischen den Geräteklassen.

Desktop Laptop Tablet Smartphone

Drogenmissbrauch 0,33 0,32 0,31 0,29

Gewaltprävention 0,37 0,33 0,32 0,33

Liebe & Sexualität 0,14 0,17 0,17 0,19

Politik 0,16 0,18 0,2 0,19

n 107 117 204 211


Der Qualitätsindikator Konsistenz fällt bei den mobilen Geräten überraschend positiv aus. Bei Tablets am besten

PC Laptop Tablet

sehr konsistent 16,80% 22,90% 26,30% 23,20%

konsistent 23,40% 22,00% 20,60% 18,90%

weniger konsistent 47,40% 44,10% 34,90% 38,20%

inkonsistent 11,20% 6,80% 10,00% 11,00%

extrem inkonsistent 0,90% 0,00% 1,40% 0,90%

Basis n=107 n=118 n=209 n=228

1. Rating 0,272 0,236 0,219 0,255

2. Rating 0,281 0,236 0,253 0,266

Basis n=662; Konsistenzmessung im Analytic Hierarchy Process; Keine Wiederholung inkonsistenter Paarvergleiche Gemessen wurde die Konsistenz in zwei verschiedenen AHP Decision Trees (1. Rating; 2. Rating) ohne warm-up Je höher der Wert, desto inkonsistenter das Antwortmuster; Klassische Grenze nach Saaty: < 0,1;


Alle Varianten erzeugen gute Konsistenzwerte Standardinstrument PC erzeugt die schlechtesten Werte

Desktop

1. Rating: 0,272 2. Rating: 0,281

n=107

Laptop

1. Rating: 0,236 2. Rating: 0,236

n=118

Tablet

1. Rating: 0,219 2. Rating: 0,253

n=209

Basis n=662; Konsistenzmessung im Analytic Hierarchy Process; Keine Wiederholung inkonsistenter Paarvergleiche Gemessen wurde die Konsistenz in zwei verschiedenen AHP Decision Trees (1. Rating; 2. Rating) ohne warm-up Je höher der Wert, desto inkonsistenter das Antwortmuster; Klassische Grenze nach Thomas L. Saaty: < 0,1;

Smartphone

1. Rating: 0,255 2. Rating: 0,266

n=228


Zusammenfassung Nicht-reaktive Effekte des Einsatzes mobiler Geräte

Mobile Geräte sind technisch vergleichsweise einfach einzubinden,

erhöhen aber die Abbruchquote erheblich

Smartphone-Nutzung zur Marktforschung scheint zu nerven und

hebt die Abbrecherquote auf ein noch höheres Niveau

Antwortverhalten von Laptop näher am Tablet als am Desktop

Konsistenzwerte der Messung auf mobilen Geräten besser im

Vergleich zu Desktop/Laptop

Zeit ist ein extrem subjektiver Begriff, der nicht immer durch die

Realität abgebildet wird

Politik

Sexualität

Drogen

3

Reaktive Ergebnisunterschiede

Politik


Die Antworten auf die Fragen nach der politischen Einordnung fallen nur auf dem Desktop anders aus

2,69

3,22

3,15

3,09

Links Rechts


Eine Empfehlungsfrage unter Nutzung des NPS erzeugt - je nach Device - starke Unterschiede

Gruppe NPS Wert

Gesamt -57,73

Desktop -71,03

Laptop -66,68

Tablet -52,65

Smartphone -50,95

Frage: Würden Sie die Regierung der Bundesrepublik Deutschland weiterempfehlen?

n= 641 Der Net Promoter Score gibt an, wie viel Prozent in Bezug auf die Fragestellung eine Weiterempfehlung aussprechen würden. Formel: % der Antworten 9 und 10 minus % der Antworten 0-6; Je höher der Score, desto höher der Netto-Empfehler-Score

Sexualität


Die heikle Frage nach Fremdgehen wird auf allen Geräten vergleichbar beantwortet


Die Frage nach Selbstbefriedigung ergibt nur geringe Unterschiede im Antwortverhalten (Laptop ragt heraus)


Bei der Anzahl der Sexualpartner fallen die Desktopantworten aus dem Antwortschema


Drei Paarvergleichsfragen zur Nutzung von Kondomen weist keine wesentlichen Abweichungen auf

Messung nach dem Analytic Hierarchy Process Verfahren nach Saaty


Die Frage der Weiterempfehlung wurde auch auf die persönliche Beziehung angewendet. Wieder starke Unterschiede bei Verwendung der NPS Methode

Gruppe NPS Wert

Gesamt + 38,77

Desktop + 46,68

Laptop + 19,98

Tablet + 37,58

Smartphone + 47,09

Frage: Wie sicher würden Sie gerne nochmals mit dem selben Partner eine Beziehung eingehen wollen?

n= 485 (nur Menschen, die in einer Beziehung leben) Der Net Promoter Score gibt an, wie viel Prozent in Bezug auf die Fragestellung eine Weiterempfehlung aussprechen würden. Formel: % der Antworten 9 und 10 minus % der Antworten 0-6; Je höher der Score, desto höher der Netto-Empfehler-Score

Drogen


Die Zielgruppe bewertet die Einschätzung der Illegalität einer Droge im Mittel gleich

3,33

2,87

2,87

2,52


Smartphone User geben an, seltener illegale Drogen konsumiert zu haben


Bei der Projektivfrage des Drogenkonsums im Umfeld kaum Antwortunterschiede


Keine signifikanten Antwortunterschiede bei den heiklen Detailfragen nach dem Drogenkonsum

Marginale Abweichungen Desktop Respondenten rauchen mehr Smartphone Respondenten trinken

mehr Energy Drinks Laptop Respondenten nehmen mehr

Medikamente Keiner dieser Unterschiede statistisch

signifikant


KEINE Unterschiede in den Daten zwischen Antworten zu Hause und außerhalb

Bewertung des Fragebogens

Bewertung des Fragebogens

- Verständlichkeit

- Gefallen der Befragung

- Weiterempfehlungsabsicht (NPS)


Die Device Agnostische Befragung wird auf Mobilgeräten etwas schlechter bewertet. Erstaunlich: Tablet schlechter als Smartphone

8,24

7,45

8,16


7,47


Abermals erzeugt die NPS Methode andere Antworten auf den unterschiedlichen Geräteklassen

Gruppe NPS Wert

Gesamt + 29,50

Desktop + 46,74

Laptop + 32,49

Tablet + 23,08

Smartphone + 25,46

Frage: Wie wahrscheinlich ist es, dass Sie diese Befragung Dritten weiterempfehlen?

n= 664 Der Net Promoter Score gibt an, wie viel Prozent die Erhebung weiterempfehlen würden. Formel: % der Antworten 9 und 10 minus % der Antworten 0-6; Je höher der Score, desto höher der Netto-Empfehler-Score; Vergleichswert: Avatarstudie 2012 NPS im Schnitt 22%


Das offene Feedback war aber insgesamt (sehr) positiv

Tagcloud auf Basis der Antworten von n=662 Kandidaten


Kleines technisches Nebenproblem bei offenen Antworten Autocomplete Funktion als Problem der mobilen Befragung

Die ewige Geschlechtsabfrage war ziemlich nervig.

Die Idee, dass Großkonzerne zu benutzen finde ich sehr interessant.

http://www.autocompletefail.de

Offene Antworten in der Studie

http://www.autocompletefail.de/

Fazit Mobile Interviews in der Marktforschung

4

Interpretation der Erkenntnisse


Die vorgefundenen Ergebnisunterschiede tangieren verschiedene Dimensionen

Keine Effekte auf Daten bei Standardfragen

Vorsicht bei besonderen Methoden (AHP identische Ergebnisse; NPS völlig unterschiedliche Ergebnisse)

Mobileffekte eher umgekehrt als vermutet (offenere Antworten auf heikle Fragen außerhalb des Hauses)

Keine erkennbar positiven Erkenntnisse in Bezug auf Teilnahmebereitschaft, Gefallen der Studie etc. Die Studie wurde für die (erfahrenen) Umfrageteilnehmer nicht signifikant attraktiver

Mobile Geräte benötigen längere Antwortzeiten (Smartphone +36%; Tablet +23%) und verursachen daher höhere Kosten der Incentivierung als die Desktopversion. Aber: Mobile Befragungen fühlen sich kürzer an als sie sind

Abweichungen bei Desktop/Tablet sind eher erklärbar durch Faktoren der Besitzer als durch die Geräte selbst. Aber auch Touchpad vs. Maussteuerung


Gesamtbetrachtung der mobilen Erhebung als Trade-off Qualität – Kosten - Zeit

Qualität

Kosten Zeit

Qualität der Messung scheint keine Probleme zu bereiten

Konsistenz besser als auf PC Neue Methoden immer nur mit

technischen Hürden integrierbar

Zeitbedarf höher ohne daraus Erkenntnisgewinn zu erzielen

Zeitfenster der Befragung größer

Kosten höher aufgrund höherer Abbruchquoten und Zeitbedarf

Notwendigkeit der höheren Incentivierung der längeren Interviews


Frage nach der Validität einer Messung bleibt offen: Desktop/Laptop-Erhebung die reale Abbildung der Welt?

Validität klassischer Verfahren darf hinterfragt werden: Welche

Interaktionsform liefert das „wahre“ Ergebnis?

Warum sollte ein künstliches Desktop-Ambiente näher an der Realität

sein, als die mobile Erhebung vor Ort oder auf der eigenen Couch?

Drop-out Raten der Mobilgeräte erheblich höher

Smartphone erzeugt den höchsten Drop-out und längste

Antwortzeiten. Diese Effekte verursachen erhebliche Kosten

Sampling erschwert: Ein genaues Sampling der Gerätekategorie

erzeugt hohen Aufwand (=Kosten).

Zielgruppeneffekte des Sampling: Das genutzte Gerät ist keine

unabhängige Variable sondern eine Resultante aus Alter, Einkommen

und vielleicht sogar Geschlecht


Status Mobile Befragung 2013 Es funktioniert mit (technischen) Einschränkungen

Mobile Befragungen sind keine neue Kategorie, sondern nur eine besondere Form der Online-Befragung mit TOUCH Funktion

Obwohl die Befragung auf Smartphones erheblich länger ausfiel, wurde dies kaum bemängelt. Zeit ist eine Frage der Wahrnehmung

Unterschied der Antworten zwischen den Kategorien Laptop und Desktop überrascht mehr

Neue Problemphänomene der Wahrnehmungskonkurrenz. Eine hübsch designte Befragung kam auf PC sehr gut an. Die identische Befragung auf mobilen Geräten aber nur gut

Device Agnostik ist die Entwicklungsrichtung. Proprietäre Entwicklungen (Apps) bringen uns allerdings in die Steinzeit des Computerzeitalters zurück

Unterscheidung der Kategorien in Zukunft eher durch den Interaktionsmodus zu erklären (TOUCH vs DEVICE MEDIATED)

Danksagung

X


Durchführung Prof. Dr. Holger Lütters Hochschule für Technik und Wirtschaft Berlin Fachbereich 3 Treskowallee 8 10318 Berlin

[email protected]

Unser Dank gilt den Partnern, die diese Studie unterstützt haben

Unterstützer der Studie

www.panelbiz.com

www.pangealabs.com questfox® und Gyroscale® sind eine Entwicklung der pangea labs GmbH Schweiz und steht in www.questfox.com zur Verfügung




http://www.panelbiz.com/

http://www.pangealabs.com/

http://www.questfox.com/

device agnostic research sex drugs politics

Business