systemaattinen tutkimuskirjallisuuden käsittely -...

Systemaattinentutkimuskirjalli-

suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Systemaattinen tutkimuskirjallisuudenkäsittely

TIES501 Pro gradu -seminaari, kevät 2013

Antti-Juhani Kaijanaho

TIETOTEKNIIKAN LAITOS

30. tammikuuta 2013


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Luennoija

I Antti-Juhani KaijanahoI yliopistonopettaja ja tohtorikoulutettavaI pro gradu “The formal method known as B and a

sketch for its implementation” joulukuussa 2002http://users.jyu.fi/~antkaij/gradu.pdf

I Työn alla lisensiaatintyö työotsikollaIs it time for evidence-based programming languagedesign? A systematic scoping study of the empiricalliterature 1

1Valmistuu kevään kuluessa.

http://users.jyu.fi/~antkaij/gradu.pdf


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Tutkimusterminologiaa

primääritutkimus Tutkimus, jonka aineisto on kerättyhavainnoimalla tai mallittamalla (tms) itseilmiötä.

sekundääritutkimus Tutkimus, jonka aineistona onjoukko primääritutkimuksia.

tertiääritutkimus Tutkimus, jonka aineistona on joukkosekundääritutkimuksia.


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Kirjallisuuskatsaukset

I kuuluu jokaiseen opinnäytetyöhön jatutkimusraporttiin

I “teoriaosa”I “related work”

I perusteellisesti tehtynä myös itsenäinen(sekundääri)tutkimus

I Tehtävät:I tarkastella aiheesta julkaistuja

primääritutkimusraporttejaI muodostaa kokonaiskuva siitä, mitä aiheesta jo

tiedetäänI tutkielmassa lisäksi osoittaa tutkielman paikka alan

tietämysverkossa (esim. osoittaa aiemmantutkimuksen jättämä aukko, jonka tutkielma pyrkiitäyttämään)


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Perinteinen kirjallisuuskatsaus

I kertomus, jota tuetaan lähdeviitteilläI seuraavia asioita ei dokumentoida:

I Miksi juuri nämä lähteet?I Millä tavalla lähteistä on päädytty tähän

kertomukseen?I Miten tekijä on varmistanut, ettei tarinasta ole jäänyt

mitään olennaista pois?I heikkouksia:

I Helppo (vahingossakin) tehdä värittynyt kertomus,joka ei vastaa todellisuutta.

I Lukija ei voi itsenäisesti vakuuttua johtopäätöstenoikeellisuudesta.


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Systemaattiset katsaukset

I engl. systematic literature review, SLRI alun perin terveys- ja yhteiskuntatieteissä

1980-luvulta alkaenI Cochrane CollaborationI Campbell Collaboration

I ohjelmistotekniikan alalle 2000-luvun puolivälissäI katsausprosessi suunnitellaan, dokumentoidaan,

tarkastetaanI tarkoituksena selvittää (tutkimuskirjallisuuden

pohjalta) vastaus johonkin käytännön kannaltarelevanttiin kysymykseen

I liittyy myös laajempaan liikkeeseen:evidence-based practice

I evidence-based medicine (EBM)I evidence-based software engineering (EBSE)I . . .


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Systemaattiset kartoitukset

I engl. systematic mapping2 studyI prosessi samankaltainen kuin systemaattisissa

katsauksissaI tarkoituksena selvittää tutkimuskirjallisuuden

nykytilaI tuloksena eräänlainen kartta tutkimuskirjallisuuteen

2tai scoping


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Meta-analyysit

I Meta-analyysi on tilastollinen menetelmäperhesaman aiheen (tilastollisten) tutkimusten tulostenyhdistämiseen.

I Alun perin Gene V. Glass: Secondary, andMeta-Analysis of Research. Educational Researcher5 (10), pp. 3–8, 1976.

I Meta-analyysiksi kutsutaan usein myös(systemaattista) katsausta, joka soveltaameta-analyysin menetelmiä.

I Joskus meta-analyysiksi kutsutaan (virheellisesti)myös muunlaisia katsauksia.


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Metodilähteitä

I Barbara Kitchenham & Stuart Charters: Guidelines forperforming Systematic Literature Reviews in SoftwareEngineering. Version 2.3, 9.7.2007.http://www.dur.ac.uk/ebse/resources/guidelines/Systematic-reviews-5-8.pdf

I Austen Rainer & Sarah Beecham: SupplementaryGuidelines, Assessment Scheme and evidence-basedevaluations of the use of Evidence Based SoftwareEngineering. Version 2.0 draft, 2008. http://www.dur.ac.uk/ebse/resources/guidelines/EBSE_supplementary_guidelines_v2.0_DRAFT.pdf

I Kai Petersen, Robert Feldt, Shahid Mujtaba & MichaelMattsson: Systematic Mapping Studies in SoftwareEngineering. Proc. 12th International Conference onEvaluation and Assessment in Software Engineering(EASE), 2008.http://www.bcs.org/content/conWebDoc/19543

http://www.dur.ac.uk/ebse/resources/guidelines/Systematic-reviews-5-8.pdf

http://www.dur.ac.uk/ebse/resources/guidelines/Systematic-reviews-5-8.pdf

http://www.dur.ac.uk/ebse/resources/guidelines/EBSE_supplementary_guidelines_v2.0_DRAFT.pdf



http://www.bcs.org/content/conWebDoc/19543


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

ProtokollaI Systemaattiset katsaukset ja kartoitukset pitää

suunnitella ennen tekemistä.I suunnitelmaa kutsutaan protokollaksiI tekstiä voi käyttää uudelleen raportointivaiheessa

I Myös muut kirjallisuuskatsaukset on hyväsuunnitella etukäteen soveltuvin osin.

I Protokollan sisältö:3

1. tausta2. tutkimuskysymykset3. hakustrategia4. valintakriteerit5. valintakäytänteet6. laatuarvioinnin suunnitelma7. tiedonkeruun suunnitelma8. synteesin suunnitelma9. julkaisusuunnitelma

10. aikataulu

3Kitchenham & Charters 2007, s. 13.


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Tutkimuskysymykset katsauksissa

I yksi mahdollinen perusrakenne:4 Saavuttaako Isovellettuna P:hen C’:ssa paremmman O:n kuin C?

I P (population): keitä tutkittava asia koskee?I I (intervention): mitä menetelmää, tekniikkaa,

käytäntöä tms. tutkitaan?I C (comparison): mihin interventiota verrataan?I O (outcome): mitä hyvyyden/huonouden mittaria

käytetään?I C’ (context): missä yhteydessä interventiota

tutkitaan?

I Kuvitteellinen esimerkki: Tuottavatko ensimmäisenvuoden tietotekniikan opiskelijatalkeisohjelmointikurssin harjoitustyön nopeamminC#:lla kuin Javalla? (Mitkä ovat PICOC’?)

4ks. Kitchenham & Charters 2007, s. 11


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Esimerkkejä

I “[W]hether, and if so when, pairing twoprogrammers is beneficial in terms of important costdrivers such as duration, effort, and quality.”5

I “Do . . . studies suggest that using robotics to teachintroductory programming is effective?”6

5Jo E. Hannay, Tore Dybå, Erik Arisholm & Dag I. K. Sjøberg: Theeffectiveness of pair programming: A meta-analysis. Information andSoftware Technology 51 (7) pp. 1110–1122, 2009.doi:10.1016/j.infsof.2009.02.001

6L. Major, T. Kyriacou & O. P. Brereton: Systematic Literature Review:Teaching Novices Programming Using Robots. Proc. 15th Annual Conferenceon Evaluation & Assessment in Software Engineering (EASE 2011).doi:10.1049/ic.2011.0003

http://dx.doi.org/10.1016/j.infsof.2009.02.001

http://dx.doi.org/10.1049/ic.2011.0003


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Tutkimuskysymykset kartoituksissa

I Kartoituksessa tutkimuskysymyksen populaatio ontutkimuskirjallisuus.

I Mikä on aiheesta tehtyjen tutkimusten määrä?I Minkälaisia menetelmiä aiheesta tehdyissä

tutkimuksissa on käytetty?I Mitä interventioita aihepiirin tutkimuksissa on

tutkittu?I . . .


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Esimerkkejä

I “[W]hich functionalities/features/characteristics of[high-level language virtual machines] have beenmost investigated?”7

I “How much has the efficacy of particularprogramming language design decisions beenempirically studied?”8

I “How has the success in teaching discrete structurescourses been evaluated [in research papers on thetopic]?”9

7Vinicius H. S. Durelli, Katia R. Felizardo, and Marcio E. Delamaro: ASystematic Mapping Study on High-level Language Virtual Machines.Proc. VMIL 2010. doi:10.1145/1941054.1941058

8Antti-Juhani Kaijanaho: Empirical evidence regarding programminglanguage design issues. Systematic mapping study protocol, 2010–2013.

9Thomas Whelan, Susan Bergin & James F. Power: Teaching DiscreteStructures: A systematic review of the literature. Proc. SIGCSE 2011.doi:10.1145/1953163.1953247

http://dx.doi.org/10.1145/1941054.1941058

http://dx.doi.org/10.1145/1953163.1953247


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Protokollan varmennus

I Protokolla on hyvä pilotoida.I Tehdään tutkimus kertaalleen protokollan

mukaisesti pienemmällä aineistolla.I Esim. tehdään kaikki haut mutta lopetetaan haku

heti kun on löydetty muutama soveltuva tutkimus.I Kirjataan ylös esiintyneet ongelmat ja korjataan

protokolla.I Protokolla on hyvä antaa kokeneemman tutkijan

arvioitavaksi.I Ehdottomasti työn ohjaajat ainakin.I Mutta myös joku menetelmää tunteva laitokselta.I Ideaalitapauksessa käytetään myös ulkopuolisia

arvioijia, mutta se lienee graduvaiheessa tarpeetonta.

I Gradutyössä: kiinnitä huomiota työmääränrajallisuuteen!


suudenkäsittely

Johdanto

Protokolla

HakumenetelmätSelailu

Avainsanahaut

Lumipallohaku

Saanti

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Kirjallisuushaut

I Haut on hyvä suunnitella protokollassa tarkasti, japilotoida.

I Haut tulee tehdessä dokumentoida:I niin tarkasti että joku toinen voisi tehdä saman haun

ja saada toivottavasti saman tuloksenI mistä, miten ja milloin haettiinI koko tulosjoukko, jos mahdollistaI mahdolliset poikkeamat protokollasta


suudenkäsittely

Johdanto

Protokolla


Avainsanahaut

Lumipallohaku

Saanti

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Selailu

I erittäin hyvä (ja erittäin työläs) systemaattinenhakumenetelmä

I mennään kirjastoon (tai julkaisijan tietokantaan) jaluetaan jonkin lehden (tai proceedings-sarjan) kaikkinumerot läpi

I yleensä tosin vain otsikot ja abstraktit

I perustellusta syystä voidaan rajata vain tiettyynvuosiin


suudenkäsittely

Johdanto

Protokolla


Avainsanahaut

Lumipallohaku

Saanti

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Avainsanahaut

I haetaan hakukoneella käyttäen sopivaahakulauseketta

I lauseke ja käytettävät hakukoneet suunniteltavaprotokollassa ja ehdottomasti pilotoitava!

I Koeta laatia haut siten, että et joudu kerrallaistumaan koneella kovin pitkään.

I muutama sata osumaa kerralla

I Jos mahdollista, tallenna koko hakutulos omallekoneellesi (harvoin onnistuu).

I Pilotoinnissa käy läpi enintään muutama kymmenenosumaa.

I Varsinaisesti tehdessäsi käy koko hakutulosjoukkoläpi.


suudenkäsittely

Johdanto

Protokolla


Avainsanahaut

Lumipallohaku

Saanti

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Hakulausekkeen laatiminen

I lähtökohtana tutkimuskysymysI valitse kysymyksen keskeiset käsitteet ja yhdistä ne

JA-operaattorillaI yritä löytää kullekin käsitteelle sellaiset synonyymit,

joita uskoisit relevanteissa tutkimuksissa esiintyvän,ja yhdistä ne TAI-operaattorilla

I lähtökohtana jo tietämäsi artikkelitI laadi lauseke, joka löytää ne kaikki ja jonkin verran

muitakin

I . . .I Pilotoinnissa tsekkaa, ettet laadi itsellesi liian isoa

urakkaa!I Jos näin käy, tee tutkimuskysymykseen jokin rajaus

(esim. rajoita vuosia joita tarkastelet).


suudenkäsittely

Johdanto

Protokolla


Avainsanahaut

Lumipallohaku

Saanti

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Hyviä koneita avainsanahakuun

I Google Scholar http://scholar.google.comI Scopus http://www.scopus.com/I IEEE Xplore http://ieeexplore.ieee.org/I ACM Digital Library http://dl.acm.org/I SpringerLink http://www.springerlink.com/

http://scholar.google.com

http://www.scopus.com/

http://ieeexplore.ieee.org/

http://dl.acm.org/

http://www.springerlink.com/


suudenkäsittely

Johdanto

Protokolla


Avainsanahaut

Lumipallohaku

Saanti

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Lumipallohaku

I Etsi jo löytämiesi relevanttien artikkeleidenlähdeluettelosta relevantteja artikkeleita.

I Hae ACM Digital Librarysta, Google Scholarista taiScopuksesta relevantteja artikkeleita, jotka viittaavatjo löytämiisi artikkeleihin.

I Toista kunnes et enää löydä lisää relevanttejaartikkeleita.


suudenkäsittely

Johdanto

Protokolla


Avainsanahaut

Lumipallohaku

Saanti

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

BibliografiatiedotI Tallenna jokaisesta valitsemastasi jutusta vähintään

seuraavat tiedot:I tekijätI otsikkoI julkaisuvuosiI haku, jolla löysitI julkaisupaikka

I lehden nimi, volyymi, numero, sivunumerotI proceedings-julkaisun nimi, sivunumerotI kirjan julkaisija

I DOI, jos tiedossaI URL, jos tiedossa ja ei ole DOIta

I DOI on muutettavissa (yleensä) toimivaksi URL:ksi:I doi:foo/bar → http://dx.doi.org/foo/bar

I Käytä apuohjelmia, käsin menee liikaa aikaa!I Tiedot saa aika usein hakukoneelta koneluettavassa

muodossa (esim. BibTEX).I Ei aina oikein, joten tarkasta!


suudenkäsittely

Johdanto

Protokolla


Avainsanahaut

Lumipallohaku

Saanti

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Kokoteksti

I Kokotekstin saa yleensä suoraan netistä.I Kannattaa käyttää julkaisijan palvelua jos

mahdollista.I Jos ei suoraan onnistu, kokeile Nelliportaalin kautta.I Myös tekijän kotisivuilta voi löytyä versio, mutta se

ei välttämättä ole sama kuin julkaistu versio.I Tallenna kopio itsellesi tai ota tuloste.

I Merkitse ylös (bibliografiatietoihin) tallennus- taitulostuspäivä (“viitattu 21.9.2011”).

I Jos ei ole netissä, katso JYKDOKista ja MELINDAsta.I Myös WorldCat (http://www.worldcat.org/)

voi olla hyödyksi.I Tarvittaessa tee kaukolainatilaus (maksullinen).

http://www.worldcat.org/


suudenkäsittely

Johdanto

Protokolla


Avainsanahaut

Lumipallohaku

Saanti

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Haut ja kokoteksti yliopiston ulkopuolella

I Yliopiston verkon ulkopuolelta yrittäessäkokotekstiä ei yleensä saa ja hakuominaisuudetkinon usein rajoitettuja.

I Käytä tällöin yliopistonI VPN-palvelua taiI EZproxy-palvelua http://ezproxy.jyu.fi/

http://ezproxy.jyu.fi/


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Valinta

I Hakutuloksissa on yleensä myös irrelevantteja taimuuten tutkimukseen sopimattomia osumia.

I Valintakriteerit (mukaan vaiko ei) pitää ehdottomastisuunnitella protokollassa ja mielellään pilotoida.

I Kriteerit jaetaan usein hyväksyntäkriteereihin(inclusion criteria) ja hylkäyskriteereihin (exclusioncriteria), mutta näiden termien tulkinta vaihtelee.

I Oma tulkintani: ehdokas otetaan mukaan, jos setäyttää ainakin yhden hyväksyntäkriteerin eikäyhtään hylkäyskriteeriä

I Hylkäyspäätös pitää dokumentoida.


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Hyväksyntäkriteerit

I perustuvat yleensä hyväksyttävien artikkelienpääsisältöön

I hyvä hyväksyntäkriteeri on selkeä ja helpostisovellettavissa

I esimerkkejä:I “Primary studies [...] in the form of experiments,

surveys, case studies, experience reports andobservation papers, representing empirical analysisof aspects of the UML.”10

I “Primary studies that attempt to determine theefficacy of a programming language designdecision”11

10D. Budgen, A. J. Burn, O. P. Brereton, B. A. Kitchenham & R. Pretorius:Empirical evidence about the UML: a systematic literature review. Software –Practice and Experience 41 pp. 363–392, 2011. doi:10.1002/spe.1009

11Kaijanaho 2010–2013.

http://dx.doi.org/10.1002/spe.1009


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Hylkäyskriteerit

I kuvaavat poikkeuksia tai tarkennuksiahyväksyntäkriteereihin

I esim. julkaisun kieli (kannattaako gradua vartenostaa jonkin artikkelin käännös kiinasta suomeen?)

I esimerkkejä:I “Letters, editorials and position papers”12

I “Primary studies that attempt to determine theefficacy of a programming language designdecision”13

I “[S]tudies that focused on single techniques orpractices [of agile development], such as pairprogramming, unit testing, or refactoring”14

12Major ym. 201113Kaijanaho 2010–201314Tore Dybå & Torgeir Dingsøyr: Empirical studies of agile software

development: A systematic review. Information and Software Technology 50pp. 833–859, 2008. doi:10.1016/j.infsof.2008.01.006



suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Valintaprosessi

I määriteltävä protokollassa, hyvä pilotoidaI yleensä monivaiheinen:

1. Hakujen yhteydessä valitaan kaikki joiden hylkäys eiole itsestään selvää. (Jos hakujen tulosjoukkotallennetaan, tämä vaihe ei ole välttämätön.)

2. Hakutuloksista valitaan kaikki, joiden hylkäys ei olehelppo päätös.15

3. Luetaan edellisen vaiheen valitsemat artikkelit läpi jatehdään lopulliset valinnat.

I Parasta olisi, jos valinnan tekisi vähintään kaksitutkijaa toisistaan riippumatta.

I Graduvaiheessa voi antaa satunnaisotoksenohjaajalle riippumatonta valintapäätöstä varten.

I Lasketaan ja dokumentoidaan κ16

I Eriävät päätökset ratkaistaan neuvottelemalla.

15Voidaan myös rajoittua tarkastelemaan pelkkiä metatietoja, mutta tämäon ainakin SE-linjalla yleensä ajanhukkaa.

16Ks. http://en.wikipedia.org/wiki/Kappa_statistics

http://en.wikipedia.org/wiki/Kappa_statistics


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Tiedonkeruu

I Tiedonkeruu valituista lähteistä pitää suunnitellaprotokollassa ja pilotoida.

I Kerää riittävästi tietoa, jotta voit vastatatutkimuskysymyksiisi.

I Myös tiedonkeruussa on hyvä käyttää kahdentutkijan (tai satunnaisotannan ja ohjaajan)menetelmää.

I Ks. Kitchenham & Charters 2007 ss. 29–34.


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Synteesi

I Synteesi eli miten kerätystä tiedosta johdetaanvastaukset tutkimuskysymyksiin pitää suunnitellaprotokollassa.

I Synteesi on hyvä pilotoida.I Menetelmiä on paljon, mm.

I perinteinen kertomussynteesiI tilastollinen visualisointiI tilastollinen meta-analyysiI meta-etnografia17

I grounded theoryI Ks. mm.

Daniela S. Cruzes & Tore Dybå: Research synthesis insoftware engineering: A tertiary study. Informationand Software Technology 53 pp. 440–455, 2011.doi:10.1016/j.infsof.2011.01.004

17Ks. esim. Dybå ym. 2008.



suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Yksi vaihtoehto: Temaattinen synteesi

I Daniela S. Cruzes & Tore Dybå: Recommended Stepsfor Thematic Synthesis in Software Engineering. ProcESEM 2011. doi:10.1109/ESEM.2011.3618

I Kuusi vaihetta:1. Lue kaikki mukaan valitut lähteet ennen kuin jatkat

seuraavaan vaiheeseen.2. Kirjoita ylös joka lähteestä sen raportoiman

tutkimuksen tavoitteet, tutkimuskonteksti ja tulokset(suorina lainauksina).

3. Koodaa ylös kirjoittamasi tiedot eli anna niillekategorisoivia, yhteen vetäviä tai selittäviä nimiä.

4. Etsi koodaamistasi tiedoista yhdistäviä tai tulkitseviateemoja. Kuviot ovat kivoja tässä.

5. Palaa tutkimuskysymyksiisi ja luo teemoista malli,joka auttaa vastaamaan kysymyksiisi.

6. Arvioi synteesisi luotettavuus.

18Jos aiot oikeasti soveltaa temaattista synteesiä, lue ko. lähde ensin!

http://dx.doi.org/10.1109/ESEM.2011.36


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

RaportointiI raportti on esim. gradu tai sen osaI sisältää:

I taustaaI osin tai kokonaan protokollasta

I menetelmätI mitä protokollan mukaan piti tehdäI mitä oikeasti tehtiin (poikkeamat protokollasta)I tilastotietoa prosessista

I tuloksetI protokollassa suunnitellun synteesin esitys

I pohdintaI vastaukset tutkimuskysymyksiinI työn onnistumisen arviointiI vähän voi spekuloidakin

I raportin liitteeksiI luettelo hylätyistä ehdokasartikkeleista

hylkäyssyineenI mahdollisesti protokolla sellaisenaan


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Prosessin dokumentointi gradussa

I Huomaa, että kaikki tutkimusprosessissa kertyneetmuistiinpanot eivät kuulu graduun (kuinkorkeintaan liitteeksi).

I Kerro mitä teit ja miksi sekä anna tilastotietojaprosessista.

I Laita raporttiin näytteitä prosessisi aikanakertyneistä muistiinpanoista, jos se parantaa työnläpinäkyvyyttä.

I Talleta muistiinpanosi ja kertyneet välivaiheen datatluotettavasti, jotta voit vuosia myöhemmintarvittaessa puolustautua graduasi kohtaanmahdollisesti esitettäviä syytöksiä vastaan.

I vrt. dosentti Bäckmanin väitöskirjasta syksyllänoussut kohu


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Muista varoa plagiointiaI Jos käytät enimmäkseen samoja sanoja suunnilleen

samassa järjestyksessä kuin lähteesi, kyse onlainauksesta ja se tulee merkitä sellaiseksi.

I Käytä lainausmerkkejä tai sisennä lainattu kappale.I Kaikki erot alkuperäisen lähteen ja lainauksen

välillä, myös kirjainkoon muutokset, on merkittävänäkyviin.

I Tarkka lähdeviite (sivunumeron kanssa!) onvälttämätön.

I Jos sanot saman asian kuin lähde mutta et käytäsamoja sanoja, kyse on parafraasista. Älä silloinkäytä lainausmerkkejä. Muista kuitenkin tarkkalähdeviite.

I Jos vetoat lähteeseen muulla tavoin, muistalähdeviite.

I Plagiointi on vakava akateeminen rike ja voi johtaaesimerkiksi tutkielman hylkäämiseen.


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

SLR ym gradussa tai graduna

I SLR voi olla yksinään gradu!I SLR-menetelmää voi myös käyttää gradun

teoriaosan laatimisen apuna.I Systemaattinen katsaus tai kartoitus on kunnolla

tehtynä erittäin työläs.I oma työni:

I protokollan kirjoittaminen alkoi lokakuussa 2010I toteutus alkoi joulukuussa 2010I nyt täydennyshakujen aiheuttamassa toisessa

valintakierroksessaI toki on ollut opetuksesta ja lomista johtuvia taukoja

I Tekniikoita voi käyttää gradussa, mutta protokollaalaatiessa pitää kiinnittää erityinen huomiotyömäärän rajoittamiseen. Esim:

I Rajataan tarkastelu vain esim. viimeiseen 5 vuoteen.I Tehdään ja raportoidaan pelkkä pilotointi.


suudenkäsittely

Johdanto

Protokolla

Hakumenetelmät

Valinta

Valinnan jälkeen

Raportointi

Lopuksi

Luettavaa

I Aiemmin mainitut metodilähteet.I Andy Oram & Greg Wilson (eds): Making Software:

What Really Works, and Why We Believe It. O’Reilly2011.

I Gordon C. S. Smith & Jill P. Pell: Hazardousjourneys: Parachute use to prevent death and majortrauma related to gravitational challenge: systematicreview of randomised controlled trials. BMJ327:1459, 2003. doi:10.1136/bmj.327.7429.1459

I John P. A. Ioannidis: Why Most Published ResearchFindings Are False. PLoS Medicine 2 (8) e124, 2005.doi:10.1371/journal.pmed.0020124

http://dx.doi.org/10.1136/bmj.327.7429.1459

http://dx.doi.org/10.1371/journal.pmed.0020124

systemaattinen tutkimuskirjallisuuden käsittely -...

Documents