Begrepet “evidensbaserte tiltak” (tiltak med dokumentert effekt) har tradisjonelt blitt brukt i betydningen av tiltak som har vært dokumentert med den såkalte “gullstandarden”. Gullstandarden har vært, og er til dels ennå forbundet med RCT studier. Ulempen med kun å legge til grunn “gullstandarden” som eneste kriterium for evidens, er at resultater fra studier med en svakere forskningsdesign ikke anerkjennes. Tiltak med positive resulater fra disse studiene blir dermed vurdert på samme måte som tiltak uten noe dokumentasjon.

 

Å kun anerkjenne RCT som eneste gyldige design for å framskaffe evidens kan også ha den konsekvens at tiltaksutviklere kan miste motivasjonen til å gjennomføre effektevalueringer. RCT-studier er både ressurskrevende og noen ganger umulig å gjennomføre av praktiske eller etiske hensyn. I Ungsinn argumenterer vi derfor med at det er hensiktsmessig å ha et mer fleksibelt system for vurdering av et tiltaks evidens. Mindre omfattende  evalueringer gir indikasjoner på tiltakets effekter. Resultatene er ikke like sikre som ved en RCT-studie, men gir mer kunnskap om tiltakets potensielle effekter enn om ingen studier var gjennomført.

Foruten forskningsdesignet, har også andre aspekter ved forskningsmetodisk kvalitet stor betydning for hvor pålitelige resultatene fra forskningen er. En RCT-studie kan ha så store metodiske svakheter at det er umulig å konkludere med at tiltaket virker. På den annen side kan også ikke-randomiserte studier (kvasi-eksperimentelle studier) av høy kvalitet gi gode holdepunkter for si at tiltaket har effekt. Ved kun å legge vekt på forskningsdesignet i vurderingen av studien og ikke andre metodologiske aspekter, vil man dermed kunne gjøre en feilvurdering. Det er derfor nødvendig ikke bare å se på forskningsdesignet, men også på kvaliteten på gjennomføringen av forskningen.

Klassifisering i evidensnivåer

Ungsinn har derfor fem nivåer for evidens. Nivåene bygger på hverandre og inneholder krav til beskrivelse av tiltaket, krav til teoretisk rasjonale, krav om antall studier, krav til forskningsdesign, krav til metodekvalitet, krav til effekt, krav til oppfølging, og krav til implementeringsstrategi. For de laveste evidensnivåene, der det ennå ikke er utført effektstudier, vil forsknings- og evalueringskravene ikke være relevante.

 

Evidensnivåene rangert fra de enkleste til de mest omfattende er:

Nivå 1: Godt beskrevne tiltak

Nivå 2: Teoretisk begrunnede tiltak

Nivå 3: Tiltak med noe dokumentasjon på effekt

Nivå 4: Tiltak med tilfredsstillende dokumentasjon på effekt

Nivå 5: Tiltak med sterk dokumentasjon på effekt.

Nedenfor beskrives i detalj hvilke krav som stilles for de forskjellige evidensnivåene.

 

Nivå 1: Godt beskrevne tiltak

Tiltaket er grundig beskrevet og kan være virksomt. Det fremkommer hva som er målgruppe og målsettinger for tiltaket, hvordan tiltaket er organisert og hvilke metoder som benyttes.

Evidensnivå 1: Godt beskrevne tiltak
 Dimensjon  Krav
Beskrivelse av tiltaket Det finnes en tilfredsstillende beskrivelse av tiltaket med målsettinger, målgrupper, tiltaksarenaer, utforming og metoder.
Teoretisk rasjonale Det teoretiske rasjonalet for tiltaket er ikke beskrevet eller svakt beskrevet.
Antall effektstudier Det er ikke gjennomført effektevaluering av tiltaket.
Forskningsdesign Ikke relevant.
Forskningsmetodisk kvalitet Ikke relevant.
Effekt på sentrale mål Ikke relevant.
Oppfølgingsstudier Ikke relevant.
Implementeringskrav Ikke relevant.

 

 Nivå 2: Teoretisk begrunnede tiltak

I beskrivelsen av tiltaket fremkommer det hvordan metodene som benyttes antas å lede til målsettingene. Det er derfor sannsynlig at tiltaket er virksomt. De tenkte mekanismene for effekter er beskrevet og forankret i allment akseptert teori.

Evidensnivå 2: Godt beskrevne tiltak
 Dimensjon  Krav
Beskrivelse av tiltaket Det finnes en tilfredsstillende beskrivelse av tiltaket med målsettinger, målgrupper, tiltaksarenaer, metoder og forløp.
Teoretisk rasjonale Tiltaket har en generell forklaringsmodell for menneskelig atferd eller fungering i kombinasjon med refleksjoner om sammenhengen mellom tiltaket og utfall for målgruppen.
Antall effektstudier Det er ikke gjennomført effektevaluering av tiltaket.
Forskningsdesign Ikke relevant.
Forskningsmetodisk kvalitet Ikke relevant.
Effekt på sentrale mål Ikke relevant.
Oppfølgingsstudier Ikke relevant.
Implementeringskrav Ikke relevant.

 

Nivå 3: Tiltak med noe dokumentasjon på effekt

Det finnes indikasjon på at tiltaket kan være virksomt. Det er gjennomført enklere effektstudier av tiltaket i nordiske land, eller det finnes studier fra utlandet. Studiene kan ha metodiske svakheter som skaper usikkerhet om resultatene er reelle, eller det kan være usikkerhet på om resultatene fra utenlandske studier er overførbare til norske forhold.

Evidensnivå 3: Tiltak med noe dokumentasjon på effekt
 Dimensjon  Krav
Beskrivelse av tiltaket Det finnes en tilfredsstillende beskrivelse av tiltaket med målsettinger, målgrupper, tiltaksarenaer, utforming og metoder.
Teoretisk rasjonale Tiltaket har en velbegrunnet teori for de tenkte virkningsmekanismene. Teorien er direkte relatert til relevante utfallsvariabler som kan testes empirisk.
 Antall effektstudier Det foreligger én nordisk studie, internasjonal systematisk kunnskapsoppsummering om tiltakets effekt eller positiv vurdering av evidens av tiltaket i internasjonale kunnskapsdatabaser.
Forskningsdesign Studiene er utført med pre-postdesign, norm-  eller referansestudier. Kvalitative studier og kasusundersøkelser og single case studier der virkningen av tiltaket er undersøkt, kan inkluderes.
Forskningsmetodisk kvalitet Studien er gjennomført med tilfredsstillende metodisk kvalitet i henhold til designet som er valgt.
Effekt på sentrale mål Det er funnet effekter på hovedutfallsmål, sekundære utfallsmål eller rapportering av opplevd effekt fra relevante kvalitative studier.
Oppfølgingsstudier Ikke relevant
Implementeringskrav Ikke relevant

 

Nivå 4: Tiltak med tilfredsstillende dokumentasjon på effekt

Det er gjennomført nordiske effektstudier av tilfredsstillende kvalitet som gir gode indikasjoner på at tiltaket er virksomt tilbudt i Norge. Påliteligheten til forskningen er likevel ikke god nok til at man kan være sikker på at effektene som er funnet er forårsaket av selve tiltaket og ikke av andre faktorer. Det kan også være usikkerhet om effektene som ble funnet gjennom forskningen vil være de samme for tiltaket utøvd i vanlig praksis.

Nivå 4: Tiltak med tilfredsstillende dokumentasjon på effekt
 Dimensjon  Krav
Beskrivelse av tiltaket Det finnes en detaljert manual eller tilsvarende beskrivelse av tiltaket med målsettinger, målgrupper, tiltaksarenaer, utforming og metoder.
Teoretisk rasjonale Tiltaket har en velbegrunnet teori for de tenkte virkningsmekanismene. Den er empirisk basert og direkte relatert til relevante utfallsvariabler.
Antall effektstudier Det foreligger minst én nordisk studie.
Forskningsdesign Det er utført RCT effektstudier under ideelle betingelser eller studier med et kvasieksperimentelt design.
Forskningsmetodisk kvalitet Studien er gjennomført med tilfredstillende kvalitet for statistiske analyser, bruk av målinger samt vurdering av feilkilder, fidelity og ytre validitet. Metodisk kvalitet skal være skåret på minimum nivå 2 for de fleste metodologiske vurderingspunkter i Ungsinn.
Effekt på sentrale mål Effektstørrelser på hovedutfallsmål er oppgitt eller lar seg beregne.Det er funnet effekter på hovedutfallsmål eller på sekundære utfallsmål.
Oppfølgingsstudier Ikke relevant
Implementeringskrav Ikke relevant

 

Nivå 5: Tiltak med sterk dokumentasjon på effekt

Forskningen som er gjennomført har så god pålitelighet at det er grunn til å tro at effektene som er funnet er forårsaket av tiltaket og ikke av andre faktorer. Effektene som er funnet gjennom forskningen vurderes til å være betydningsfulle. Tiltaket har gode kvalitetssikringssystemer som gir sterk sannsynlighet for at effektene funnet gjennom forskning også vil foreligge i vanlig praksis.

Evidensnivå 5: Tiltak med sterk dokumentasjon på effekteffekt
 Dimensjon  Krav
Beskrivelse av tiltaket Det finnes en detaljert manual eller tilsvarende beskrivelse av tiltaket med målsettinger, målgrupper, tiltaksarenaer, utforming og metoder.
Teoretisk rasjonale Tiltaket har en velbegrunnet teori for de tenkte virkningsmekanismene. Den er empirisk basert og direkte relatert til relevante utfallsvariabler.
Antall effektstudier Det foreligger minst to studier der minst en av dem er nordisk.Ved kun én nordisk studie foreligger det i tillegg en internasjonal systematisk kunnskapsoppsummering om tiltakets effekt eller en positiv vurdering av tiltakets evidens  i en internasjonal kunnskapsdatabase.Minst én studie skal være utført av en uavhengig forskergruppe (dvs. uavhengig av tiltaksutvikler eller annen forskergruppe som har evaluert tiltaket).
Forskningsdesign Det finnes RCT effektivitetsstudier (naturlige betingelser) eller gode kvasieksperimentelle studier utført under naturlige betingelser (herunder longitudinelle kohortstudier).
Forskningsmetodisk kvalitet Studien er gjennomført med god kvalitet mht. statistiske analyser, bruk av målinger samt vurdering av feilkilder, fidelity og ytre validitet. Metodisk kvalitet skal være skåret på minimum nivå 3 i resultatdelen av Ungsinnartikkelen. 
Effekt på sentrale mål Effektstørrelser på hovedutfallsmål er oppgitt eller lar seg beregne.Det er store nok effekter på hovedutfallsmål til at forskjellene mellom gruppene (kohortene) vurderes å ha praktisk betydning. 
Oppfølgingsstudier Oppfølgingsmålinger av tiltakets effekt minst 6 måneder etter avsluttet intervensjon viser tilfredsstillende resultater. 
Implementeringskrav Tiltaket er klart for implementering/spredning. Det finnes kvalitetssikringssystemer som fremmer implementeringskvalitet og sannsynliggjør at resultatene fra forskningen opprettholdes i vanlig praksis.

 

Ønsket tilleggsdokumentasjon til Nivå 5: Tiltak med sterk dokumentasjon på effekt
For de best dokumenterte tiltakene vil det i tillegg til de kravene som er beskrevet, være ønskelig med mer enn ett års oppfølgingsmålinger, kostnad-nytteanalyser, implementeringsstudier, meta-analyser, supplerende kvalitative studier og mediatoranalyser.

Tiltak uten effekt eller med negativ effekt
Om det blir publisert studier som dokumenterer at tiltak ikke har noen effekt eller til og med har en negativ effekt vil tiltaket komme ut med en egen negativ klassifisering i Ungsinn. Det er imidlertid like viktig at denne dokumentasjonen er pålitelig på samme måte som når man dokumenterer positive effekter. Om et tiltak skal få negativ klassifisering må studiene som legges til grunn tilfredsstille metodekravene for evidensnivå 4 eller 5 (Tiltak med sterk dokumentasjon på effekt eller tiltak med tilfredsstillende dokumentasjon på effekt).

Spesielle forskningsdesign:
Det finnes flere mulige design for effektevaluering av tiltak. Dette kan for eksempel være avbrutte tidsseriedesign, multiple baselinedesign, N = 1 design. Erfaringene så langt i Ungsinn er at disse designene ikke er benyttet. Dersom fremtidige søk skulle avdekke slike typer studier, vil de bli  bedømt ut fra en vurdering av designets egnethet for å avdekke tiltakets effekt.

Teksten over er hentet fra Martinussen, M., Reedtz, C., Eng, H., Neumer, S.P., Patras, J.,
 & Mørch, W.T. (2016). Ungsinn − Kriterier og prosedyrer for vurdering og klassifisering
 av tiltak. Tromsø: Universitetet i Tromsø