Begrepet “evidensbaserte tiltak” (tiltak med dokumentert effekt) har tradisjonelt blitt brukt i betydningen av tiltak som har vært dokumentert med den såkalte “gullstandarden”. Gullstandarden har vært, og er til dels ennå forbundet med RCT studier. Ulempen med kun å legge til grunn “gullstandarden” som eneste kriterium for evidens, er at resultater fra studier med en svakere forskningsdesign ikke anerkjennes. Tiltak med positive resulater fra disse studiene blir dermed vurdert på samme måte som tiltak uten noe dokumentasjon.
Å kun anerkjenne RCT som eneste gyldige design for å framskaffe evidens kan også ha den konsekvens at tiltaksutviklere kan miste motivasjonen til å gjennomføre effektevalueringer. RCT-studier er både ressurskrevende og noen ganger umulig å gjennomføre av praktiske eller etiske hensyn. I Ungsinn argumenterer vi derfor med at det er hensiktsmessig å ha et mer fleksibelt system for vurdering av et tiltaks evidens. Mindre omfattende evalueringer gir indikasjoner på tiltakets effekter. Resultatene er ikke like sikre som ved en RCT-studie, men gir mer kunnskap om tiltakets potensielle effekter enn om ingen studier var gjennomført.
Foruten forskningsdesignet, har også andre aspekter ved forskningsmetodisk kvalitet stor betydning for hvor pålitelige resultatene fra forskningen er. En RCT-studie kan ha så store metodiske svakheter at det er umulig å konkludere med at tiltaket virker. På den annen side kan også ikke-randomiserte studier (kvasi-eksperimentelle studier) av høy kvalitet gi gode holdepunkter for si at tiltaket har effekt. Ved kun å legge vekt på forskningsdesignet i vurderingen av studien og ikke andre metodologiske aspekter, vil man dermed kunne gjøre en feilvurdering. Det er derfor nødvendig ikke bare å se på forskningsdesignet, men også på kvaliteten på gjennomføringen av forskningen.
Klassifisering i evidensnivåer
Ungsinn har derfor seks nivåer for evidens. Nivå 0 angir ingen effekt eller negativ effekt. Nivåene 1-5 bygger på hverandre og inneholder krav til beskrivelse av tiltaket, krav til teoretisk rasjonale, krav om antall studier, krav til forskningsdesign, krav til metodekvalitet, krav til effekt, krav til oppfølging, og krav til implementeringsstrategi. For de laveste evidensnivåene, der det ennå ikke er utført effektstudier, vil forsknings- og evalueringskravene ikke være relevante.
Evidensnivåene rangert fra de enkleste til de mest omfattende er:
Nivå 0: Uvirksomme tiltak
——————————————————————————————
Nivå 1: Godt beskrevne tiltak
Nivå 2: Teoretisk begrunnede tiltak
Nivå 3: Tiltak med noe dokumentasjon på effekt
Nivå 4: Tiltak med tilfredsstillende dokumentasjon på effekt
Nivå 5: Tiltak med sterk dokumentasjon på effekt.
Nedenfor beskrives i detalj hvilke krav som stilles for de forskjellige evidensnivåene.
Nivå 0: Uvirksomme tiltak
Det er utført effektstudier som viser at tiltaket ikke har noen effekt eller har uønskede effekter. Studiene er av god kvalitet slik at resultatene anses å være pålitelige.
Tiltak uten effekt eller med negativ effekt.
Om det er publisert studier som dokumenterer at tiltak ikke har noen effekt eller til og med har en negativ effekt, vil tiltaket komme ut med en egen negativ klassifisering i Ungsinn. Det er imidlertid like viktig at denne dokumentasjonen er pålitelig på samme måte som når man dokumenterer positive effekter. Om et tiltak skal få negativ klassifisering må studiene som legges til grunn tilfredsstille metodekravene for evidensnivå 4 eller 5 (Tiltak med sterk dokumentasjon på effekt eller tiltak med tilfredsstillende dokumentasjon på effekt).
Nivå 1: Godt beskrevne tiltak
Tiltaket er grundig beskrevet og kan være virksomt. Det fremkommer hva som er målgruppe og målsettinger for tiltaket, hvordan tiltaket er organisert og hvilke metoder som benyttes.
| Evidensnivå 1: Godt beskrevne tiltak | |
| Dimensjon | Krav |
| Beskrivelse av tiltaket | Det finnes en tilfredsstillende beskrivelse av tiltaket med målsettinger, målgrupper, tiltaksarenaer, utforming og metoder. |
| Teoretisk rasjonale | Det teoretiske rasjonalet for tiltaket er ikke beskrevet eller svakt beskrevet. |
| Antall effektstudier | Det er ikke gjennomført effektevaluering av tiltaket. |
| Forskningsdesign | Ikke relevant. |
| Forskningsmetodisk kvalitet | Ikke relevant. |
| Effekt på sentrale mål | Ikke relevant. |
| Oppfølgingsstudier | Ikke relevant. |
| Implementeringskrav | Ikke relevant. |
Nivå 2: Teoretisk begrunnede tiltak
I beskrivelsen av tiltaket fremkommer det hvordan metodene som benyttes antas å lede til målsettingene. Det er derfor sannsynlig at tiltaket er virksomt. De tenkte mekanismene for effekter er beskrevet og forankret i allment akseptert teori.
| Evidensnivå 2: Godt beskrevne tiltak | |
| Dimensjon | Krav |
| Beskrivelse av tiltaket | Det finnes en tilfredsstillende beskrivelse av tiltaket med målsettinger, målgrupper, tiltaksarenaer, utforming og metoder. |
| Teoretisk rasjonale | Tiltaket har en generell forklaringsmodell for menneskelig atferd eller fungering i kombinasjon med refleksjoner om sammenhengen mellom tiltaket og utfall for målgruppen. |
| Antall effektstudier | Det er ikke gjennomført effektevaluering av tiltaket. |
| Forskningsdesign | Ikke relevant. |
| Forskningsmetodisk kvalitet | Ikke relevant. |
| Effekt på sentrale mål | Ikke relevant. |
| Oppfølgingsstudier | Ikke relevant. |
| Implementeringskrav | Ikke relevant. |
Nivå 3: Tiltak med noe dokumentasjon på effekt
Det er gjennomført minst én nordisk effektstudie eller internasjonal kunnskapsoppsummeringer om tiltaket. De aktuelle studiene er gjennomført med et enklere forskningsdesign (f.eks. prepost), de er gjennomført med tilfredsstillende metodisk kvalitet og det er funnet effekter på noen av utfallsmålene. Det finnes med andre ord indikasjon på at tiltaket er virksomt, men det kan være usikkerhet knyttet til funnene eller om resultatene lar seg overføre til nordiske forhold.
| Evidensnivå 3: Tiltak med noe dokumentasjon på effekt | |
| Dimensjon | Krav |
| Beskrivelse av tiltaket | Det finnes en tilfredsstillende beskrivelse av tiltaket med målsettinger, målgrupper, tiltaksarenaer, utforming og metoder. |
| Teoretisk rasjonale | Tiltaket har en velbegrunnet teori for de tenkte virkningsmekanismene. Teorien er direkte relatert til relevante utfallsvariabler som kan testes empirisk. |
| Antall effektstudier | Det foreligger én nordisk studie, internasjonal systematisk kunnskapsoppsummering om tiltakets effekt eller positiv vurdering av evidens av tiltaket i internasjonale kunnskapsdatabaser. |
| Forskningsdesign | Studiene er utført med pre-postdesign, norm- eller referansestudier. Kvalitative studier og kasusundersøkelser og single case studier der virkningen av tiltaket er undersøkt, kan inkluderes. |
| Forskningsmetodisk kvalitet | Studien er gjennomført med tilfredsstillende metodisk kvalitet i henhold til designet som er valgt. |
| Effekt på sentrale mål | Det er funnet effekter på hovedutfallsmål, sekundære utfallsmål eller rapportering av opplevd effekt fra relevante kvalitative studier. |
| Oppfølgingsstudier | Ikke relevant |
| Implementeringskrav | Ikke relevant |
Nivå 4: Tiltak med tilfredsstillende dokumentasjon på effekt
Det er gjennomført minst én nordisk effektstudie med et godt forskningsdesign (RCT eller kvasieksperimentelt med kontrollgruppe). Minst én studie må ha tilfredsstillende metodisk kvalitet for de fleste aspekter og det er funnet effekter på utfallsmål for tiltaket. Dette gir gode indikasjoner på at tiltaket er virksomt, men det kan være usikkerhet om effektene som ble funnet gjennom forskningen vil være de samme for tiltaket utøvd i vanlig praksis.
| Nivå 4: Tiltak med tilfredsstillende dokumentasjon på effekt | |
| Dimensjon | Krav |
| Beskrivelse av tiltaket | Det finnes en detaljert manual eller tilsvarende beskrivelse av tiltaket med målsettinger, målgrupper, tiltaksarenaer, utforming og metoder. |
| Teoretisk rasjonale | Tiltaket har en velbegrunnet teori for de tenkte virkningsmekanismene. Den er empirisk basert og direkte relatert til relevante utfallsvariabler. |
| Antall effektstudier | Det foreligger minst én nordisk studie. |
| Forskningsdesign | Det er utført RCT effektstudier under ideelle betingelser eller studier med et kvasieksperimentelt design. |
| Forskningsmetodisk kvalitet | Minst én studie må være gjennomført med tilfredstillende kvalitet for statistiske analyser, bruk av målinger samt vurdering av feilkilder, fidelity og ytre validitet. Metodisk kvalitet skal være skåret på minimum nivå 2 i resultatdelen av Ungsinnartikkelen. |
| Effekt på sentrale mål | Effektstørrelser på hovedutfallsmål er oppgitt eller lar seg beregne.Det er funnet positive effekter på hovedutfallsmål eller på sekundære utfallsmål. |
| Oppfølgingsstudier | Ikke relevant |
| Implementeringskrav | Ikke relevant |
Nivå 5: Tiltak med sterk dokumentasjon på effekt
Det foreligger minst to nordiske studier (alternativt én nordisk og en internasjonal kunnskapsoppsummering om tiltaket). Forskningsdesignet som er brukt er godt (RCT eller kvasi-eksperimentelt med kontrollgruppe gjennomført under naturlige betingelser). Studiene er vurdert til å ha god metodisk kvalitet, og det er funnet effekter på tiltakets hovdeutfallsmål. Effektene som er funnet gjennom forskningen vurderes til å være betydningsfulle, samt holde seg over tid. Tiltaket har gode kvalitetssikringssystemer som gir sterk sannsynlighet for at effektene funnet gjennom forskning også vil foreligge i vanlig praksis. Det er sterk dokumentasjon på at tiltaket er virksomt utøvd i vanlig praksis i Norge.
| Evidensnivå 5: Tiltak med sterk dokumentasjon på effekt | |
| Dimensjon | Krav |
| Beskrivelse av tiltaket | Det finnes en detaljert manual eller tilsvarende beskrivelse av tiltaket med målsettinger, målgrupper, tiltaksarenaer, utforming og metoder. |
| Teoretisk rasjonale | Tiltaket har en velbegrunnet teori for de tenkte virkningsmekanismene. Den er empirisk basert og direkte relatert til relevante utfallsvariabler. |
| Antall effektstudier | Det foreligger minst to studier der minst én av dem er nordisk. Ved kun én nordisk studie må det i tillegg foreligge en internasjonal systematisk kunnskapsoppsummering om tiltakets effekt eller en positiv vurdering av tiltakets evidens i en internasjonal kunnskapsdatabase. Minst én studie skal være utført av en uavhengig nordisk forskergruppe (dvs. uavhengig av tiltaksutvikler eller annen forskergruppe som har evaluert tiltaket). |
| Forskningsdesign | Det finnes RCT effektivitetsstudier (naturlige betingelser) eller gode kvasieksperimentelle studier utført under naturlige betingelser (herunder longitudinelle kohortstudier). |
| Forskningsmetodisk kvalitet | Studien er gjennomført med god kvalitet mht. statistiske analyser, bruk av målinger samt vurdering av feilkilder, fidelity og ytre validitet. Metodisk kvalitet skal være skåret på minimum nivå 3 i resultatdelen av Ungsinnartikkelen. |
| Effekt på sentrale mål | Effektstørrelser på hovedutfallsmål er oppgitt eller lar seg beregne.Det er store nok effekter på hovedutfallsmål til at forskjellene mellom gruppene (kohortene) vurderes å ha praktisk betydning. |
| Oppfølgingsstudier | Oppfølgingsmålinger av tiltakets effekt minst 6 måneder etter avsluttet intervensjon viser tilfredsstillende resultater. |
| Implementeringskrav | Tiltaket er klart for implementering/spredning. Det finnes kvalitetssikringssystemer som fremmer implementeringskvalitet og sannsynliggjør at resultatene fra forskningen opprettholdes i vanlig praksis. |
Ønsket tilleggsdokumentasjon til Nivå 5: Tiltak med sterk dokumentasjon på effekt
For de best dokumenterte tiltakene vil det i tillegg til de kravene som er beskrevet, være ønskelig med mer enn ett års oppfølgingsmålinger, kostnad-nytteanalyser, implementeringsstudier, meta-analyser, supplerende kvalitative studier og mediatoranalyser.
Spesielle forskningsdesign:
Det finnes flere mulige design for effektevaluering av tiltak. Dette kan for eksempel være avbrutte tidsseriedesign, multiple baselinedesign, N = 1 design. Erfaringene så langt i Ungsinn er at disse designene ikke er benyttet. Dersom fremtidige søk skulle avdekke slike typer studier, vil de bli bedømt ut fra en vurdering av designets egnethet for å avdekke tiltakets effekt.