Sammendrag

BAKGRUNN
MITT VALG er en norsk tilpasset versjon av det universelt forebyggende undervisningsprogrammet Lions Quest som er utviklet i USA. MITT VALG er beskrevet som et livsmestringsprogram med fokus på sosial og emosjonell læring, psykisk helse, kritisk tenkning og faglig utvikling. Denne oppsummeringen tar for seg opplæringsprogrammet MITT VALG for ungdomskolen. MITT VALG eies av Stiftelsen Det er mitt valg, opprettet av Lions Norge.

METODE
Denne oppsummeringen bygger på et systematisk litteratursøk i databasene Embase, Medline, Psykinfo, NORART, Cochrane, Cristin, NORA, SCOPUS og SweMed. Det er også søkt i internasjonale kunnskapsdatabaser om evidens samt innhentet informasjon om tiltaket fra tiltakseier. Litteratursøk og annen innhentet informasjon ble gjennomgått for å identifisere nordiske effektstudier, internasjonale oppsummeringsstudier og eventuelt andre norske studier om tiltaket.

RESULTATER
Resultatene består av en vurdering av tiltakets beskrivelse, foreliggende effektstudier, forskningsmetodisk kvalitet og implementeringskvalitet. MITT VALG er godt beskrevet og begrunnet, og tiltakseier tilbyr noe implementeringsstøtte. Det er gjennomført én norsk effektstudie, men resultatene på de fleste utfallsmål viser ikke effekt av programmet. Studien er mangelfullt rapportert og det er uklart hvilke av utfallsmålene som er mest sentrale for tiltaket effektivitet. MITT VALG har vært under revisjon vår 2020, noe som ytterligere svekker effektstudiens relevans.

KONKLUSJON
MITT VALG klassifiseres på evidensnivå 2 – Teoretisk begrunnede tiltak.

Innledning

Bakgrunn

Psykiske vansker er når barn og unge har symptomer som påvirker funksjonsnivå og hverdagslige fungering, men ikke i den grad og utstrekning at de kan karakteriseres med diagnose. Ved psykiske lidelser er symptombelastningen så høy og av en slik karakter at det kan stilles diagnose (Reneflot mfl., 2018). Ifølge Helsedirektoratet har til enhver tid mellom 15 og 20 % av barn og unge i Norge nedsatt funksjon på grunn av psykiske helseplager, og omtrent 8 % av disse har en diagnostiserbar psykisk lidelse (Gjerustad, Smedsrud & Federici, 2019). Opp mot 20 % av barn i tidlig skolealder i Norge opplever psykiske helseplager, og for mange vil disse symptomene vedvare over tid (Heiervang mfl., 2007). Psykiske helseplager hos barn unge påvirker deres tanker, følelser, atferd, væremåte og omgang med andre, og kan også påvirke elevenes skoleprestasjoner negativt og medføre til større risiko for frafall i skolen og lavt utdanningsnivå på sikt (Holen & Waagene, 2014). Manglende utdanning er relatert både til individuelle og samfunnsmessige konsekvenser, som for eksempel dårlig helse og økt bruk av sosiale velferdsordninger og stønader (Rumberger, 2011).

Barn og unge tilbringer mye tid på skolen og et økende fokus på elevenes psykiske helse i skolen gjør at skolen dermed anses som en ideell implementeringsarena for tiltak for å forebygge utvikling av psykiske vansker og lidelser (Major mfl., 2011). Ifølge opplæringsloven skal skolen bidra til et trygt og godt skolemiljø som fremmer helse, trivsel og læring og legge til rette for at elevene utvikler sosiale ferdigheter som samarbeid, selvkontroll, ansvar og empati for andre. Dette er manifestert blant annet i sentrale føringer som regjeringens strategi for god psykisk helse (2017–2022) (Helse- og omsorgsdepartementet, 2017), opptrappingsplan for barn og unges psykiske helse 2019–2024 (Helse- og omsorgsdepartementet, 2019) og i revidert læreplan for grunnopplæringen (Utdanningsdirektoratet, 2020).

Beskrivelse og materiell

MITT VALG er den norske tilpassede og tilrettelagde versjonen av programmet Lions Quest som er utviklet i USA. MITT VALG er beskrevet som et livsmestringsprogram med fokus på sosial og emosjonell læring, psykisk helse, kritisk tenkning og faglig utvikling. MITT VALG tilbyr ulike programmer rettet mot ansatte i barnehagen, lærere i grunnskolen eller lagledere i idrettslag. De ulike programmene inkluderer grunnpakker, temabaserte kurs og egne opplegg i tilknytning til foreldremøter. Grunnpakkene inkluderer kursmoduler, informasjonsmøte og oppfølgingssamtale og lisens til digital plattform med undervisningsmateriell. MITT VALG har i tillegg et eget opplæringskurs om «Kroppen min og jeg» rettet mot ansatte i barnehagen og barne- og ungdomsskolen, enten som en integrert del av de ordinære programmene eller som et eget opplæringskurs uavhengig av de ordinære programmene. De ulike programmenes innhold, praktiske gjennomføring og kostnader er beskrevet på MITT VALGs hjemmeside, determittvalg.no.

MITT VALG for ungdomsskolen
Denne oppsummeringen tar for seg MITT VALGs undervisningsprogram rettet mot elever 8.–10. trinn i ungdomsskolen. Fra 2016 til 2018 mottok ansatte i 328 skoler opplæring i programmet (informasjon fra tiltakseier). Vår oppsummering er gjort etter en del programoppdateringer gjennomført våren 2020.

I undervisningsprogrammet rettet mot elever i ungdomsskolen er undervisningsøktene til dels forankret i Læreplanverkets overordnede del, i det tverrfaglige temaet «Folkehelse og livsmestring» og i de ulike kompetansemålene for fagene. Undervisningsprogrammet er tilgjengelig via en digital plattform og inkluderer 10 hovedkapitler hvor hvert kapittel har flere underdeler/undervisningsøkter. Kapittel 1 beskriver undervisningsprogrammets rammeverk med forankring til opplæringsloven, hovedtemaenes teoretiske forankring og faglige forankring for implementering. Kapittel 2 inkluderer pedagogisk grunnlag og prinsipper og gjennomføring av undervisningsøktene i klasserommet. Fra og med kapittel 3 starter selve undervisningsøktene som er rettet mot elevene med en introduksjon til programmet. Kapitlene 4–10 tar for seg øvrige hovedtema i rekkefølge som skissert under. For hver undervisningsøkt er det oppgitt definerte mål og en struktur for den praktiske gjennomføringen av økten.

Undervisningsøkter

• Rammeverk – 13 deler
• Pedagogisk grunnlag og praktisk anvendelse – 3 deler
• Utvikling av skolemiljøet – 9 undervisningsøkter
• Psykisk helse – 8 undervisningsøkter
• Kritisk tenkning – 7 undervisningsøkter
• Personlig utvikling – 8 undervisningsøkter
• Sosialt ansvar – 4 undervisningsøkter
• Digital dømmekraft – 5 undervisningsøkter
• Rus og avhengighet – 10 undervisningsøkter
• Internasjonale eksempler (engelsk, «How to cope with stress») – Antall undervisningsøkter ikke oppgitt

Undervisningsprogrammet om «Kroppen min og jeg» er delt inn 6 hovedkapitler, hvor 3 av kapitlene er felles for barnehagen, barne- og ungdomsskolen: 1) Pedagogisk grunnlag og praktisk anvendelse, 2) Introduksjon og 3) Faglige ressurser. I tillegg er det et hovedkapittel for barnehagen, et til barneskolen og et til ungdomsskolen. Kapittelet for ungdomsskolen har 18 undervisningsøkter om «Kroppen min og jeg». I tilknytning til undervisningsprogrammene er det også utarbeidet en egen aktivitetsbolk med 8 kapitler som inneholder ulike aktiviteter tiltenkt benyttet i forbindelse med undervisningsøktene, for eksempel bli-kjent-øvelser, par- og gruppedanninger, samarbeid, kreativitet, konsentrasjon og oppmerksomhet, energiskapere og aktiviteter knyttet til avslutning av undervisningsøktene.

Målsetninger og målgruppe

MITT VALGs overordnede fokus er rettet mot utviklingen av et helhetlig skole- og læringsmiljø, med den hensikten å styrke grunnlaget for elevenes faglige læring, identitetsutvikling, sosial tilhørighet og mestringsevne. Hovedmålsettinger er å gi elevene kunnskap om og trening i sosiale, emosjonelle, kognitive og atferdsmessige ferdigheter, bearbeiding av aktuelle rusmiddelfaglige dilemmaer knyttet til valgsituasjoner og gruppepress, samt involvering av foreldrene. Spesifikke målsetninger for elevene er blant annet å lære dem å ta ansvar og å sette grenser. Videre gjennom refleksjonssamtaler bevisstgjøre elevene og lære dem å sette ord på egne erfaringer og opplevelser. Dette med mål om å fremme elevene sosiale og emosjonelle ferdigheter, hjelpe dem til å utvikle egenskaper og holdninger for å mestre samspill med andre og ta ansvarsfulle beslutninger i forhold til egne liv. Gjennom relasjonsbygging er målet å styrke elevenes selvfølelse. Gode relasjoner, selvfølelse og sosiale ferdigheter skal danne grunnlaget for elevenes livsmestring og psykiske helse, som igjen skal bidra til å forebygge krenkelser, mobbing, utenforskap og bruk av rusmidler.

Undervisningsprogrammet om «Kroppen min og jeg» for elevene i ungdomsskolen har som mål å motvirke krenkelser i form av mobbing, utenforskap, vold og overgrep, diskriminering og trakassering. Målsetninger er at elevene skal lære seg å sette grenser for seg selv og respekterer andres grenser, samt gi elevene kunnskap og et begrepsapparat som gjør dem i stand til å si ifra om de utsettes for krenkelser, misbruk eller vold. I tillegg at lærerne skal gjøre seg kjent med tematikken vold og overgrep mot barn og unge og reflektere over sin rolle som voksen omsorgsperson i skolen.

Gjennomføring av programmet og metoder som anvendes

Programmets grunnpakke rettet mot lærere på 8.–10. trinn i ungdomsskolen inkluderer:

• Informasjonssamtale/førsamtale for informasjonsutveksling og forventningsavklaring (for eksempel med leder i skolen)
• Kurs i 3 moduler (à 3,5 timer) ledet av en sertifisert instruktør fra MITT VALG
• Oppfølgingssamtale
• Lisens til et digitalt undervisningsprogram med undervisingsøkter (lisenser må fornyes årlig, for eksempel enten gjennom et oppdateringskurs eller ved å betale kr. 50,- pr. lærer/bruker)

Kursmodulene rettet mot lærere på 8.–10. trinn skal gi lærere ferdigheter til å ta i bruk det digitale undervisningsprogrammet/-øktene i klasserommet med elevene.

Via den digitale læringsplattformen skal undervisningsøktene med elevene gis innenfor ordinær undervisningstid i skolen. Undervisningsøktene har en beskrevet struktur for gjennomføring: innledning om tema for økten, mål for økten, repetisjon av forrige økt, sitat/påstand, gruppedanninger ved bruk gruppedanningsmetoder, lekebaserte aktiviteter/gruppearbeid og refleksjonsspørsmål. Struktur for gjennomføring er videre delt inn i fire faste faser: 1) utforske (for eksempel introduksjon til tema og aktivisering av elevenes forkunnskaper); 2) erfare (for eksempel knytte tema til elevenes egne kunnskaper, holdninger og erfaringer); 3) utvide (for eksempel samtale med utgangspunkt i refleksjonsspørsmål relatert til fase 1 og 2) og 4) videre arbeid (for eksempel aktiviteter for å integrere og anvende kunnskaper, ferdigheter og holdninger på nye/ andre måter). Med mål om å aktivisere alle elevene, benyttes IGP-metoden (Individuell – Gruppe – Plenum). Læreren presenterer først refleksjonsspørsmål, påstand/ sitat eller oppgaver for alle elevene og oppfordrer til individuell refleksjon. Deretter drøftes synspunkter med en læringspartner eller i små grupper. Avslutningsvis deler elevene arbeidet i plenum basert på frivillighet.

I tilknytning til de ulike undervisningsøktene kan oppgaveark og aktiviteter lastes ned, samt filmsnutter relatert til tema som kan vises for elevene. Undervisningsøktene har tydelig forankring til læreplanverket ved for eksempel at det vises til tekstformuleringer fra overordnede del av Læreplanverket (for eksempel Folkehelse og livsmestring), eller faglige kompetansemål for 8.–10. klassetrinn. I tilknytning til undervisningsøktene kan refleksjonsnotater noteres og lagres på «Min side». På «Min side» organiseres notater, refleksjoner og mål etter tema. På den digitale undervisningsplattformen kan lærere enkelt navigere seg mellom hovedkapitlene, undervisningsøktene, tema-avsnitt og notater.

Det teoretiske grunnlaget for programmet

Teoretisk forankring tar utgangspunkt i humanistisk tilnærming innenfor psykologi og pedagogikk med inspirasjon fra Carl Rogers og Abraham Maslow, der individets vurdering og bearbeiding av samhandlingserfaringer med andre legges til grunn for utvikling av selvet. Teoretisk forankring er videre basert på Maslows behovspyramide, fra grunnleggende fysiologiske behov via trygghet, sosial tilknytning, anerkjennelse og respekt til selvaktualisering. Det teoretiske grunnlaget bygger i tillegg på Albert Banduras sosiale læringsteori, hvor forståelsen om modell- og observasjonslæring og «self-efficacy» vektlegges. Betydningen av det individuelt kognitive i en kontekstavhengig utvikling der læring og påvirkning skjer via modellering og imitasjon, samt mestringsforventning og opplevelse av egen påvirkningskraft og tiltro til egne ferdigheter, vektlegges også med utgangspunkt i Banduras teori. Videre legges Lev Vygotsky sosiokulturelle perspektiv til grunn, hvor læring og kunnskapsutvikling sees i sammenheng med kultur, språk, fellesskap og den sosiale konteksten. Betydningen av erfaringslæring og elevaktiviteter med utgangspunkt i John Deweys pedagogiske teorier er også sentral i den teoretiske forankringen.

Undervisningsprogrammets pedagogiske plattform tar utgangspunkt i humanistisk forståelse om at hvert menneske er unikt og har evnen til å velge og å ta ansvar for sine valg, at individet oppfatter, forstår og tolker situasjoner og avgjør ut fra denne innsikten hvordan det skal handle videre. Undervisningsprogrammet fremstår spesielt tilrettelagt med hensyn til sentrale føringer gitt i ny overordnet del av Læreplanverket og fagfornyelsen, samt endringer i opplæringsloven kapittel 9A ang elevens skolemiljø (§ 9A-2 og 3) og aktivitetsplikten (§9A-4) (Utdanningsdirektoratet, 2020).

Implementeringsstrategier, kvalitetssikring og kostnader

MITT VALG eies av Stiftelsen «Det er mitt valg» som er opprettet av stiftelsen Lions Norge. Stiftelsen er ansvarlig for utvikling og revidering av programmet, opplæring av sertifiserte instruktører, kursopplæring for brukere og evaluering av programmet.

Via programmets hjemmeside kan skoler sende en forespørsel om å motta MITT VALGs grunnpakke. Skoler som ønsker å starte opp med MITT VALG må skrive under en 3-års kontrakt/avtale hvor de forplikter seg til å gjennomføre opplæringen og bruke undervisningsprogrammet i henhold til kontrakt/avtale. MITT VALGs grunnpakke for skolen inkluderer informasjons-/førsamtale, kurs for lærere i 3 moduler (à 3,5 timer), oppfølgingssamtale, lisenser til digital plattform som gir tilgang til et undervisningsprogram med ferdige undervisningsøkter. I førsamtalen understrekes viktigheten av å sette av nok tid til gjennomføring av undervisningsprogrammet, intern organisering, timeplanlegging og det å stille tydelige forventninger til alle ansatte på skolen.

Innen to måneder etter endt kursopplæring gjennomføres det en oppfølgingssamtale med skolens ledelse og/eller skolens MITT VALG ansvarlig. Fokus for oppfølgingssamtalen er implementeringsprosessen i forhold til gjennomføring av undervisningsprogrammene for elevene og hvordan skolen har organisert arbeidet med programmet. Skolene får også tilbud om et oppfølgingskurs for lærerne som gjennomføres vanligvis innen 6–12 måneder etter grunnkurset. MITT VALG anbefaler lokale tiltak på hver skole som for eksempel månedlige og/eller ukentlige fellesmøter, oppfølging av lærere det første året og å legge til rette for felles planlegging av undervisningsøkter i MITT VALG. MITT VALG anbefaler også at det nedsettes en koordineringsgruppe ved skolen, bestående av skoleleder og lærere fra 8.–10. trinn i ungdomsskoleversjonen. Gruppens mandat er å gi råd til ledelsen i forhold til implementeringen av MITT VALG ved skolen. For å styrke erfaringsutveksling og kompetanseheving tilbyr MITT VALG også samlinger for skoleledere, for eksempel egne evalueringsmøter med skoleledere en gang i året, deltakelse på MITT VALG-konferanse og brukerundersøkelser.

MITT VALG-kurset for lærere gis av en sertifisert instruktør fra MITT VALG. Kostnadene for opplæringskurset tredeles mellom skolen, den lokale Lions-klubben og Lions Tulipan-fond. Denne kostnadsdelingen forutsetter at samarbeidet er formalisert gjennom en 3-årskontrakt mellom skolen, lokal Lions-klubb og stiftelsen Det er mitt valg. Kostnadsdelingen innebærer en egenandel fra hver part på 15 000 kr ved en dags kursopplæring og en egenandel for hver part på 17 000 kr ved to halve dagers kursopplæring. Nettbaserte kursmoduler har en egenandel på 12 000 kr. Alternativt kan skolen kjøpe programmet uten disse forpliktelsene, men må da dekke hele kostnaden på 45 000 kr. Gjennom MITT VALGs grunnpakke mottar skolen lisenser til undervisningsprogrammet i skolen for det første året (maksimalt 40 lisenser pr. kurs). Lisensene må deretter fornyes årlig. Det kan gjøres ved å gjennomføre et oppdateringskurs eller ved å betale kr 50,- pr. lærer/bruker.

Sertifiseringen som MITT VALG-instruktør tar 3 måneder og er en internasjonal sertifisering via Lions Quest. Instruktøropplæringen er gratis, men instruktørene må til gjengjeld forplikte seg til å holde kurs i hele landet i en tre-års periode, delta på instruktørsamlinger minimum to ganger i året og bidra på en årlig MITT VALG-konferanse. Stillingen som instruktør innebærer at man må registrere seg som selvstendig næringsdrivende via enkeltmannsforetak. Gjennom en gjensidig forpliktende avtale om samarbeid, avtales antall opplæringskurs i året. Forkunnskaper/kvalifikasjoner for instruktører er pedagogisk utdanning, veiledererfaring og erfaring fra undervisningssektoren.

Problemstilling for artikkelen

Formålet med denne artikkelen er å vurdere om MITT VALG kan være virksomt benyttet i vanlig praksis i Norge.

Metode

Litteratursøk etter studier om tiltaket ble gjennomført i databasene Embase, Medline og Psykinfo, NORART, Cochrane, Cristin, NORA, SCOPUS, SweMed, Cambell, NREPP, NICE, Blueprint og CEBC. Søkedato: 23.9.19. I tillegg ble tiltakseier i Norge kontaktet og bedt om å sende inn dokumentasjon som ikke ble fanget opp av søket, som for eksempel manualer, veiledere, upublisert forskningsdokumentasjon, implementeringsstrategier og kvalitetssikringsrutiner.

De to forfatterne gjennomgikk forskingsdokumentasjonen uavhengig av hverandre og identifiserte den aktuelle litteraturen for nordiske effektstudier, internasjonale kunnskapsoppsummeringer, samt andre norske evalueringer i henhold til kriteriene for klassifisering av tiltak i Ungsinn (Martinussen mfl., 2019).

Resultater

Litteratursøket resulterte i 46 treff. I tillegg kom 8 referanser som ikke ble identifisert i søket, men som ble opplyst om fra tiltakseier eller funnet gjennom referanselister. Totalt antall artikler som ble identifisert var altså 54. Av disse ble 2 artikler inkludert i denne kunnskapsoppsummeringen, begge er norske, ikke-fagfellevurderte evalueringer (Knudsmoen mfl., 2006; Malmin, 2008). De 52 resterende publikasjoner ble ekskludert fordi de besto av annen målgruppe (K = 17), ikke omhandlet MITT VALG (K = 30), var duplikater (K = 3) eller preregistreringer (K = 1; denne studien er avviklet uten publisering). Én nordisk effektstudie (Gislason, Yngvadottir & Benediktsdottir, 1995), ble vurdert å være for gammel til å være relevant i denne sammenheng. Det er ikke publisert internasjonale kunnskapsoppsummeringer om tiltaket MITT VALG. I henhold til kriteriene for Ungsinn (Martinussen mfl., 2019) er internasjonale enkeltstudier ikke inkludert.

Gjennomgang av beskrivelser

MITT VALG er et universelt forebyggende undervisningsprogram, utviklet og eid av stiftelsen Det er mitt valg som er opprettet av Lions Norge. Stiftelsen er ansvarlig for programmet, samt opplæring og evaluering. Se tabell 1 for vurdering av ulike elementer i tiltakets beskrivelse.

Tabell 1. Vurdering av tiltakets beskrivelse.

Dimensjoner i beskrivelsen	Ikke beskrevet	Noe beskrevet	Godt beskrevet
Problembeskrivelse		x
Målgruppe			x
Hovedmål		x
Sekundærmål		x
Utforming av tiltaket			x
Metoder som benyttes		x
Kjerneelementer/ fleksibilitet		x
Utøvere av tiltaket			x
Manual/veileder for utøvere			x
Materiell for mottakere av tiltaket		x
Undersøkelser som styrker beskrivelsen		x

 

Det foreligger noen beskrivelser av problemområdet, samt hvordan programmet gjennom å utvikle sosiale ferdigheter og et trygt læringsmiljø ivaretar elementer i Læreplanverkets overordnede del og kompetansemålene for ungdomsskolen. Beskrivelsene er imidlertid ganske generelle og går i liten grad i dybden. Målgruppen for programmet som omtales i denne oppsummeringen er ungdomsskoleelever 8.–10. klassetrinn, men MITT VALG fins også i versjoner for barnehage, barneskole og idrettslag.

Programmet har visjonen «Gode valg for et bedre samfunn». Det er en bred og omfattende visjon som berøres fra flere ulike vinkler gjennom en rekke leksjoner. Hovedmålet er å styrke sosiale ferdigheter og identitetsutvikling, slik at ungdom skal gjøre gode valg. Dette er en relativ vid og bred formulering, og det kommer ikke tydelig frem hva rent konkret tiltaket søker å endre og hvordan eventuell endring kan måles. Flere elementer inngår i målet for programmet (vennskap og relasjoner, håndtere tanker og følelser, sette og respektere grenser, etablere gode levevaner, utvikle god psykisk helse, øke kunnskap om vold og seksuelle overgrep og å forebygge rusmisbruk), men det er noe uklart om programmet har definert disse som del av hovedmålet eller som sekundærmål.

Programmets utforming omfatter en grunnpakke som inkluderer 3 kursmoduler (à 3,5 timer) for lærere i ungdomsskolen, informasjons- og oppfølgingssamtaler og lisens til et digitalt undervisningsprogram med ferdige undervisningsøkter. Lærerne er utøvere av programmet og undervisningsøkter er greit beskrevet på den digitale plattformen. Gjennom den digitale plattformen ligger det stegvise beskrivelser av hvordan hver undervisningsøkt i tiltaket skal utøves og de konkrete undervisningsmetodene som benyttes er greit beskrevet, men er ikke utfyllende begrunnet. Det foreligger også diverse utdelingsmateriell og aktiviteter som kan lastes ned fra den digitale plattformen.

Den digitale plattformen er relativt enkel å navigere i og delene er skrevet i et lett forståelig språk. Hvert kapittel og hver leksjon har en tydelig og gjenkjennelig struktur, og innhold og gjøremål i leksjonene er beskrevet. Kjerneelementer i programmet er svært bredt beskrevet som sosial og emosjonell læring, psykisk helse, kritisk tenkning og faglig utvikling, men det kommer ikke tydelig frem hvilke komponenter som er essensielle i utøvelsen av programmet. Dette gjenspeiler de litt diffuse beskrivelsene av problemområdet og de ulike målsetningene.

Nordiske effektstudier

Gunnar Malmin har gjort en rekke evalueringer av MITT VALG i ulike elevgrupper, på oppdrag av Lions Quest Foundation Norway og senere stiftelsen Det er mitt valg. En oppsummering er publisert i rapporten Det er mitt valg, Sammenfatning av evalueringen 2001-2007 (Malmin, 2008). Oppsummeringen viser til sju ulike delrapporter (upubliserte, men tilgjengelige fra tiltakseier) som omhandler evaluering på ulike områder. Vi har tatt for oss Delrapport 6 – Effekter på elevatferd (Malmin, 2007), som er den eneste som omhandler effektevaluering på ungdomsskoletrinnet (se tabell 2).

Tabell 2. Inkluderte nordiske effektstudier.

Studie/ Artikkel	Forskningsdesign	Deltakere	Utvalget	Måletidspunkter
Malmin, 2007	Pre-post med kontrollgruppe.	1303 elever	Elever fra 12 skoler, 8 i intervensjonsgruppen og 4 i kontrollgruppen. Store og små skoler fra både urbane og rurale strøk i ulike landsdeler.	Pretest høst 2005 (8. trinn) Posttest vår 2007 (9. trinn)

 

Forskningsmetodisk kvalitet

Studien følger et utvalg 8. klasser på ungdomstrinnet som enten har tatt i bruk tiltaket eller ikke, og inkluderer målinger på 8. og 9. trinn. Den metodiske vurderingen av effektevalueringen er presentert i tabell 3.

Tabell 3. Forskningsmetodisk kvalitet.

Studie	1. Statistiske analyser	2. Måling	3. Indre validitet	4. Tro mot tiltaket	5. Ytre validitet	Gj. snitt
Malmin, 2007	1	2	2	1	2	1,6

Note. Ikke rapportert eller undersøkt = 0; Dårlig/utilfredsstillende = 1; Tilfredsstillende = 2; Godt = 3; Svært godt = 4.

 

1. Statistiske analyser
Studien er gjennomført som pre-post med kontrollgruppe, og utfallsmålene er analysert gjennom en generell lineær modell (ANOVA) med repeterte målinger. Det metodiske designet og statistiske analyser som er gjort er adekvate for denne type tiltak. Analyser og resultater er mangelfullt beskrevet, og tall rapporteres kun for de variablene hvor det er signifikante funn. Det er ikke rapportert power-analyser, men utvalget er relativt stort (N er rundt 1000 i de fleste analysene).

Flere steder har man først beskrevet en tilfredsstillende faktorstruktur, for så å likevel trekke ut enkeltspørsmål og rapportere gruppeforskjell på disse. Å plukke ut utvalgte enkeltresultater i en så omfattende spørreskjemastudie er ikke å anbefale.

2. Målinger og måleinstrumenter
Det er brukt en rekke instrumenter for å måle ulike utfallsmål blant ungdommene. De fleste skalaene er hentet fra andre norske undersøkelser (for eksempel skalaer om undervisningen og om elevenes forhold til lærere som er oppgitt å være hentet fra NOVA/Thomas Nordahl) eller omarbeidede versjoner av internasjonale instrumenter (for eksempel en omarbeidet versjon av Terje Ogdens Hva jeg syns om meg selv, som igjen skal være basert på Perceived Competence Scale for Children og The Self-perception Profile for Adolescents (Harter, 1982; Ogden, 1995). Man kan således anta at spørsmålene er tilpasset og egnede for norske forhold, men det er generelt ikke dokumentert validitet eller andre psykometriske egenskaper for skalaene, slik de er brukt i denne undersøkelsen, og det er heller ikke referert til originalartikler.

Gjennomgående er Cronbachs alfa rapportert kun for hele skalaer samlet, selv om det beskrives strukturer med flere faktorer i hver skala. Som et mål på indre reliabilitet er det korrekt å rapportere Cronbachs alfa for enkeltfaktorene i stedet for skalaen som helhet, men dette er ikke gjort.

3. Indre validitet
Designet er pre-post med kontrollgruppe. Man har trukket ut intervensjonsskoler tilfeldig, men kun blant skoler som allerede hadde tatt i bruk MITT VALG på forhånd. Det er således ikke en reell randomisering, og hvordan kontrollskolene ble valgt ut er ikke oppgitt. Undersøkelsen er gjennomført i en klasseroms-setting. Det er ikke oppgitt svarprosent for pretest, men 94,4 % av de som svarte på pretesten, svarte også på posttesten, og frafallet underveis i undersøkelsen er dermed svært lite. Det er imidlertid relativt lang tid – om lag et og et halvt år – mellom pretest og posttest, noe som medfører en risiko for feilkilder. Det oppgis at alle foreldre har samtykket til at deres barn kan besvare spørreskjemaet, men i hvilken grad deltakerne selv har fått informasjon om undersøkelsen, anonymitet og frivillighet til å delta, beskrives ikke.

I de fleste tilfeller er det rapportert innengruppe-forskjeller fra pre- til posttest i begge grupper, men ikke mellomgruppe-forskjeller på posttestskårene. På flere variabler skårer både intervensjonsgruppen og kontrollgruppen signifikant høyere eller lavere på posttest enn på pretest, og endringen kan dermed ikke tilskrives tiltaket. Med andre ord: fordi begge gruppene endrer seg noenlunde likt fra pretest til posttest på flere av målene, kan vi ikke trekke slutninger om at det er MITT VALG-opplæringen som har forårsaket endringene. På de fleste variablene er det en signifikant negativ utvikling mellom pretest og posttest i begge gruppene.

I rapporten er det beskrevet at både intervensjons- og kontrollskolene kan ha gjennomført andre tiltak enn MITT VALG i undersøkelsesperioden. Det er en svakhet ved studien at man ikke har innhentet konkret informasjon om dette fra skolene.

4. Troskap mot tiltaket
Det fins detaljerte innholdsbeskrivelser og opplæringsprosedyrer for tiltaket (undervisningsprogrammet) i dag. Intervensjonsskolene skal ifølge rapporten ha jobbet systematisk med tiltaket, noe som var presisert å innebære minimum 2–3 leksjoner i måneden. Det er dog ikke beskrevet kvalitetssikringsprosedyrer som sikrer at tiltaket faktisk er gjennomført med denne frekvensen og etter intensjonen, og om elevene på intervensjonsskolene faktisk har gjennomført hele programmet mellom pre- og posttest. I tillegg må det stilles spørsmål ved om tiltaket (undervisningsprogrammet) slik det fremstår i dag via den digitale plattformen i for stor grad er endret sammenlignet med tiltaket som tidligere ble evaluert.

5. Ytre validitet
Skolene som er representert i undersøkelsen er både store og små og ligger i urbane og rurale strøk i tre landsdeler, dog ligger datainnsamlingen noen år tilbake i tid. Hvor stor andel av de inviterte som svarte er ikke kjent. Tiltaket er også gjennomført i vanlig praksis ute i skolene, slik det er ment å gjennomføres. Langtidseffekter er ikke undersøkt.

Den mangelfulle rapporteringen medfører at det er utfordrende å vurdere resultatene. Den komplette rapporten er ikke publisert, kun en oppsummering hvor kun noen få enkeltresultater er presentert, og rapporten er heller ikke fagfellevurdert. I tillegg kommer det ikke tydelig nok frem hvilke av de svært mange utfallsmålene som er å regne som primære og sekundære for tiltakets effektivitet. Av disse grunnene velger vi å ikke rapportere effektstørrelser fra rapporten.

Internasjonale kunnskapsoppsummeringer

Det fins ingen internasjonale kunnskapsoppsummeringer som tar for seg MITT VALG eller Lions Quest alene. Lions Quest er representert med kun én amerikansk studie (rapportert i to artikler: Eisen, Zellman, Massett & Murray, 2002; Eisen, Zellman & Murray, 2003) i bredere kunnskapsoppsummeringer innen temaet, og effekter av flere Lions Quest-intervensjoner er heller ikke oppsummert.

Andre norske evalueringer

I 2006 utga Utdanningsdirektoratet en rapport som blant annet vurderte ulike undervisningsopplegg som er ment å forebygge problematferd og utvikle sosial kompetanse (Knudsmoen mfl., 2006). Forfatterne kom da til følgende konklusjon og anbefaling om MITT VALG: «(…) Program med god sannsynlighet for resultater. Forskergruppen vurderer at opplæringsprogrammet med stor sannsynlighet gir resultater i å utvikle generell sosial kompetanse». I rapporten pekes det på at evalueringsarbeidet er omfattende, men at analysene ikke gir svar på om elevene endrer atferd som følge av programmet.

Implementeringskvalitet

Implementeringskvalitet er skåret i tabell 4. MITT VALG ungdomsversjon tilbys ansatte på ungdomsskoler. Opplæringskurs kan bestilles gjennom lokale Lions-klubber eller Stiftelsen Det er mitt valg. Lions dekker 2/3 av kostnadene for kurset.

Tabell 4. Implementeringskvalitet.

Kategori	Ja	Nei	Ikke relevant
1.       Implementeringsstøtte	x
2.       Kvalifikasjonskrav		x
3.       Opplæring	x
4.       Sertifiseringsordninger	x
5.       Monitorering av fidelity/etterlevelse		x
6.       Veiledning		x
7.       Identifisering av målgrupper			x
8.       Kartleggings-og vedlikeholdsverktøy		x
9.       Strategier for tilpasning			x
Samlet skåre	∑3/9

 

En plan for opplæringen er beskrevet. Instruktørene sertifiseres av Lion’s Quest, og forkunnskapskrav for instruktørene er pedagogisk utdanning, veiledererfaring og erfaring fra undervisningssektoren. Det er ingen kvalifikasjonskrav eller sertifiseringsordninger beskrevet for lærerne som skal bruke programmet i undervisningen, men skolene må forplikte seg til å gjennomføre opplæring og bruke programmet gjennom å signere en treårig kontrakt. Tiltakseier gjennomfører så en førsamtale med skoleledelsen for å informere og avklare forventninger. Opplæringen av lærere, ledere og andre ansatte gis gjennom 3 kursmoduler à 3,5 timer, og innen to måneder gjennomføres en oppfølgingssamtale mellom skoleledelse og tiltakseier. I tillegg tilbys et oppfølgingskurs for lærerne innen 6–12 måneder etter endt opplæringen. Tiltakseier arrangerer evalueringsmøter for skoleledere og en årlig MITT VALG-konferanse for instruktører, skoleledere og lærere, som gir mulighet for faglig oppdatering. Det foreligger ingen anbefalinger om verktøy for å kartlegge om tiltaket har effekt, ei heller for å undersøke om det implementeres etter hensikten.

Diskusjon

Hovedmålet med denne artikkelen var å undersøke om MITT VALG ungdomsversjonen er et virksomt tiltak benyttet i normal praksis i Norge. Resultatene diskuteres på bakgrunn av Ungsinns nye kriterier for klassifisering.

Beskrivelse

MITT VALG er basert på det amerikanske Lions Quest, men med norske tilpasninger, slik at det fremstår som et eget program i Norge. Tiltaket (undervisningsprogrammet) rettet mot elevene er beskrevet på den digitale plattformen. Hovedmålet er å styrke sosiale og emosjonelle ferdigheter og identitetsutvikling, slik at ungdom skal gjøre gode valg, og den digitale plattformen inneholder en rekke undervisningsøkter som er ment å bygge opp om dette målet. Imidlertid nevnes en rekke tilstøtende og overlappende målsetninger, og det er ikke åpenbart hva som helt konkret er definert som hovedmål og sekundærmål.

Det er gjennomført evalueringer av tiltaket, men det er uklart hvordan de mest sentrale sosiale ferdighetene som inngår i tiltakets målsetning er definert, operasjonalisert og målt, og det er derfor vanskelig å si om tiltaket har effekt etter hensikt.

Teoretisk rasjonale

Teoretisk forankring er innenfor humanistisk psykologi og pedagogikk, hvor klassemøter, refleksjon, gruppearbeid og lekebaserte aktiviteter er sentrale arbeidsmetoder. Konstruktivt sosialt samspill (jf. Rogers og Vygotsky), inkludering og følelsen av mestring (jf. Bandura) for både faglig læring og personlig og sosial utvikling vektlegges. I tillegg vektlegges Lev Vygotskys sosiokulturelle teorier, hvor læring og kunnskapsutvikling sees i sammenheng med kultur, språk, fellesskapet og den sosiale kontekst. John Deweys pedagogiske teorier om betydningen av erfaringslæring og elevaktiviteter inngår også i den teoretiske forankringen.

Effektstudier, forskningsdesign og forskningsmetodisk kvalitet

Det finnes én norsk evalueringsstudie (Malmin, 2007). Denne har et akseptabelt design, med både intervensjonsskoler og kontrollskoler, og pre- og posttest i et stort utvalg. Det er likevel en del svakheter knyttet til metodevalg og formidling av resultater.

Kjerneelementene i MITT VALG er sosial og emosjonell læring, psykisk helse, kritisk tenkning og faglig utvikling. Dette gjøres gjennom tema som er relevante for aldersgruppen, som for eksempel tobakk-, alkohol- og rusbruk, seksualitet og grenser, vold og overgrep, internett og sosiale medier. Selv om det er en relativt tydelig rød tråd gjennom programmet, kan den brede tilnærmingen gjøre det mer utfordrende å måle effekten av programmet som helhet. Evalueringsrapporten gjenspeiler dette ved at man har brukt et omfattende spørreskjema med ni ulike skalaer. Disse omhandler en rekke ulike forhold ved elevenes selvfølelse og skolehverdag, men det er ikke åpenbart for leseren hva som er de sentrale utfallsmålene. I tillegg øker det store antallet analyser sannsynligheten for å avdekke signifikante forskjeller, noe som medfører at man i mindre grad kan stole på generaliserbare funn.

Evalueringsrapporten er ment å svare på de utfordringene som Knudsmoen m.fl. (2006) pekte på i sin oppsummering av tiltaket. Anbefalingen var der at man presenterte endring fra pre- til posttest i de to gruppene, og det er gjort i den nye evalueringen. Siden det er vanskelig å identifisere eller konkretisere hva som er hovedutfallsmålene, og kun utvalgte effektstørrelser er rapportert i rapporten, kan vi likevel ikke si noe om hvilken effekt tiltaket har. De resultatene som er presentert, indikerer heller at tiltaket ikke har effekt, med unntak av på noen helt få utfallsmål, hvor intervensjonsgruppen har noe mindre negativ utvikling enn kontrollgruppen. Programmet har imidlertid vært revidert etter at denne evalueringen er gjennomført og datamaterialet er på skrivende tidspunkt rundt 15 år gammelt, noe som svekker relevansen av evalueringsstudien.

Vi anbefaler at videre forskning på tiltaket definerer primære og sekundære utfallsmål mer tydelig, med en mer transparent rapportering – også av nullfunn og negative effekter – i fagfellevurderte tidsskrifter.

Implementeringskvalitet

Tiltaket har noe støtte for implementering, opplæring og veiledning. Det foreligger ikke verktøy eller spørreskjema for å sikre at tiltaket implementeres slik det er intendert, eller om det har effekt på elevgruppene.

Konklusjon

Basert på Ungsinn sine kriterier klassifiseres MITT VALG på evidensnivå 2 – teoretisk begrunnede tiltak. Tiltaket er tilfredsstillende beskrevet og begrunnet. Det er gjennomført en norsk effektstudie, men resultatene fra den er mangelfullt rapportert og det er uklart hvilke av utfallsmålene som er mest sentrale for tiltakets effektivitet. På de fleste utfallsmålene viser ikke programmet positive effekter. Datamaterialet for effektstudien er relativt gammelt. I tillegg har programmet vært under revisjon i 2020, og selv om endringene ikke er veldig omfattende, reduserer dette ytterligere relevansen av evalueringene, all den tid komponentene i programmet som har vært evaluert ikke gjenspeiler dagens program. Det er ønskelig med nye studier som undersøker tiltakets effekt på forhåndsdefinerte utfallsmål.

MITT VALG klassifiseres på evidensnivå 2 – Teoretisk begrunnet tiltak

Referanser

Eisen, M., Zellman, G. L., Massett, H. A. & Murray, D. M. (2002). Evaluating the Lions-Quest «Skills for Adolescence» drug education program: first-year behavior outcomes. Addictive behaviors, 27(4), 619‐632. https://doi:10.1016/s0306-4603(01)00197-6

Eisen, M., Zellman, G. L. & Murray, D. M. (2003). Evaluating the Lions-Quest «Skills for Adolescence» drug education program. Second-year behavior outcomes. Addictive behaviors, 28(5), 883‐897. https://doi.org/10.1016/S0306-4603(01)00292-1

Gislason, T., Yngvadottir, A. & Benediktsdottir, B. (1995). Alcohol consumption, smoking and drug abuse among icelandic teenagers: A study into the effectiveness of the ‘skills for adolescence’ programme. Drugs: Education, Prevention and Policy, 2(3), 243-258. https://doi.org/10.3109/09687639509035748

Gjerustad, C., Smedsrud, J. & Federici, R. A. (2019). Systematisk arbeid med psykisk helse i skolen: spredning, bruk og implementering av eksterne skoleprogram (25). Hentet fra https://nifu.brage.unit.no/nifu-xmlui/handle/11250/2636313

Harter, S. (1982). The Perceived Competence Scale for Children. Child Development, 53(1), 87-97. https://doi.org/10.2307/1129640

Heiervang, E., Stormark, K. M., Lundervold, A. J., Heimann, M., Goodman, R., Posserud, M.-B., . . .Gillberg, C. (2007). Psychiatric disorders in Norwegian 8- to 10-year-olds: an epidemiological survey of prevalence, risk factors, and service use. Journal of the American Academy of Child & Adolescent Psychiatry, 46(4), 438-447. http://dx.doi.org/10.1097/chi.0b013e31803062bf

Helse- og omsorgsdepartementet. (2017). Mestre hele livet – Regjeringens strategi for god psykisk helse (2017–2022). Hentet fra https://www.regjeringen.no/no/dokumenter/mestre-hele-livet/id2568354/

Helse- og omsorgsdepartementet. (2019). Opptrappingsplan for barn og unges psykiske helse (2019 –2024) (Prop. 121 S). Hentet fra https://www.regjeringen.no/no/dokumenter/prop.-121-s-20182019/id2652917/

Holen, S. & Waagene, E. (2014). Psykisk helse i skolen. Utdanningsdirektoratets spørreundersøkelse blant lærere, skoleledere og skoleeiere. Hentet fra https://www.udir.no/globalassets/upload/forskning/2014/psykisk-helse.pdf

Knudsmoen, H., Holth, P., Nissen, P., Schultz, J. H., Tveit, A. & Torsheim, T. (2006). Vurdering av program for forebygging av problematferd og utvikling av sosial kompetanse. Oslo: Utdanningsdirektoratet.

Major, E. F., Dalgard, O. S., Mathisen, K. S., Nord, E., Ose, S., Rognerud, M. & L.E., A. (2011). Bedre føre var – Psykisk helse: Helsefremmende og forebyggende tiltak og anbefalinger. Hentet fra https://www.fhi.no/publ/2011/bedre-fore-var—psykisk-helse-hels/

Malmin, G. (2007). Det er mitt valg (Lions Quest), evaluering. Delrapport 6: effekter på elevatferd. Upublisert rapport.

Malmin, G. (2008). Det er mitt valg. Sammenfatning av evalueringen 2001-2007. Hentet fra https://www.lions-quest.org/wp-content/uploads/2015/11/EvalueringDetermittvalg08web.pdf

Martinussen, M., Reedtz, C., Eng, H., Neumer, S.-P., Patras, J. & Mørch, W. T. (2019). Kriterier for prosedyrer og vurdering og klassifisering av tiltak (2. utgave, v. 2.1). Ungsinn – Tidsskrift for virksomme tiltak for barn og unge.

Ogden, T. (1995). Kompetanse i kontekst: en studie av risiko og kompetanse hos 10- og 13-åringer. Oslo: Barnevernets utviklingssenter.

Reneflot, A., Aarø, L. E., Aase, H., Reichborn-Kjennerud, T., Tambs, K. & Øverland, S. (2018). Psykisk helse i Norge. Hentet fra https://www.fhi.no/publ/2018/psykisk-helse-i-norge/

Rumberger, R. W. (2011). Dropping out: why students drop out of high school and what can be done about it. Cambridge, Mass: Harvard University Press.

Utdanningsdirektoratet. (2020). Læreplanverket. Overordnet del – verdier og prinsipper for grunnopplæringen: Folkehelse og livsmestring. Hentet fra https://www.udir.no/lk20/overordnet-del/prinsipper-for-laring-utvikling-og-danning/tverrfaglige-temaer/folkehelse-og-livsmestring/

 

Som alle artikler i Ungsinn, kan denne fagfellevurderte artikkelen arkiveres og distribueres fritt for alle slags formål på følgende vilkår: korrekt referanse skal oppgis (se bunntekst), ingen kommersiell bruk og ingen bearbeidelse av tekst eller innhold.

Mottatt: 25.09.2020
Godkjent: 04.02.2021,
Publisert: 09.04.2021.
Redaktør: Charlotte Reedtz