Kunnskapsoppsummering og klassifisering av tiltaket: VIP-Makkerskap (1. utg.)
Skrevet av Trude Havik & Marte Rye | 4. april 2023
Sammendrag
BAKGRUNN
VIP Makkerskap er et helsefremmende og universalforebyggende tiltak, som er utviklet for å sikre en bedre overgang fra ungdomsskolen til Vg1, og fra barne- til ungdomsskolen, for en bedre skolestart og for å fremme et godt læringsmiljø. VIP Makkerskap er utviklet og eiet av Vestre Viken HF/VIP psykisk helse i skolen, med finansiering fra Helsedirektoratet over tilskuddsordningen «Psykisk helse i skolen».
METODE
Denne kunnskapsoppsummeringen bygger på et systematisk litteratursøk i databasene Embase, Medline og Psykinfo, NORART, Cochrane, Cristin, NORA, SCOPUS og SweMed. Det er også søkt i internasjonale kunnskapsdatabaser om evidens samt innhentet informasjon om tiltaket fra tiltakseier. Litteratursøk og annen innhentet informasjon ble gjennomgått for å identifisere nordiske effektstudier, internasjonale oppsummeringsstudier og eventuelt andre norske studier om tiltaket.
RESULTATER
Resultatene består av en vurdering av tiltakets beskrivelse, foreliggende effektstudier, forskningsmetodisk kvalitet og implementeringskvalitet. VIP Makkerskap vurderes som godt beskrevet med et bredt faglig fundament, men det har en noe uklar teoretisk referanseramme. Tiltaket tilbyr noe implementeringsstøtte i form av informasjonsmøter og tilbud om 3-timers opplæring, men ingen prosedyrer for å sikre eller måle implementeringens kvalitet. Det er gjennomført en norsk effektstudie, presentert i to artikler, der kvasieksperimentelt design benyttes. Funnene indikerer en signifikant bedring for skoler med VIP Makkerskap på ett utfallsmål, sosialt klassemiljø, sammenlignet med kontrollskoler som ikke gjennomførte programmet. Effekten var liten, og fordi VIP Makkerskap ved noen skoler ble innført før baseline og avhengighet (nesting) i data ikke ble tatt hensyn til i analysene, er funnene noe usikre. Det ble også funnet korttidseffekter for lykke og depresjon-/angstsymptomer for elever uten eller med lav sosial angst ved baseline, men ingen effekter for elever med høy sosial angst, og det ble ikke funnet signifikante effekter etter 6 måneder. Når det gjelder ensomhet var det ingen kort- eller langtidseffekter.
Det er behov for flere effektstudier av høy kvalitet som kan gi mer valide effektestimater på relevante utfallsmål både på videregående skole og i ungdomsskolen. I tillegg bør det teoretiske rasjonale for tiltaket bli tydeligere og mer spisset, og begrunnes ut fra primærlitteratur og implementeringsstrategien bør videreutvikles.
KONKLUJON
VIP Makkerskap klassifiseres på evidensnivå 3 – tiltak med noe dokumentasjon på effekt.
Innledning
Bakgrunn
VIP Makkerskap er et helsefremmende og universalforebyggende tiltak som i utgangspunktet var utviklet for å sikre en trygg og forutsigbar skolestart og for å fremme et godt læringsmiljø. I dag er hovedmålet knyttet til et godt psykososialt læringsmiljø og et delmål er en trygg og forutsigbar skolestart. VIP Makkerskap er et av flere tiltak som tilbys gjennom tjenesten VIP Psykisk helse i skolen (https://vippsykiskhelse.no/). Øvrige tiltak inkluderer VIP Snakk om det (tidligere VIP-programmet) og VIP Traumekurs for skoleansatte. «Skoleprogrammet VIP» skiftet navn til VIP Psykisk helse i skolen i 2021. VIP Makkerskap var rettet mot elever ved Vg1 ved oppstart i 2015, men blir ofte benyttet på alle trinn i videregående opplæring og på alle trinn i ungdomsskolen (dokument fra tiltakseier).
VIP Makkerskap er inspirert av det danske skoleprogrammet Netwerk (https://projektnetwerk.dk/), som fokuserer på fellesskap og klassetrivsel. VIP Makkerskap handler om å gi elevene en trygg og forutsigbar overgang fra ungdomsskolen til videregående skole, og fra barneskolen til ungdomsskolen, der kontaktlærer fra første skoledag i et nytt skoleår danner makkerpar og -grupper blant elevene. På den måten ønsker man å unngå at enkeltelever som kjenner hverandre fra før danner ekskluderende klikker. Makkerpar og -grupper skal ha bestemte oppgaver knyttet til hverandre, og makkerpar og -grupper endres etter tre uker for at alle elevene skal samarbeide og bli kjent med ulike medelever.
VIP Makkerskap er et tiltak som tar sikte på å styrke sosiale relasjoner mellom elevene og utvikle gode arbeidsrelasjoner for at de skal lettere finne sin sosiale posisjon og få et kollegialt samarbeid med sine medelever, særlig ved skolestart. Det antas at dette kan være avgjørende for opplevelsen av læringsmiljøet på lengre sikt. Vennskap er ikke et uttalt mål for tiltaket, men det kan være en konsekvens. Tall fra Ungdata 2021 (13–19 år) viser at omtrent 9 av 10 har minst en fortrolig venn (Bakken, 2021). Det er likevel urovekkende at noen elever mangler fortrolige venner; to prosent oppgir at de ikke har noen de vil kalle for venner. Videre er det fire prosent som oppgir å ikke ha noen å være sammen med i friminuttene på skolen, og syv prosent mangler noen å være sammen med på fritiden. Videre viser tall fra Ungdata at ensomhet er mer utbredt blant jenter enn blant gutter, og at ensomhet øker noe fra starten av ungdomstrinnet til de begynner i videregående opplæring, blant både gutter og jenter. Studier viser en sterk sammenheng mellom opplevelse av ensomhet og tanker om å slutte i videregående opplæring (Frostad, Pijl, & Mjaavatn, 2015; Tvedt, Bru, Idsøe, & Niemiec, 2021). En studie viser også en sterkere sammenheng mellom ensomhet og tanker om å slutte på videregående blant innvandrere enn blant norske elever (Fandrem, Tvedt, Virtanen, & Bru, 2021).
Programmet bygger på antakelsen om at dersom flere elever opplever sosial tilhørighet og gode relasjoner med medelever, kan det føre til at færre elever opplever ensomhet, og at færre tenker de vil slutte/droppe ut av videregående opplæring. Det å bekjempe sosialt utenforskap og styrke sosiale aspekter av skolehverdagen synes spesielt viktig for elever med innvandrerbakgrunn.
Beskrivelse og materiell
Tiltaket VIP Makkerskap beskrives på en egen nettside, i materiellet som ungdoms- og videregående skoler får tilsendt etter gjennomgått opplæring, og i evalueringsrapporter utgitt av tiltakseier. Det er utarbeidet et eget dokument til ledelsen ved skolene, en lærerveiledning, samt et dokument til elever og til foresatte. Det er også utarbeidet et eget dokument som beskriver tiltakets faglige forankring (dokument fra tiltakseier). Materiellet til ungdomsskolene er stort sett tilsvarende materiellet til videregående skoler, men med noen mindre tilpasninger. Dokument til skoleledelsen inneholder informasjon om tiltaket, målsettinger, beskrivelse av hva det innebærer å være i et makkerskap, informasjon om evaluering av tiltaket, tips til gjennomføring og opplæring samt en beskrivelse av ledelsens rolle. Lærerveiledningen gir informasjon om tiltaket, målsettinger, beskrivelse av gjennomføring av tiltaket og en samling av oppgaver knyttet til det å bli kjent, skape et godt klassemiljø og en god kultur i makkerparet og makkergruppen. Dokumentet til elevene gir informasjon om hva VIP Makkerskap handler om, hva det vil si å være i et makkerskap, samt to oppgaver («Møt din makker» og «Gruppekontrakt») som handler om å bli kjent og å utforme regler for makkergruppen. Et dokument til foresatte gir også informasjon om tiltaket, målsettinger, hva det innebærer å være i makkerskap og tips til foreldre for å understøtte gjennomføringen av VIP Makkerskap.
På nettsiden til VIP Psykisk helse i skolen finnes informasjon om de ulike tilbudene tjenesten tilbyr, deriblant VIP Makkerskap. Videre finner man informasjon om materiell og filmer (gjelder hovedsakelig VIP Snakk om det), temasider om psykisk helse og nyhetssaker. På nettsidens omtale av VIP Makkerskap gis en kortfattet beskrivelse av tiltaket, tiltakets målsettinger, opplæring, lenke til evalueringsrapporter og forskningsartikkel om VIP Makkerskap samt kontaktinformasjon til tiltakseier.
Målsetninger og målgruppe
VIP Makkerskap sin hovedmålsetning er å skape et godt psykososialt læringsmiljø der elevene opplever trygghet og tilhørighet. Ulike delmål for tiltaket er:
- Å fremme elevers psykiske helse, trivsel og læring.
- Å styrke elevers sosiale og relasjonelle kompetanse.
- En trygg og forutsigbar skolestart.
- Å etablere et godt klassemiljø tidlig.
- At elevene skal bli kjent med de andre i klassen.
- Å skape gode arbeidsrelasjoner som fremmer livsmestring i skolehverdagen.
I tiltaksbeskrivelsen fremholdes det at hvis man tidlig etablerer en klasse der alle opplever tilhørighet og ingen faller utenfor, vil det kunne bidra til tryggere elever og bedre læringsutbytte. Videre antar man at det kan forebygge mobbing og psykiske helseplager, gjør det lettere å oppdage om noen har det vanskelig og legger grunnlaget for et godt samspill i klassen gjennom hele skoleåret. Tiltaket beskrives som et viktig bidrag i skolens arbeid med folkehelse og livsmestring.
Tiltakseiere opplyser at den primære målgruppen for VIP Makkerskap var lærere og helsesykepleiere, mens Vg1-elever var indirekte målgruppe. Videre opplyses det fra tiltakseier at fra 2019 ble det utviklet et eget materiell til ungdomsskoler, og fra og med 2022 anbefales tiltaket på alle trinn både på ungdomsskolen og på videregående skole.
Gjennomføring av tiltaket og metoder som anvendes
Tiltaket gjennomføres på klassenivå/skolenivå og organiseres av kontaktlærere i samarbeid med faglærere i hver klasse.
Fra første skoledag har læreren ansvar for å danne makkerpar på to personer (eventuelt 3 om antall elever ikke går opp i partall) og makkergrupper. En makkergruppe består av to makkerpar (4, eventuelt 5 elever). Makkerparene og -gruppene har oppgaver i forhold til hverandre og inndelingen kan også brukes i skolefaglig samarbeid. Bakgrunn for å starte allerede fra første skoledag er at elevene tidlig skal bli kjent med flere av sine medelever og at det ikke skal dannes «klikker» blant ungdom som kjenner hverandre fra før. Parene og gruppene rullerer etter tre uker, slik at man skal få anledning til å samarbeide med forskjellige medelever. Det anbefales å bruke 45 minutter første skoledag til introduksjon i klassen, og deretter 30 minutter til makkerbytter hver 3. uke. Tiltakets varighet er minimum 3 uker x 3, men det opplyses fra tiltakseier at flere skoler velger å fortsette tiltaket utover disse 9 ukene og på flere trinn enn kun 8. trinn eller Vg1. Fra og med 2022 anbefaler tiltakseier at skolene gjennomfører tiltaket gjennom hele skoleåret.
Ved hvert makkerbytte utarbeides en egen «gruppekontrakt» i makkergruppa, som skal skape en felles forståelse og forpliktelse til makkergruppa blant elevene. Denne prosessen skal bidra til trening i ferdigheter som turtaking, gruppeledelse og aktiv lytting. Makkerpar skal i utgangpunktet være tilfeldig utvalgt, ut fra tanken om at akkurat som i arbeidslivet skal man lære seg å jobbe sammen med noen man kanskje ikke kjenner.
I lærerveiledningen fremkommer det at det bør informeres om VIP Makkerskap i et velkomstbrev til nye elever og/eller på informasjonsmøter for kommende 8. klasseforeldre/Vg1-foreldre. I lærerveiledningen er det også utarbeidet forslag til hvordan makkerpar kan presenteres, men med rom for tilpasning til den enkelte klasse. Lærer oppfordres til å lage en kontaktliste til alle elevene i en makkergruppe, slik at de har mulighet til å kontakte hverandre fra første skoledag.
Gjennom ulike øvelser skal makkerparene og -gruppene få trening i samarbeid og kommunikasjon. Innledningsvis omhandler oppgaven «Møt din makker» det at makkerparet skal intervjue hverandre og gi en kort presentasjon av hverandre for resten av klassen. Oppgaven «gruppekontrakt» innebærer at makkergruppen i samarbeid skal utforme regler, som kan være både faglige og sosiale, for et godt arbeid i gruppa. Lærerveiledningen inneholder for øvrig en oppgavesamling med forslag til øvelser for å bli kjent og oppgaver knyttet til klassemiljø og samarbeidslæring. Disse presenteres som forslag til oppgaver man kan gjøre som et ledd innkjøring av nye makkerskap.
Å være i makkerskap innebærer at makkerne skal sitte ved siden av hverandre i klasserommet i alle fag hvor hele klassen er samlet. Makkerne skal hilse på hverandre når de treffes og spørre hverandre for eksempel hvordan helgen har vært. Videre skal makkerne være oppmerksomme på om den andre trives, for eksempel om makkeren har noen å være sammen med i friminuttene eller kommer til sosiale arrangementer med klassen eller på skolen. Hvis makkeren blir bekymret, skal vedkommende henvende seg til kontaktlærer. Makkerne skal kontakte hverandre ved skolefravær. Den som er på skolen, sender en melding til sin makker der det for eksempel kan stå: «Hei! Ser at du er borte i dag. Håper vi sees i morgen.»
I beskrivelse av tiltaket fremkommer det at VIP Makkerskap med fordel kan brukes sammen med VIP Snakk om det, som innebærer at klassen har økter om psykisk helse med både kontaktlærer og ressurspersoner fra helse- og sosialfeltet.
Det teoretiske grunnlaget for metoden
Programeier har utformet et dokument (datert 31.03.22) som beskriver den teoretiske forankringen og faglige føringer for tiltaket. Likevel fremkommer det ikke hvilke teorier eller teoretiske perspektiver programmet bygger på, men det presenteres noen faglige prinsipper for programmet i videregående skole (som sies å kunne overføres til ungdomsskolen). For å understøtte prinsippene vises i noen grad til forskingsresultater gjengitt i politiske rapporter og lærebøker. Prinsippene blir beskrevet under:
Et godt psykososialt læringsmiljø og god klasseledelse
I dokumentet vises det til NOU 2015: 2 («Å høre til – virkemidler for et trygt psykososialt skolemiljø») som fokuserer på virkemidler for et trygt psykososialt skolemiljø, der det understrekes at elevkulturer dannes med det samme en klasse settes sammen, og at relasjonsutvikling og normer for samhandling etableres tidlig. Dermed er et systematisk arbeid med klasseledelse fra skolestart viktig for klassens faglige og sosiale utvikling (NOU 2015: 2, s. 121). Dette er noe av grunnlaget for å starte med VIP Makkerskap fra første skoledag i videregående skole (og i ungdomsskolen). VIP Makkerskap er inspirert av danske Netwerk som bygger på kjente prinsipper for klasseledelse. Det henvises til boken Resiliens i skolen – teori og tiltak (Olsen & Traavik, 2010), som igjen viser til forskning om en klar sammenheng mellom god klasseledelse og et godt læringsmiljø. Det vises også til Webster-Strattons læringspyramide (Webster-Stratton, 2005) der etablering av gode relasjoner i klassen, tydelig undervisningsstruktur og regler, samt klare rammer brukes som eksempler på god klasseledelse. Ved å ha en tydelig struktur fra første skoledag, beskrives VIP Makkerskap som et verktøy i arbeidet med å tidlig etablere et godt klassemiljø. Det henvises også til Ogden som påpeker at «forskning støtter antakelsen om at arbeidet med å utforme og implementere regler og rutiner i klassen har en betydelig effekt på elevenes atferd og læring» (Ogden, 2009, s. 131).
Sosial og relasjonell kompetanse
I dokumentet fra tiltakseier blir sosial kompetanse forstått som at elevene har kunnskap, ferdigheter og holdninger som gjør at de evner å etablere og opprettholde gode relasjoner. Dette handler blant annet om empati, samarbeidsferdigheter og impulskontroll. Det vises til NOU 2015: 2, der sosial kompetanse trekkes frem som grunnleggende for å fungere i et sosialt fellesskap og bidrar til et trygt psykososialt skolemiljø. I VIP Makkerskap er det i noen grad fokus på elevenes sosiale kompetanse gjennom tilrettelegging, øvelser og oppgaver som elevene skal trene på for å etablere og opprettholde gode relasjoner til makkere og makkerpar. VIP Makkerskap fokuserer også på å være en god klassekamerat som kan bidra til å styrke elevenes sosiale og relasjonelle kompetanse. Relasjonell kompetanse defineres som ferdigheter, evner, kunnskaper og holdninger som etablerer, utvikler, vedlikeholder og reparerer relasjoner mellom mennesker (Spurkeland, 2012, s. 63). Tiltakseier beskriver at relasjonell kompetanse handler om økt tilpasningsdyktighet overfor andre, som i VIP Makkerskap utvikles gjennom samarbeid med andre elever i klassen og ved å øve på å være «en god kollega». Det hevdes også at tiltakets struktur og oppgaver bidrar til å øke elevenes evne til perspektivtaking og forståelse for andre.
Folkehelse og livsmestring
VIP Makkerskap beskrives videre å være utviklet som en del av det tverrfaglige temaet «Folkehelse og livsmestring» slik temaområdet beskrives i læreplanen. Mellommenneskelige relasjoner blir blant annet vektlagt i «Folkehelse og livsmestring», inkludert det å kunne sette grenser og respektere andres grenser (Kunnskapsdepartementet, 2017, s. 12–13).
Tilhørighet og fellesskap
Det beskrives at tilhørighet og trivsel er avgjørende for god psykisk helse og at tilhørighet er et grunnleggende menneskelig behov, som er avgjørende for at elevene skal ha det godt og mestre hverdagen. For å oppleve sosial tilhørighet må vi være deltakere i et fellesskap som består av gjensidig samspill mellom deltagere (Wenger, 2004). Klassen utgjør et slikt sosialt fellesskap i skolen. Å «kunne håndtere relasjoner» blir nevnt i læreplanen som et aktuelt område innenfor «Folkehelse og livsmestring». Mangel på tilhørighet gjennom avvisning, ekskludering eller ignorering kan derimot medføre angst, depresjon og ensomhet (Morin, 2021b). Gjennom VIP Makkerskap sitt fokus på øvelse i gode arbeidsrelasjoner, samarbeid, samhandling og kommunikasjon, kan fellesskapet i klassen styrkes.
Mangfold og inkludering
«Skolen skal ta hensyn til mangfoldet av elever og legge til rette for at alle får oppleve tilhørighet i skole og samfunn» (Kunnskapsdepartementet, 2017, s. 4). Elevenes identitet og syn på seg selv formes i samspill med andre, som viser til den overordnede delen av læreplanverket, med vektlegging av at skolen gjennom arbeid med fagene bidrar til elevenes sosiale læring gjennom hele skoledagen. VIP Makkerskap kan bidra til å skape et mer inkluderende klassemiljø ved at elevene lærer å samarbeide med alle, på tross av ulikheter og kulturell bakgrunn. Både strukturen og oppgavene i VIP Makkerskap kan dermed ses på som et ledd i læreplanens fokus på mangfold og inkludering.
Sosial støtte
Programmet tilrettelegger for at elever skal oppleve sosial støtte fra sine makkere og makkergrupper. Også foresatte får informasjon om tiltaket slik at de kan støtte elevene i gjennomføringen av tiltaket. Sosial støtte er viktig for menneskers helse og livskvalitet, og ungdom som rapporterer om høy grad av opplevd emosjonell støtte fra foreldre og jevnaldrende viser mindre grad av angst og depressive symptomer, og høyere grad av tilfredshet og lykke (jamfør forskningsreferanser referert i Morin, 2021b, s. 24).
Forebygging av mobbing
Skolene har aktivitetsplikt i forhold til mobbing og krenkelser. I dokumentet fra tiltakseier vises det til Utdanningsdirektoratets veileder i arbeidet mot mobbing (Utdanningsdirektoratet, 2011), og fem grunnleggende faktorer for å utvikle og opprettholde et godt læringsmiljø på skolen. De fem faktorene handler om god ledelse som sørger for at skolen jobber systematisk og kontinuerlig med læringsmiljø, god og tydelig klasseledelse, positive relasjoner mellom lærer og enkeltelever, positive relasjoner og kollektiv «vi-følelse» i elevgruppen og godt skole-hjem samarbeid.
Skoleoverganger
Det er mange overganger i løpet av et langt skoleliv som kan føre til store sosiale endringer, særlig fordi ungdom er i en periode i livet der sosiale relasjoner til jevnaldrende oppleves svært viktige, men også utfordrende (Morin, 2021b). I dokumentet vises det til Morin (2021b) som påpeker at opplevd sosial støtte fra jevnaldrende og lærere kan være en beskyttelsesfaktor i møte med stress relatert til overganger, som i form av økt motstandskraft mot depressive symptomer og ensomhet. Morin (2021b) hevder videre at det er grunnlag for å anta at elever som opplever positive, omsorgsfulle og stabile relasjoner med klassekamerater i overgangen til videregående skole (og ungdomsskolen) har større sjanse for å bli inkludert og oppleve klassetilhørighet. Dette danner grunnlaget for at man i VIP Makkerskap har fokus på skoleoverganger og de unges behov for tilhørighet og positive relasjoner til medelever (jamfør Morin, 2021b).
Psykisk helse, trivsel og læring
Et delmål i VIP Makkerskap handler om å fremme psykiske helse, trivsel og læring. Det vises her til boka «Psykisk helse i skolen» (Bru, Idsøe, & Øverland, 2016) som referer til forskning som indikerer at det er en sterk sammenheng mellom gode læringsresultater og et tydelig fokus på elevenes emosjonelle velvære og psykiske helse.
Implementeringsstrategier, kvalitetssikring og kostander
VIP Makkerskap er utviklet av VIP Psykisk helse i skolen, som eies av Vestre Viken helseforetak, og finansieres av Helsedirektoratet gjennom tilskuddsordningen «Psykisk helse i skolen». VIP Makkerskap er inspirert av det danske skoleprogrammet Netwerk som fokuserer på felleskap og god klassetrivsel, i samarbeid med organisasjonen Ventilen (https://projektnetwerk.dk/).
Etter et pilotprosjekt på en videregående skole i skoleåret 2014/15 (se nedenfor) startet en nasjonal spredning og implementering på andre videregående skoler fra skoleåret 2015/16, og det ble satt i gang opplæringsseminar regionalt, fylkesvis og på enkeltskoler. I skoleåret 2021/22 ble VIP Makkerskap gjennomført ved 139 videregående skoler i alle landets fylker, og 12 skoler på ungdomstrinnet. Ifølge tiltakseier har flere kommuner og skoler fått opplæring i skoleåret 2021/22.
For skoler som ønsker å ta i bruk VIP Makkerskap presenteres tiltaket via et digitalt møte eller en telefonsamtale, sammen med oversendelse av informasjonsskriv til skolens ledelse. Før første gangs gjennomføring av VIP Makkerskap gis 3 timers regionale eller nasjonale opplærings-webinar. Skolens ledelse har ansvar for å legge til rette for at lærere mottar opplæringen. Nyansatte og andre med behov for opplæring, får tilbud om å delta på et årlig regionalt eller nasjonalt opplæringsseminar (informasjon fra tiltakseier i et skriv til Ungsinn).
Opplæring gjennomføres av VIP Psykisk helse i skolen. Etter gjennomført opplæring mottar skolen materiell om tiltaket (lærerveiledning og dokument til elever og foresatte). Gjennom opplæring og i materiell vektlegges betydningen av involvering fra skolens ledelse og øvrige voksne for å sikre vellykket implementering. Skolen tilbys en digital evaluering for elever og lærere, hvor skolen får en oppsummering av elevenes besvarelser klassevis, trinnvis og totalt for hele skolen. VIP Psykisk helse i skolen er tilgjengelig for veiledning av kontaktpersonen på skolen (som er en person som skolen oppnevner og som blir registrert i VIP Psykisk helse i skolen sin oversikt over skoler/kontaktpersoner) og for lokalt VIP-team/skolens ledelse gjennom hele skoleåret.
Opplæring og materiell tilbys skolene vederlagsfritt grunnet finansiering fra Helsedirektoratet over tilskuddsordningen «Psykisk helse i skolen».
Problemstilling for artikkelen
Formålet med denne artikkelen er å vurdere om VIP Makkerskap kan være virksomt benyttet i vanlig praksis i Norge, med hovedfokus på elever i videregående opplæring.
Metode
Litteratursøk etter studier om tiltaket ble gjennomført i databasene Embase, Medline og Psykinfo, NORART, Cochrane, Google scolar, NORA, SCOPUS, SweMed, Cambell, NREPP, NICE, Blueprint, CEBC, Vidensportalen, Metodguiden, Cinahl og EIF. Søkedato: 06.07.2021. I tillegg ble tiltakseier kontaktet og bedt om å sende inn dokumentasjon som ikke ble fanget opp av søket, som for eksempel manualer, veiledere, upublisert forskningsdokumentasjon, implementeringsstrategier og kvalitetssikringsrutiner. To forskere gjennomgikk forskingsdokumentasjonen uavhengig av hverandre og identifiserte den aktuelle litteraturen for nordiske effektstudier, internasjonale kunnskapsoppsummeringer, samt andre norske evalueringer i henhold til kriteriene for klassifisering av tiltak i Ungsinn (Martinussen mfl., 2019).
Resultater
Resultater fra litteratursøk
Litteratursøket resulterte i 25 treff hvorav åtte treff ble vurdert for inklusjon. De resterende 17 treff ble ekskludert da de ikke omhandlet VIP Makkerskap (12) eller var duplikater (5). Av de resterende åtte treff som ble vurdert i fulltekst ble tre ekskludert da de ikke var evalueringsstudier av VIP Makkerskap (Gjerustad, Smedsrud, & Federici, 2019; Rimehaug, Singstad, Ekornes, Westbye, & Andersen, 2021,Morin, 2020), mens fem ble inkludert. Av de fem inkluderte artiklene var to skrevet på bakgrunn av en norsk effektstudie (Morin, 2021a; 2022), tre andre norske evalueringer (Skoleprogrammet VIP & Rosenvilde videregående skole, 2015; Skoleprogrammet VIP, 2016, Skoleprogrammet VIP, 2019), men ingen internasjonale kunnskapsoppsummeringer.
Som en del av et doktorgradsprosjekt, er det gjort en effektstudie der resultatene er presentert i to artikler (Morin, 2021a; 2022). Kvasieksperimentelt design er benyttet for å evaluere effekten av VIP Makkerskap på ulike utfallsmål. Tiltaksgruppen besto av 1101 elever fra 10 videregående skoler, mens kontrollgruppen besto av 734 elever fra 7 videregående skoler (elever som deltok på alle tre målingene). Foreldre og elever fikk informasjon om undersøkelsen og om muligheten for å trekke seg og at de samtykket ved å delta i undersøkelsen. Foreldrene samtykket for elever under 16 år. Det ble gjennomført repeterte målinger med spørreundersøkelser én uke etter implementering/oppstart (T1), etter 10 uker (T2) og 6 måneder etter implementering/oppstart (T3).
I den første artikkelen (Morin, 2021a) ble effekten på sosialt klassemiljø presentert, mens i den andre (Morin, 2022) ble effekten på lykke, ensomhet, og depresjon-/angstsymptomer moderert med nivå av sosial angst ved baseline (T1), presentert.
De tre andre evalueringene er alle utgitt av daværende Skoleprogrammet VIP (nå VIP Psykisk helse i skolen), og beskriver første pilotering på henholdsvis en videregående skole (Skoleprogrammet VIP & Rosenvilde videregående skole, 2015) og en ungdomsskole (Skoleprogrammet VIP, 2019), samt en evaluering av VIP Makkerskap etter gjennomføring blant 18 videregående skoler i 2015/2016 (Skoleprogrammet VIP, 2016).
Figur 1
Flytdiagram for gjennomgang av litteratur
Gjennomgang av beskrivelser
VIP Makkerskap er gjennomgående godt beskrevet på nettsiden til VIP Psykisk helse i skolen og i dokumentene til skolens ledelse, elever, foresatte og i en egen lærerveiledning. En vurdering av beskrivelsen kan ses i Tabell 1. Målgruppen for tiltaket var i utgangspunktet elever ved oppstart av første trinn på videregående opplæring, men tiltaket tilbys også for oppstarten på ungdomsskolen og ble fra og med 2022 anbefalt å bli benyttet på alle trinn både på ungdomsskolen og på videregående skole. Både hovedmål og delmål er beskrevet. Hovedmålet er å skape et godt psykososialt læringsmiljø hvor elever opplever trygghet og tilhørighet, mens delmålene er å fremme elevers psykiske helse, trivsel og læring, å styrke elevers sosiale og relasjonelle kompetanse, skape en trygg og forutsigbar skolestart, etablere et godt klassemiljø tidlig, at elevene skal bli kjent med de andre i klassen og å skape gode arbeidsrelasjoner som fremmer livsmestring i skolehverdagen.
Tiltaket starter første skoledag og skal vare i minst 9 uker, der skifte av makkerpar og makkergruppe skjer hver tredje uke. Fra 2022 anbefaler tiltakseier at tiltaket blir brukt hele skoleåret. I lærerveiledningen, som kan ses på som tiltakets manual for kontaktlærere og faglærere som er utøvere av tiltaket, beskrives hensikten med programmet, målsetninger, gjennomføring og en egen oppgavesamling. Lærerveiledningen gir råd og føringer for oppstart av nye makkerpar og makkergrupper, inkluderende bli-kjent oppgaver og inngåelse av «gruppekontrakt». Etablering og gjennomføring av makkerpar og makkergrupper kan ses på som tiltakets kjernekomponenter. Ut over dette gir ikke lærerveiledningen klare føringer for hvordan den praktiske gjennomføringen av VIP Makkerskap skal foregå, for eksempel hvor ofte og hvor mange av oppgavene i oppgavesamling som skal eller bør benyttes. Oppgavesamlingen kan derfor sees på mer som en idébank. De tre inkluderte evalueringsrapportene (Skoleprogrammet VIP & Rosenvilde videregående skole, 2015; Skoleprogrammet VIP, 2016; Skoleprogrammet VIP, 2019) bidrar til å styrke beskrivelsen av tiltaket.
Tabell 1
Vurdering av tiltakets beskrivelse
Dimensjoner i beskrivelsen | Ikke beskrevet | Noe beskrevet | Godt beskrevet |
---|---|---|---|
Problembeskrivelse | X | ||
Målgruppe | X | ||
Hovedmål | X | ||
Sekundærmål | X | ||
Utforming av tiltaket | X | ||
Metoder som benyttes | X | ||
Kjerneelementer/fleksibilitet | X | ||
Utøvere av tiltaket | X | ||
Manual/veileder for mottakere av tiltaket | X | ||
Materiell for mottakere av tiltaket | X | ||
Undersøkelser som styrker beskrivelsen | X |
Nordiske effektstudier
En norsk effektstudie ble identifisert (tabell 2), presentert i to artikler der effekten av VIP Makkerskap gjennom kvasi-eksperimentelt design med repeterte målinger ble undersøkt (Morin, 2021a; 2022).
Tabell 2
Inkluderte nordiske effektstudier
Studie/artikkel | Forskningsdesign | Deltakere | Utvalget | Måletidspunkter |
---|---|---|---|---|
Morin, A. H. (2021a). The VIP Partnership Programme in Norwegian Schools: An Assessment of Intervention Effects. Scandinavian Journal of Educational Research | Kvasi-eksperiment design, med kontrollgruppe | 1101 elever (og 734 i kontroll-gruppe) | Elever fra 17 skoler, 10 i intervensjonsgruppen og 7 i kontrollgruppen. Kontrollskolene matchet tiltaksskolene når det gjelder størrelse og geografisk beliggenhet | Baseline ble målt etter 1 uke (T1), den andre undersøkelsen ble gjennomført 10 uker etter første gangs eksponering og den tredje etter 6 måneder (T3) |
Morin, A. H. (2022). Promoting positive social classroom environments to enhance students’ mental health? Effectiveness of a school-based programme in Norway. International Journal of Educational Research. | Kvasi-eksperiment design, med kontrollgruppe | 1101 elever (og 734 i kontroll-gruppe) | Elever fra 17 skoler, 10 i intervensjonsgruppen og 7 i kontrollgruppen. Kontroll-skolene matchet tiltaksskolene når det gjelder størrelse og geografisk beliggenhet | Baseline ble målt etter 1 uke (T1), den andre undersøkelsen ble gjennomført 10 uker etter første gangs eksponering og den tredje etter 6 måneder (T3) |
Forskningsmetodisk kvalitet
Tabell 3
Forskningsmetodisk kvalitet
Studie | 1. Statistiske analyser | 2. Måling | 3. Indre validitet | 4. Tro mot tiltaket | 5. Ytre validitet | Gj. snitt |
---|---|---|---|---|---|---|
Morin, A. H. (2021a) | 2 | 2 | 1,5 | 1 | 1,5 | 1,6 |
Morin, A. H. (2022) | 2,5 | 2,5 | 1,5 | 1,5 | 1,5 | 1,9 |
Statistiske analyser
Studien som er presentert i to artikler (Morin, 2021a; 2022) er fra et tilgjengelighetsutvalg, der kvasieksperimentelt design med kontroll- og tiltaksgruppe (ikke tilfeldig valgt) er benyttet blant elever på 1.trinn i videregående opplæring. Det er gjort repeterte målinger; 1 uke etter at elevene startet på skolen og eksponert for programmet (T1), 10 uker etter oppstart (T2), og 6 måneder etter oppstart (T3). 1582 elever deltok ved baseline (T1) fra tiltaksgruppa og 1026 elever deltok fra kontrollgruppa, og 1101 elever fra tiltaksgruppa og 734 fra kontrollgruppa deltok ved alle tre undersøkelsene. 14 av skolene svarte innen tidsfristen på T1, mens tre av skolene fikk utvidet svartid med 1 ½ uke. Det gjorde at elever på tre skoler ble eksponert for programmet noe lengre enn elevene ved de andre skolene.
Det ble i Morin (2021a) gjennomført enveis kovariansanalyse (one-way ANCOVA) for å si noe om intervensjonens effekt på sosialt klassemiljø. Baselineskåren (T1) ble brukt som kovariat i tillegg til mål på sosial angst, ensomhet, kjønn, mors utdanningsnivå og gjennomsnittskarakter (se målinger og måleinstrumenter under). Styrken på effekten på sosialt klassemiljø ble kategorisert i henhold til Cohens`d (Cohen & Steinberg, 1992) for funn som var signifikante mellom tiltaks- og kontrollskolene på henholdsvis T2 og T3.
I Morin (2022) ble multivariate analyser (MANCOVA) valgt, som tar hensyn til nivå av pre-test skårer for avhengige variabler. Det ble foretatt to separate to-veis MANCOVA, etter 10 uker (T2) og etter 6 måneder (T3), for å undersøke effekter av tiltaket på utfall som lykke, depresjon-/angstsymptomer og ensomhet, justert for kjønn, gjennomsnittlig skolekarakterer, og mors utdannelse samt baseline skårer for nivå av sosial angst (ingen, lav eller høy sosial angst). Det ble videre undersøkt hvorvidt nivå av sosial angst modererte effekter av tiltaket.
Forskningsdesign for studien (publisert i to artikler) anses som adekvat for evaluering av denne type tiltak, men mangelen på randomisering er likevel en svakhet. Det gir grunnlag for å stille spørsmålstegn ved resultatenes gyldighet. Analyser og resultater er godt beskrevet, men det er en svakhet ved analysene at det ikke er tatt hensyn til den hierarkiske strukturen i data (elever «nested» innom skoler, klasser), som kan føre til for lave p-verdier (for lav standardfeil) og for høye effektstørrelser (ettersom standardavviket blir for lite). Dette kan være rimelig alvorlig gitt lave effektstørrelser. Det er heller ikke rapportert en power-analyse, men utvalget er relativt stort, så den statistiske styrken er trolig tilstrekkelig for beregning av effekt på elevnivå – om enn ikke på skolenivå. Frafallsanalyser er ikke beskrevet i første artikkel, og er noe uklart beskrevet i artikkel to (Morin, 2022). Det kan se ut som at listwise deletion ble benyttet for å håndtere missing, der de fjernet respndenter uten komplette data på alle de tre tidspunktene. Svakheter ved denne strategien inkluderer en fare for skjevhet dersom missing ikke er «missing completely at random» (MCAR) og mindre statistisk styrke. De fant også at elevene som ikke deltok ved T2/T3 hadde dårligere karakterer og helse ved baseline enn elevene som deltok ved alle måletidspunktene. Siden dette går imot MCAR-antakelsen, hadde det styrket studien å håndtere missing ved bruk av Full Information Maximum Likelihood (FIML) eller Multippel imputasjon, da disse har en mindre restriktiv «missing at random» (MAR) antakelse (Schafer & Graham, 2002). Blant de elevene som ikke deltok ved T2/T3 ble det ikke identifisert signifikante forskjeller mellom tiltaks- og kontrollskolene når det gjaldt kjønn, mors utdanningsnivå eller avhengige variabler ved baseline (T1).
Målinger og måleinstrumenter
Utfallsmål i den første artikkelen var sosialt klassemiljø ved T2 og T3. Det fantes ingen selvrapporteringsmål for sosialt klassemiljø fra tidligere undersøkelser (ut fra forfatterens søk), og det ble derfor utviklet en egen skala. Den egenutviklede skalaen besto av fire spørsmål, hvor to ble utviklet for studien og to ble tilpasset fra VIP Psykisk helse i skolen. De fire spørsmålene handler om hvor trygge de føler seg på skolen, om de har noen å være sammen med i pauser, om de har noen å sitte sammen med i klasserommet og om andre elever hilser på dem. Det må stilles spørsmål til innholdsvaliditeten for sosialt klassemiljø, da alle spørsmålene er på individnivå og ingen handler om hvordan de opplever klassemiljøet.
Sosial angst ble målt med Mini-Social Phobia Inventory (mini-SPIN) som inkluderer tre spørsmål fra Social Phobia Inventory (Connor mfl., 2000). Det vises til internasjonale studier som belyser reliabilitet og validitet (Connor, Kobak, Churchill, Katzelnick, & Davidson, 2001; Garcia-Lopez & Moore, 2015; Wiltink mfl., 2017), men instrumentet har ikke vært brukt i Norge tidligere. Det foreligger ingen informasjon om den norske oversettelsesprosessen, kvaliteten på oversettelsesarbeid eller norsk tilpasning av det opprinnelige spørreskjemaet. Denne skalaen ble brukt i begge artiklene (Morin, 2021a; 2022). I Morin (2022) ble utvalget delt i tre grupper ut fra gjennomsnittsskåre: 1= ingen sosial angst), > 1 – < 3 (lav sosial angst), eller ≥ 3 (høy sosial angst).
Ensomhet ble målt gjennom en tilpasning av den norske versjonen av Loneliness and Social Dissatisfaction Questionnaire med fire spørsmål (Asher & Wheeler, 1985; Valås, 1999). Tilpasningen var at elevene kunne svare i et retroperspektiv (opplevelser av ensomhet i 10.klasse, som de svarte på ved skolestart i videregående skole, T1). Det foreligger ingen informasjon om den norske oversettelsesprosessen, kvalitet på oversettelsesarbeidet eller norske tilpasninger av det opprinnelige spørreskjema. Denne skalaen er brukt i begge artiklene (Morin, 2021a; 2022).
I Morin (2022) ble lykke målt med fire spørsmål. Denne skalaen er utviklet av Skaalvik og Federici (2015) men den er ikke tidligere publisert. Elevene ble bedt om å tenke tilbake på det siste to ukene når de svarte i hvilken grad de var enige i fire utsagn, for eksempel «Følt at livet er flott» og «Følt seg lykkelig».
Depresjon-/angstsymptomer inneholdt ni tilpassede spørsmål hentet fra the Hopkins Symptom Checklist (Derogatis mfl., 1974). Det vises til internasjonale studier som belyser psykometriske egenskaper for ulike versjoner av instrumentet. Elevene ble bedt om å svare for de to siste ukene på ni påstander for depresjon/angst og i hvor stor grad det gjaldt dem. Spørsmål var for eksempel «Bekymret seg mye» og «Gråter lett».
Det rapporteres god til utmerket indre konsistens reliabilitet for alle disse skalaene, med Chronbach`s alpha (α) på T1 for sosialt klassemiljø på α = 0,80, sosial angst på α = 0,80, ensomhet på α = 0,93, lykke α = 0,87, og depresjon/angst α = 0,92 ved T1. I begge artiklene ble karakterer målt som gjennomsnittsskåre av selvrapporterte karakterer i fagene norsk, matematikk og engelsk fra 10. klasse. Sosial bakgrunn ble målt som mors utdanningsnivå oppsummert som en 2-delt skala: utdannelse opp til videregående skole eller høyere utdanning på høyskole eller universitetet.
Morin (2021a) viser til at det er gjort supplerende undersøkelser for å undersøke grunnlag for observert effekt. Her vises det til et lærerskjema og måling av holdninger til VIP Makkerskap blant lærere. Innholdet og reliabiliteten for disse måleinstrumentene er imidlertid ikke beskrevet i artikkelen, selv om det løftes frem som en viktig konklusjon for studien.
Samlet sett anses de fleste målene som tilfredsstillende å benytte for dette formålet, og det rapporteres indre konsistens reliabilitet i det aktuelle utvalg. Samtidig mangles det for noen av instrumentene kjennskap til norsk tilpasning og det stilles noe usikkerhet til den egenutviklede skala for sosialt klassemiljø (beskrevet over) i forhold til hvorvidt den dekker begrepet sosialt klassemiljø.
Indre validitet
Skolene som deltok i studien var ikke tilfeldig plukket ut, men kan beskrives som et tilgjengelighetsutvalg. Intervensjonsskolene ble rekruttert blant offentlige skoler i to fylker som allerede hadde implementert VIP Makkerskap eller som hadde planlagt oppstart høsten 2017, samtidig som undersøkelsen fant sted. Dette innebærer at noen av tiltaksskolene undersøkes ved første gangs gjennomføring, mens andre har gjennomført VIP Makkerskap i en periode (fra ett til tre års erfaring). Dette kan være en begrensing ved studien (se under effekter).
Skolene i kontrollgruppen ble rekruttert fra de samme to fylkene, og ble beskrevet som relativt like tiltaksskolene med hensyn til størrelse og geografisk beliggenhet. Det er ikke kjent om kontrollskolene gjennomførte tilsvarende program i løpet av studieperioden, selv om de ikke brukte VIP Makkerskap. Det er heller ikke kjent hvorvidt tiltaksgruppen brukte andre programmer enn VIP Makkerskap eller om de i tillegg brukte VIP Snakk om det. Dersom skolene implementerte andre program, kan dette ha innvirkning på både intern og ekstern validitet.
I første artikkel ble det rapportert at det ikke var signifikante forskjeller mellom skolene i tiltaks- og kontrollgruppen for sosialt klassemiljø ved T1. Det presenteres videre at tiltaks- og kontrollgruppene var relativt like på øvrige demografiske variabler som er målt, men det er ingen informasjon om statistisk signifikans. Dette kan indikere at de to skolegruppene i utgangspunktet var rimelig sammenlignbare, selv om forskjeller på andre variabler ikke kan utelukkes.
Det er oppgitt hvor mange elever som fikk tilbud om å delta ved T1 og hvor mange som var med i alle tre målingene. Det er mottatt svar fra 55 % av elevene på alle tre målinger for tiltaksskolene og 63 % for kontrollskolene, men man vet ikke hvor mange som opprinnelig samtykket til deltagelse. Såpass lave svarprosenter påvirker sannsynligvis den interne validiteten negativt. Frafallsanalyser er ikke rapportert i første artikkel, men er kort rapportert i den andre artikkelen (se statistiske analyser). Elevene ved tiltaksskolene som falt fra ved T2/T3 hadde dårligere helse og dårligere gjennomsnittskarakterer enn de som fullførte undersøkelsene. Det betyr at missing ikke er helt tilfeldig (MCAR), som igjen kan føre til skjevhet i resultatene og usikre funn.
Det er positivt at elevene i tiltaksgruppen og kontrollgruppen er rekruttert fra ulike skoler, da det reduserer smitteeffekter (mindre sjanse for at kontrollgruppen kjenner til eller bruker deler av innholdet i tiltaket). Smitte mellom betingelsene kan likevel ikke utelukkes gitt tilknytning til samme fylke. Det er også positivt at det er elevene som svarer, da det er de som har erfart om tiltaket har påvirket sosialt klassemiljø, ensomhet, depresjon-/angstsymptomer og lykke.
En svakhet ved studiens design er at noen av skolene hadde innført/implementert VIP Makkerskap før studiet startet og før elevene i studien ble eksponert for tiltaket (ofte flere år tidligere). Dette gjør at det ikke er et rent kvasieksperimentelt effektstudie med pre-post måling og kontrollgruppe. Dette kan enten føre til for små effektestimater (om implementeringskvaliteten ikke er tilstrekkelig høy) eller til for høye estimater (ettersom skoler som ikke lykkes kan ha større sjanse for å forlate programmet før baseline), sammenliknet med om alle intervensjonsskolene hadde startet etter baseline.
I den første artikkelen er det noe vanskelig å forstå hvorfor det kontrolleres for ensomhet og sosial angst når utfallsmålet inkluderer spørsmål som for eksempel å ha noen å være sammen med i pauser og å ha noen å sitte sammen med i klasserommet. Det er med andre ord noe uheldig overlapp mellom avhengige og uavhengige variabler.
Tro mot tiltaket
En eller flere ansatte deltok på et seminar om VIP Makkerskap som igjen var ansvarlige for opplæring av andre lærere på skolen og for hvordan de skulle ta i bruk tiltaket i skolen (Morin, 2021a). Selv om alle kontaktlærere fikk tilgang til lærerveiledningen, kan det virke som at det er mye opp til den enkelte kontaktlærer hvordan tiltaket gjennomføres i den enkelte klasse og hvordan samarbeidet med faglærere skal foregå. I Morin (2022) presenteres mål på fidelity, der lærere i tiltaket ble spurt om de hadde fått trening i VIP Makkerskap, om de hadde delt elevene i makkerpar fra første skoledag, om de hadde endret makkerpar og -grupper hver tredje uke, om de hadde brukt øvelser fra læreres informasjonsguide og i hvilken grad elevene hadde arbeidet i makkerpar eller -grupper i klassene. Av de lærere som besvarte spørreskjema til lærerne (67 %), rapporterte 95 % at de hadde fått opplæring; enten i en time (23 %), to timer (45 %) eller tre timer (10 %). 88 % rapporterte å ha delt i makkerpar fra første skoledag, 92 % endret makkerpar og -grupper hver tredje uke, og 88 % hadde brukt øvelser fra lærerguiden. Lærerne rapporterte også at 80 % av elevene hadde for det meste eller alltid arbeidet i makkerpar eller -grupper i sine timer. I tillegg ble elevene ved tiltaksskolene spurt om de ved første skoledag fikk en makker, om de deltok i øvelser som gjorde at de ble kjent med medelever og om de fikk navnelapper på pulten, noe de aller fleste bekreftet. Likevel skåres denne noe lavt, da det er lærere som har fått opplæring som må sikre at andre lærere får opplæring. Det finnes heller ingen systemer som kvalitetssikrer dette (sjekklister eller videoanalyser).
Ytre validitet
Effektstudien (Morin, 2021a; 2022) ble gjennomført i ordinær skolehverdag og for målgruppen på første trinn på videregående skole, som tiltaket opprinnelig er utviklet for. Det er ingen opplysninger om hvor skolene i undersøkelsen ligger mht. urbane og bynære strøk. Videre viser opplysningene at tiltaks- og kontrollskolene er relativt like når det gjelder skolestørrelse, kjønn, mors utdanningsnivå, og født i Norge, men det er flere jenter og flere på allmenne fag i begge utvalgene enn det som er nasjonalt gjennomsnitt. Hvordan deltakerskolene lignet på eller var forskjellige fra andre videregående skoler i Norge på andre områder fremgår ikke. Utvalgets representativitet er dermed usikker.
Effekter
Morin (2021a) fant signifikant bedre skårer for elever som gikk på skoler som hadde gjennomført VIP Makkerskap på utfallsvariabelen sosialt klassemiljø, sammenlignet med elever i kontrollgruppen som ikke hadde implementert programmet, både på T2 og T3. Effektstørrelsene (ES) var imidlertid små, med henholdsvis Cohen`s d = 0,10 ved T2 (rett etter tiltaket var slutt) og d = 0,09 for T3 (seks måneder etter tiltaket).
På grunn av små effektstørrelser oppgir Morin (2021a) at de gikk videre med å undersøke om noen av tiltaksskolene skilte seg ut med tanke på mulige effekter. Endringsskårer for sosialt klassemiljø fra T1–T2 og fra T2–T3 ble kalkulert for alle skoler. Morin (2021a) oppgir at det eneste området som skilte tiltaksskoler med signifikant bedring fra tiltaksskoler uten signifikant bedring, var antall år lærerne hadde brukt VIP Makkerskap. Dette understøtter at designet ikke var ideelt og at resultatene er beheftet med usikkerhet.
I den andre artikkelen ble det funnet signifikant bedre skårer for elever på tiltaksskoler for lykke (0,12) og depresjon-/angstsymptomer for elever med ingen (0,30) eller lav sosial angst (0,14) ved T2. Ingen effekt ble funnet for ensomhet. Det var heller ingen statistisk signifikante effekter på noen av utfallsmålene etter 6 måneder (T3).
Tabell 4
Effektstørrelser for utfallsvariabelen sosialt klassemiljø, lykke, og depresjon-/angstsymptomer
Effektstørrelse Cohens d (T2) | Effektstørrelse Cohens d (T3) | |
---|---|---|
Sosialt klassemiljø (Morin, 2021a) | 0,10** | 0,09* |
Lykke (Morin, 2022) | 0,12** | |
Depresjon-/angstsymptomer (ingen symptomer på sosial angst ved baseline) (Morin, 2022) | 0,30** | |
Depresjon-/angstsymptomer (lave symptomer på sosial angst ved baseline) (Morin, 2022) | 0,14* |
*p<0,05, ** p<0,01
Internasjonale kunnskapsoppsummeringer
Det finnes ingen internasjonale kunnskapsoppsummeringer.
Andre norske evalueringer
Det er utarbeidet tre evalueringsrapporter med elever og lærere som målgruppe. To av disse rapportene («Man har alltid noen å sitte med slik at ingen føler seg utenfor: Evalueringsrapport pilot VIP-makkerskap» «Alle blir kjent med alle: Evalueringsrapport VIP-makkerskap fra pilotprosjekt med Hole ungdomsskole») beskriver et pilotprosjekt på VIP Makkerskap på henholdsvis en videregående skole og en ungdomsskole (Skoleprogrammet VIP & Rosenvilde videregående skole, 2015; Skoleprogrammet VIP, 2019). Den tredje rapporten («En plass for alle: Evalueringsrapport VIP-makkerskap») presenterer en evaluering av VIP Makkerskap etter gjennomføring ved 18 videregående skoler for skoleåret 2015/2016 (Skoleprogrammet VIP, 2016). Disse evalueringene er ikke å regne som effektstudier, men oppsummerer erfaringer fra observasjoner, dialog og besvarelser fra elever og lærere på spørreundersøkelser med både avkrysningsspørsmål og åpne spørsmål (mulighet for å gi skriftlige tilbakemeldinger). Ingen av evalueringene hadde pre-målinger eller kontrollgrupper.
Implementeringskvalitet
VIP Psykisk helse i skolen gir noe implementeringsstøtte i form av informasjonsmøter med skolen før oppstart av tiltaket og gjennom årlige nasjonale og regionale opplæring-/oppfriskningsseminar. Det utnevnes en kontaktperson på den enkelte skole som mottar materiell årlig og som tilbys veiledning ved behov. Tiltaket skal gjennomføres av kontaktlærere/faglærere i klasserommet, og disse skal ha deltatt på et 3 timers opplæringsseminar. Opplæringsseminar gjennomføres av VIP Psykisk helse i skolen, eventuelt av ledelsen på skolen i samarbeid med skolens kontaktperson eller elevtjenesten dersom disse har deltatt på opplæringen. Opplæringen inkluderer informasjon om VIP Makkerskap, målsetninger, faglig forankring og praktisk gjennomføring av tiltaket. Det foreligger ikke prosedyrer for sertifisering av utøverne av tiltaket. Det tilbys ikke systematisk veiledning til den enkelte kontaktlærer eller faglærer som gjennomfører tiltaket, og det finnes ikke systematiske måter å måle/kvalitetssikre at den enkelte kontaktlærer gjennomfører tiltaket slik det er tiltenkt. Ifølge tiltakseier har ledelse/koordinatorer en sentral rolle i veiledningen av enkeltlærere. Årlig digital evaluering etter gjennomført tiltak kan potensielt bidra til utviklingsarbeid på den enkelte skole. Evalueringen består av spørreskjema til lærere og elever, hvor spørsmål er utviklet gjennom erfaringer fra pilotering av VIP Makkerskap og elevevalueringer fra VIP-programmet og Netwerk. Skolen mottar i etterkant oppsummerte resultater på trinn- og klassenivå og totalt for hele skolen.
Tabell 5
Implementeringskvalitet
Kategori | Ja | Nei | Ikke relevant |
---|---|---|---|
Implementeringsstøtte | X | ||
Kvalifikasjonskrav | X | ||
Opplæring | X | ||
Sertifiseringsordninger | X | ||
Monitorering av fidelity/etterlevelse | X | ||
Veiledning | X | ||
Identifisering av målgrupper | X | ||
Kartlegging og vedlikeholdsverktøy | X | ||
Strategier for tilpasning | X | ||
Samlet skåre | ∑3/8 |
Diskusjon
Hovedmålet med denne artikkelen er å undersøke om VIP Makkerskap er et virksomt tiltak benyttet i ordinær praksis i Norge, basert på Ungsinn sine kriterier for klassifisering. Resultatene diskuteres på bakgrunn av disse i påfølgende avsnitt.
Beskrivelse og teoretisk rasjonale
VIP Makkerskap er gjennomgående godt beskrevet gjennom egen nettside, materiell til skolens ledelse, elever og foresatte, samt i en lærerveiledning som kan regnes som tiltakets manual. Det er utviklet eget materiell for henholdsvis videregående- og ungdomsskolen. Lærerveiledningene gir føringer for hvordan presentere og starte opp med nye makkere og makkergrupper, som så rulleres hver tredje uke i minimum ni uker. Ut over dette gir lærerveiledningen rom for fleksibilitet, for eksempel gjennom en oppgavesamling som kan benyttes, en fleksibilitet som potensielt kan innebære at tiltaket gjennomføres nokså ulikt i forskjellige skoler og klasser.
Den teoretiske og faglige forankringen for VIP Makkerskap er beskrevet i eget dokument hvor sentrale prinsipper beskrives under brede overskrifter om et godt psykososialt miljø, god klasseledelse, sosial og relasjonell kompetanse, tilhørighet og felleskap, mangfold, inkludering og sosial læring, sosial støtte, forebygging av mobbing, skoleoverganger, psykisk helse, trivsel og læring. For hvert punkt vises det til kilder fra artikler, bøker, veiledere, rapporter og lignende, og ofte vises det til sekundærlitteratur. Selv om VIP Makkerskap nok berører alle disse temaene, er det utfordrende å forstå de sentrale teoretiske virkningsmekanismene som man antar ligger til grunn for aktiviteter og målsetninger i programmet. Hvilken teoretisk referanseramme (for eksempel sosial læringsteori) programmet er fundert på, er ikke beskrevet. Det teoretiske fundamentet (inkl. endringsmekanismer) bør beskrives, de faglige prinsippene bør spisses (dvs. tilpasses bedre til programmet) og det bør vises direkte til relevant forskningslitteratur.
Effektstudier og evalueringsstudier
Det foreligger en norsk effektstudie av VIP Makkerskap presentert i to artikler (Morin, 2021a; 2022). Gjennom kvasieksperimentelt design ble effekten av VIP Makkerskap undersøkt blant elever i videregående opplæring som mottok tiltaket og blant elever på skoler som ikke mottok tiltaket i to fylker. Studien har en noe utilfredsstillende metodisk kvalitet (beskrevet over), som kan føre til skjevhet i funn på grunn av blant annet lav svarprosent, manglende/svake frafallsanalyser og en håndtering av missing data som ikke er optimal. Det er også ulik tid siden tiltaket ble implementert for skolene og utfallsmålet overlapper i noen grad med noen kovariater. Utvalget er relativt stort, og studien er gjennomført i skolehverdagen og på den målgruppen tiltaket er utviklet for. Skolene i kontrollgruppen har ikke gjennomført VIP Makkerskap, men de kan være gjennomført andre tiltak for å fremme trivsel eller sosialt klassemiljø, noe som ikke er beskrevet. Sosialt klassemiljø ble målt gjennom et egenutviklet skjema på fire spørsmål. Spørsmålene går på opplevd trygghet og å ha noen å være sammen med på skolen, som anses i tråd med VIP Makkerskap sin hovedmålsetning om å skape et godt psykososialt miljø hvor elevene opplever trygghet og tilhørighet. En hovedinnvending er at sosialt klassemiljø inkluderte fire ledd, men som ikke er dekkende for begrepet og inkluderer for eksempel ikke lærer-elev relasjoner i klassen.
I den andre artikkelen (Morin, 2022), ble det gjort undersøkelser for flere utfallmål, som lykke, depresjon-/angstsymptomer og ensomhet, som igjen ble undersøkt for elever med ingen, lav eller høy sosial angst.
Elevene i studien svarer på spørsmål på tre forskjellige tidspunkt, en uke etter at elevene først ble eksponert for tiltaket, rett etter at tiltaket var ferdig (etter 10 uker) og ved seks måneders oppfølging. Det er positivt at det gjennomføres oppfølgingsmålinger for å sjekke ut om potensielle effekter vedvarer. Fra tiltakeier opplyses det at noen skoler velger å fortsette tiltaket ut over de 9 ukene det minimum skal vare. Det fremkommer ikke av de to artiklene om det gjelder for skolene i den aktuelle studien. Elever ved skolene som hadde brukt VIP Makkerskap skåret signifikant bedre på sosialt klassemiljø enn elever ved skoler som ikke hadde gjennomført tiltaket, men effektene var små og den praktiske betydningen kan antas å være begrenset (Morin, 2021a). Vesentlige svakheter ved designet og de empiriske analysene gjør imidlertid at funnene må anses som usikre. Det ble funnet signifikant bedre skårer for tiltaksskolene for lykke (Morin, 2022). I tillegg ble det funnet signifikant mindre depresjon-/angstsymptomer ved T2, men bare for elever med ingen eller lav sosial angst. Det kan bety at tiltaket har dårligere effekt for de som trenger det mest (de med høy sosial angst). Videre hadde elever ved tiltaksskolene som ikke fullførte T2 og T3 dårligere karakterer og dårligere helse ved baseline enn de elevene som deltok på alle måletidspunkt, noe som kan medføre skjevheter i resultatene. Ingen effekt ble funnet for ensomhet hverken ved T2 eller etter 6 måneders oppfølging. Det ble heller ikke funnet statistisk signifikante effekter for noen av de andre utfallsvariablene etter 6 måneder, som kan indikere at tiltaket ikke har blitt en del av skolens daglige virke.
Effektstørrelsene (ES) for universelle skolebaserte tiltak ligger vanligvis mellom 0,10 og 0,22 (for eksempel, Durlak mfl., 2011; Weare & Nind, 2011). Effektstørrelsene (ES) i denne studien varierte fra 0,09 til 0,30, som gjør et en kan si at resultatene er i tråd med det som er vanlig ved skolebasert tiltak. Men det må bemerkes at ES 0,30 gjelder for elever med ingen symptomer på sosial angst ved baseline, og at det var ingen effekter ble funnet blant elever med høy sosial angst ved baseline.
Det er også utgitt tre rapporter som oppsummerer erfaringer fra to pilotstudier gjennomført i enkeltskoler og fra en gruppe videregående skoler (n = 18) som hadde gjennomført VIP Makkerskap. Samlet sett beskriver rapportene at elevene stort sett er fornøyde med VIP Makkerskap og at flertallet gir positive tilbakemeldinger på programmets virkning på forhold tiltaket har som målsetning å påvirke. Selv om rapportene belyser aspekter ved implementering og utvikling av programmet, samt aspekter ved opplevelsen av eller tilfredshet med VIP Makkerskap, har ingen av studiene en forskningsmetodisk kvalitet som gjør at de kan brukes for å si noe om tiltakets effekt.
VIP Makkerskap er inspirert av det danske skoleprogrammet Netwerk som rapporterer om gode erfaringer (Netwerk, u.å.), men det foreligger ingen fagfellevurdert vitenskapelige dokumentasjon på dette.
Implementeringskvalitet
Som beskrevet, tilbys skolene noe implementeringsstøtte, men det finnes ingen prosedyrer (for eksempel veiledning, sertifisering) eller måleinstrumenter for å sikre tilstrekkelig høy kvalitet på gjennomføringen. Tiltakseier fremhever imidlertid betydningen av god implementering og lederforankring, samtidig som det kommer frem at hvordan og i hvilken grad tiltaket implementeres i klassen, i stor grad er opp til den enkelte kontaktlærer. I studien til Morin (2022) ble lærere bedt om å besvare fidelity-spørsmål 3 måneder etter programmet var avslutta. Blant de lærerne som besvarte, kan svarene indikere at implementeringskvaliteten var tilfredsstillende. Samtidig besvarte ikke alle lærerne disse spørsmålene, og varighet på mottatt opplæring varierte. Dette kan bety noe for kvaliteten av opplæringen, og at den kan variere. Når ansvar for videre opplæring og implementering på en skole gis til skolepersonell som har vært på opplæringsseminar, fremstår dette som en sårbar strategi med tanke på at opplæringen da vil kunne variere fra skole til skole. Dette kan ses i sammenheng med funn fra Morin (2021a) som indikerer at lærerens kunnskap om og erfaring med tiltaket innvirker på programmets effekter. Det gis tilbud om årlige evalueringer av tiltaket på skolen, hvor skolen kan motta oppsummerte resultat, noe som kan virke positivt inn på implementeringskvaliteten.
Konklusjon
Basert på Ungsinn sine kriterier, klassifiseres VIP Makkerskap på evidensnivå 3, tiltak med noe dokumentasjon på effekt. Tiltaket er godt beskrevet og har en bred teoretisk/faglig forankring, men som er for vidt formulert og bør spisses mot teoretiske virkningsmekanismer knyttet til tiltakets hovedmålsetninger. Det er gjort en effektstudie med kvasieksperimentelt design med tiltaks- og kontrollgruppe, der funn ble presentert i to artikler. Resultatene kan indikere at tiltaket har en svak effekt på sosialt klassemiljø slik det er målt, både etter 10 uker og 6 måneder. Det er bare funnet korttidseffekter (etter 10 uker ved T2) for lykke og depresjon-/angstsymptomer for elever uten eller med lave sosial angstsymptomer ved baseline (T1), men ikke for elever med høy sosial angst, og heller ingen effekter etter 6 måneder (T3). Det ble ikke funnet effekter for ensomhet verken etter 10 uker eller 6 måneder.
Siden noen av skolene hadde innført VIP Makkerskap før baseline (premålingen, T1, ble gjort en uke etter at elevene ble eksponert for tiltaket), er det noe tvilsomt om dette er en vanlig kvasieksperimentell effektstudie med pre-post måling og kontrollgruppe.
Studien er gjennomført i videregående skole og det finnes ingen effektstudier fra ungdomsskolen. Det trengs derfor mer forskning av god forskningsmetodisk kvalitet som belyser tiltakets effekter både på ungdoms- og videregående skole, og på et bredere spekter av tiltakets målsetninger, for å kunne si noe om effekter. Tiltaket fremstår som enkelt og lite tidkrevende å gjennomføre, uten store inngrep i skolehverdagen. Samtidig kan tiltaket, gjennom opplæring og praktisk bruk i skolen, bli gjennomført nokså ulikt fra skole til skole og mellom klasser, da gjennomføringen i stor grad er avhengig av den enkelte lærer. Dette innebærer en usikkerhet på om VIP Makkerskap leveres i tråd med intensjonene.
Referanser
Asher, S. R., & Wheeler, V. A. (1985). Childrens loneliness: a comparison of rejected and neglected peer status. Journal of Consulting and Clinical Psychology, 53(4), 500–505. https://doi.org/10.2307/1593680
Bakken, A. (2021). Ungdata 2021. Nasjonale resultater. Hentet fra https://hdl.handle.net/11250/2767874
Bru, E., Idsøe, E. C., & Øverland, K. (2016). Psykisk helse i skolen. Oslo: Universitetsforlaget.
Cohen, J., & Steinberg, R. J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. https://doi.org/10.1037/0033-2909.112.1.155.
Connor, K. M., Davidson, J. R., Churchill, L. E., Sherwood, A., Foa, E., & Weisler, R. H. (2000). Psychometric properties of the Social Phobia INventory (SPIN). New self-rating scale. British Journal of Psychiatry, 176, 379–386. https://doi.org/10.1192/bjp.176.4.379
Connor, K. M., Kobak, K. A., Churchill, L. E., Katzelnick, D., & Davidson, J. R. (2001). Mini-SPIN: A brief screening assessment for generalized social anxiety disorder. Depression and Anxiety, 14(2), 137–140. https://doi.org/10.1002/da.1055
Derogatis, L. R., Lipman, R. S., Rickels, K., Uhlenhuth, E. H., & Covi, L. (1974). The Hopkins Symptom Checklist (HSCL): A self-report symptom inventory. Behavioral Science, 19(1), 1–15. https://doi.org/10.1002/bs.3830190102.
Durlak, J. A., Weissberg, R. P., Dymnicki, A. B., Taylor, R. D., & Schellinger, K. B. (2011). The impact of enhancing students’ social and emotional learning: A meta‐analysis of school‐based universal interventions. Child development, 82(1), 405–432. https://doi.org/10.1111/j.1467-8624.2010.01564.x
Fandrem, H., Tvedt, M. S., Virtanen, T. E., & Bru, L. E. (2021). Intentions to quit upper secondary education among first generation immigrants and native Norwegians: the role of loneliness and peer victimization. Social Psychology of Education. 1–21. https://doi.org/10.1007/s11218-021-09614-1
Frostad, P., Pijl, S. J., & Mjaavatn, P. E. (2015). Losing all interest in school: Social participation as a predictor of the intention to leave upper secondary school early. Scandinavian Journal of Educational Research, 59(1), 110–122. https://doi.org/10.1080/00313831.2014.904420
Garcia-Lopez, L., & Moore, H. T. A. (2015). Validation anddiagnostic efficiency of the mini-SPIN in Spanish–speaking adolescents. PLoS ONE, 10(8), 1–11. https://doi.org/1371/journal.pone.0135862
Gjerustad, C., Smedsrud, J., & Federici, R. A. (2019). Systematisk arbeid med psykisk helse: Spredning, bruk og implementering av eksterne skoleprogram. NIFU. Hentet fra https://www.helsedirektoratet.no/tilskudd/psykisk-helse-i-skolen/NIFUrapport2019-25.pdf/_/attachment/inline/d771d753-6569-44dc-9a4c-3a300a68ce82:3e38c9d6ffb5d9cd2af1bb4d94913dd9d40fee4c/NIFUrapport2019-25.pdf
Kunnskapsdepartementet. (2017). Verdier og prinsipper for grunnopplæringen – overordnet del av læreplanverket. Hentet fra https://www.regjeringen.no/contentassets/53d21ea2bc3a4202b86b83cfe82da93e/overordnet-del—verdier-og-prinsipper-for-grunnopplaringen.pdf
Martinussen, M., Reedtz, C., Eng, H., Neumer, S.-P., Patras, J., & Mørch, W.-T. (2019). Ungsinn. Tidsskrift for virksomme tiltak for barn og unge. Kriterier og prosedyrer for vurdering og klassifisering av tiltak. https://ungsinn.no/wp-content/uploads/2019/07/Ungsinn_kriterier_screen_2019-V2.1.pdf
Morin, A. H. (2020). Teacher support and the social classroom environment as predictors of student loneliness. Social Psychology of Education, 23(6), 1687–1707. https://doi.org/10.1007/s11218-020-09600-z
Morin, A. H, (2021a). The VIP Partnership Programme in Norwegian Schools: An Assessment of Intervention Effects. Scandinavian Journal of Educational Research, 65(7), 1238–1251. https://doi.org/10.1080/00313831.2020.1791247
Morin, A. H. (2021b). Influence of the Psychosocial School Environment on Adolescents’ Mental Health, Wellbeing, and Loneliness: Impact of a Psychosocial School Programme and Other Factors. NTNU. Hentet fra https://ntnuopen.ntnu.no/ntnu-xmlui/handle/11250/2830392?show=full
Morin, A. H. (2022). Promoting positive social classroom environments to enhance students’ mental health? Effectiveness of a school-based programme in Norway. International Journal of Educational Research, 113, 101966. https://www.sciencedirect.com/science/article/pii/S0883035522000441
Netwerk (u.å.). Følgeforskning af Netwerk. Hentet 04.09.21 fra https://projektnetwerk.dk/foelgeforskning-af-netwerk/
NOU 2015: 2. (2015). Å høre til – virkemidler for et trygt psykososialt skolemiljø. Kunnskapsdepartementet. Hentet fra https://www.regjeringen.no/no/dokumenter/nou-2015-2/id2400765/
Ogden, T. (2009). Sosial kompetanse og problematferd i skolen. Oslo: Gyldendal Akademisk.
Olsen, M. I., & Traavik, K. M. (2010). Resiliens i skolen – teori og tiltak. Oslo: Fagbokforlaget.
Rimehaug, T., Singstad, M. T., Ekornes, S., Westbye, O. S., & Andersen, A. C. (2021). Ungdom blir syke av å havne i sosiale tomrom. Hentet fra https://www.ntnu.no/blogger/helse/nb/ungdom-blir-syke-av-a-havne-i-sosiale-tomrom/
Schafer, J. L., & Graham, J. W. (2002). Missing data: Our view of the state of the art. Psychological Methods, 7, 147–177. https://doi.org/10.1037/1082-989X.7.2.147
Skaalvik, E. M., & Federici, R. A. (2015). Prestasjonspresset i skolen. Bedre skole, 3, 11–15.
Skoleprogrammet VIP & Rosenvilde videregående skole (2015). Man har alltid noen å sitte med slik at ingen føler seg utenfor: Evalueringsrapport VIP-makkerskap. Retrieved from https://vestreviken.no/seksjon/skoleprogrammet-vip/PublishingImages/Sider/VIP-makkerskap/Evalueringsrapport%20VIP-makkerskap%20Endelig%20utgave%2017.3.15.pdf
Skoleprogrammet VIP (2016). En plass for alle: Evalueringsrapport VIP-makkerskap. Hentet fra https://vestreviken.no/seksjon/skoleprogrammet-vip/PublishingImages/Sider/VIP-makkerskap/En%20plass%20for%20alle,%20%20evalueringsrapport%20VIP-makkerskap%20(2016).pdf
Skoleprogrammet VIP (2019). Alle blir kjent med alle: evalueringsrapport VIP-makerskap. Hentet fra https://vestreviken.no/seksjon/skoleprogrammet-vip/PublishingImages/Sider/VIP-makkerskap/Alle%20blir%20kjent%20med%20alle%20(2019).pdf
Spurkeland, J. (2012). Relasjonskompetanse: Resultater gjennom samhandling. Oslo: Universitetsforlaget.
Tvedt, M. S., Bru, L. E., Idsøe, T., & Niemiec, C. (2021). Intentions to quit, emotional support from teachers, and loneliness among peers: Developmental trajectories and longitudinal associations in upper secondary school. Educational Psychology, 41(8), 967–984. https://doi.org/10.1080/01443410.2021.1948505
Utdanningsdirektoratet. (2011). Arbeid mot mobbing. Veileder for ansatte og ledere i grunnskolen. Hentet fra http://ssn.nfk.no/_f/p34/i91c49d52-5705-4baf-a5e8-ad5cc11eaf2c/arbeid_mot_mobbing_veileder_bm.pdf
Valås, H. (1999). Students with learning disabilities and lowachieving students: peer acceptance, loneliness, self-esteem, and depression. Social Psychology of Education, 3(3), 173–192. https://doi.org/10.1023/a:1009626828789
Webster-Stratton, C. (2005). Hvordan fremme sosial og emosjonell kompetanse hos barn. Oslo: Gyldendal Akademisk.
Wenger, E. (2004). Praksisfælleskaber. København: Hans Reitzel.
Wiltink, J., Kliem, S., Michal, M., Subic-Wrana, C., Reiner, I., Beutel, M. E., . . . Zwerenz, R. (2017). Mini – social phobia inventory (mini-SPIN): psychometric properties and population based norms of the German version. BMC Psychiatry, 17(1), 377. https://doi.org/10.1186/s12888-017-1545-2