Sammendrag

BAKGRUNN
Denne artikkelen er en kunnskapsoppsummering om effektene av programmet Zippys venner. Programmet er et universalforebyggende skolebasert tiltak for barn i første til fjerde klasse. Hovedmålet med intervensjonen er å styrke barns evne til å takle stress. Programmet gjennomføres med ukentlige økter og er basert på stress-mestringsteorier (Lazarus & Folkman, 1984). Tiltaket implementeres i Norge via organisasjonen Voksne for Barn.

METODE
Denne oppsummeringen er basert på et systematisk litteratursøk i databasene Embase, Medline og Psykinfo, NORART Cochrane, Cristin, Nora, Scopus og SweMed. To nordiske studier tilfredsstilte inklusjonskriteiene til Ungsinn og ble inkludert i oppsummeringen. Artikkelen er en revisjon av en tidligere oppsummering i Ungsinn (Bjørknes, 2013), men revidert i henhold til nye vitenskapelige kriterier for klassifisering i Ungsinn.

RESULTATER
Resultatene inkluderer en vurdering av tiltakets beskrivelse, eksisterende effektstudier, kvalitet på forskningsmetoder og implementeringskvalitet. Intervensjonen er godt beskrevet, og det fremkommer av beskrivelsen hva som er mål, målgrupper og metoder i tiltaket. Det foreligger to nordiske effektstudier. I den ene er det benyttet en kvasi-eksperimentelt design, mens det i den andre er benyttet et randomisert klyngedesign. Begge studiene inkluderer både pre-post målinger og en sammenligningsgruppe. Den ene av studiene var gjennomført med god metodisk kvalitet. Denne viste positiv effekt på elevenes mestring, og at elevene ble flinkere til aktivt å søke støtte og hjelp. Den andre studien hadde utilfredsstillende forskningsmetodisk kvalitet og resultatene fra denne studien er derfor lite pålitelige.

KONKLUSJON
Zippys venner er klassifisert på nivå 4 – Intervensjon med tilfredsstillende dokumentasjon på effekt.

Innledning

Bakgrunn

Zippys venner er et helsefremmende og universelt forebyggende tiltak som kan benyttes i barneskolen fra første til fjerde klasse. Tiltakets overordnede mål er å fremme psykisk helse og å forebygge emosjonelle vansker ved å styrke barns evne til å mestre dagliglivets problemer (stressmestring). Programmets delmål er å styrke evnen til å gjenkjenne og sette ord på følelser, håndtere konflikter, fremme samarbeid, fremme empati, samt å gi støtte venner imellom.

Programmet er utviklet av den britiske organisasjonen Befrienders International i samarbeid med fagpersoner fra Canada, Belgia, Danmark og Norge, og er oversatt og tilpasset norske forhold. Organisasjonen Voksne for Barn er ansvarlig for implementering av Zippys venner i Norge. Programmet ble første gang prøvd ut i Norge skoleåret 2004, deretter har det vært en gradvis spredning.

Gjennomføring og metoder

Zippy-programmet er et skolebasert undervisningsopplegg og går over 24 uker med en time per uke for 1. og 2. klassetrinn (grunnprogrammet). Et eget program for videreføring av grunnprogrammet eksisterer for 3. og 4. trinn. Dette har en varighet på mellom 10 og 18 skoletimer, avhengig av hvor mange av de foreslåtte aktivitetene man ønsker å benytte. Hensikten med videreføringsprogrammet er å øke kunnskapen og bedre ferdighetene fra grunnprogrammet ytterligere.

Gjennom samtaler, rollespill, øvelser og tegninger gis barna anledning til å utforske følelser, problemer og løsninger. Oppgavene tar utgangspunkt i hverdagsproblemer med ulike sorger og gleder som de får høre om i historiene.  Læreren skal hjelpe barna til selv å finne mestringsstrategier og vurdere nytten av disse. Lærerens oppgave er å hjelpe barna til egenaktivitet innenfor rammen av timenes gitte læringsoppgaver og mål. For hver time er læringsmål, læringsoppgaver og tidsbruk detaljert beskrevet i tiltakets materiell. I det norske programmet har Voksne for Barn i samarbeid med erfarne Zippy-lærere videreutviklet problemstillinger som barna selv skal vurdere og finne ut hvordan de kan takle.

Beskrivelse og materiell

Undervisningsopplegget er delt inn i seks moduler som hver innledes med en historie om en gruppe barn og pinnedyret Zippy. Historiene inneholder gjenkjennelige utfordringer og problemer i barns hverdag, både i timene og i skolehverdagen for øvrig. Modulene er inndelt i følgende tema: 1) Følelser; 2) Kommunikasjon; 3) Venner og uvenner; 4) Å takle konflikter; 5) Å takle forandring og tap; og 6) Vi mestrer sammen. Alle historiene har fargerike illustrasjoner. Med hjelp av materiellet skal læreren stimulere barna til samtale, egenaktivitet og læring gjennom rollespill, øvelser og tegning. Disse aktivitetene skal igjen fremme følelsesfokuserte og handlingsfokuserte mestringsstrategier.

Programmet gjennomføres med en gradvis progresjon fra enkle læringsoppgaver til mer komplekse øvelser. Det er manualbasert og består av følgende materiell:

• Manual med arbeidsmateriell til grunnprogrammet: Et hefte for hver av de seks modulene med fortellinger og lærerveiledning til gjennomføring av timene (Voksne for Barn, 2012). Arbeidsmateriellet til hver modul skal kopieres opp av kursleder.
• Teorihefte: ”Råd og vink til lærere” (Partnership for Children, 2003). Her blir det redegjort for tanken bak programmet, stressmestringsteori og erfaringer med å bruke programmet.
• Hefte med supplerende aktiviteter til grunnprogrammet (Voksne for Barn, 2014) som inneholder alternative aktiviteter. Disse kan brukes som supplement til ordinære Zippy timer eller for å fordype seg i noen tema.
• Illustrasjoner/fargeplakater og annet vedlegg til hver modul.
• Hefte til videreføringsprogrammet for 3. og 4. trinn (Voksne for Barn, 2014). Hensikten er å forsterke effekten av grunnprogrammet gjennom å repetere innholdet av grunnprogrammet og anvende kunnskapen i situasjoner som er relevant for denne aldersgruppen. Heftet inneholder en CD med filmklipp av utfordrende situasjoner.

Målsetninger og målgruppe

Formålet med programmet er å forebygge emosjonelle problemer og å fremme god psykisk helse gjennom å lære barn å mestre hverdagens problemer, identifisere og snakke om følelser og å støtte andre som har det vanskelig.

Programmet tar sikte på å fremme følgende resiliensfaktorer:

• Økt stressmestring i barns hverdagsliv.
• Økt sosial kompetanse hos barn (bedring i samarbeid mellom barn, positiv selvhevdelse, mer selvkontroll og økt empati).

Det teoretiske grunnlaget for metoden

Programmet er forankret i teori og empiri om stressmestring og psykisk helse (Folkman & Lazarus 1986; Lazarus & Folkman 1984). De siste 30 års forskning viser at hvordan vi mestrer stress og påkjenninger har betydning for psykisk helse (Compas, Connor-Smith, Saltzman, Thomsen & Wadsworth, 2001). I følge mestringsteorien kan barns mestringsstrategier kategoriseres i følgende grupper: Søke sosial støtte, sosial tilbaketrekking, selvkritikk, problemløsning, resignasjon, distrahering, positiv vurdering (kognitiv restrukturering), ønsketenking eller dagdrømming og følelsesmessig regulering (Spirito, Stark & Williams, 1988). Kategoriene er senere omgruppert og videreutviklet av forskere som Compas og kollegaer (2001) og Skinner og kollegaer (2003). Nyere forskning understreker at også individuelle faktorer som temperament, utviklingsnivå, kontekst og type stressbelastning er bestemmende for hvilke mestringsstrategier vi bruker. Enkelte mestringsstrategier kan dermed være hensiktsmessige i en spesiell situasjon for en bestemt person. Samtidig understrekes det at det ikke finnes noen allmenngyldig mestringsstrategier, og at det er viktig å ha evne til å regulere både følelser og handlinger. Hovedtanken i Zippy-programmet er i tråd med dette. Varierte øvelsesoppgaver brukes for å utvikle et rikt mestringsrepertoar og fleksibilitet i håndtering av utfordringer. Derfor legges det vekt på overføring av læring ved gjentakelse av læringserfaringer i stadig nye situasjoner, både i Zippy-timene og i skolehverdagen for øvrig.

Evne til fleksibel mestring tilpasset ulike stressbelastninger forutsetter, ifølge programutviklerne, gode sosiale og emosjonelle ferdigheter og et støttende sosialt miljø. Oppgaver som stimulerer til sosial og emosjonell læring er derfor innebygget i Zippys venner. Dette er gjort for å utvikle kunnskap, ferdigheter og holdninger knyttet til å gjenkjenne og håndtere følelser, etablere og opprettholde positive vennskap, løse konflikter, fremme samarbeid og empati. Det legges stor vekt på å fremme et støttende klassemiljø gjennom å stimulere barna til å støtte og hjelpe hverandre.

Zippy-programmet er dermed et helsefremmende program som skal fremme hensiktsmessig stressmestring, sosiale og emosjonelle ferdigheter og et gjensidig støttende miljø som i sin tur har en positiv effekt på psykisk helse. Dessuten skal mestring og sosial støtte virke indirekte ved å beskytte mot psykiske helseproblemer når vi utsettes for belastninger og negative livshendelser (Cohen & Wills, 1985).

Implementeringsstrategier, kvalitetssikring og kostander

Implementeringsstrategi
For å kunne bruke programmet i skolen må alle lærere delta på en to dagers workshop sammen med skolehelsetjenesten og PP-tjenesten. Etter opplæringen kan deltakerne bli sertifiserte for å kunne tilby Zippys venner. Klasselærer har etter opplæringen hovedansvar for undervisningsopplegget i Zippys venner, helsesøster deltar i timene. PP-tjenesten eller andre tilgjengelige fagfolk med veilederkompetanse fra kommunen bidrar med oppfølging og veiledning. Forutsetningen for en implementering er at både skoleledelsen og de aktuelle lærerne har et ønske om å satse på Zippy-programmet. I selve implementeringsprosessen er det ønskelig at flere skoler i samme kommune starter samtidig med Zippy og at de danner nettverk.

Fra 2012 har Zippys venner vært et tilbud til elever i 1.- 4. skoletrinn. Siden 2014/2015 har alle nye skoler og kommuner inngått avtale med Voksne for Barn. Klasser hvor Zippy-programmet anvendes observeres kontinuerlig av Voksne for Barn, og skriftlige tilbakemeldinger fra lærere hentes jevnlig inn. Ut over dette er det ingen rutinemessig kvalitetssikring av hvordan programmet brukes.

Kostnader
Opplæringen i programmet dekkes av Helsedirektoratet og tilbys gratis til skolene. Skolene må selv dekke reise- og vikarutgifter i forbindelse med deltakelse på workshopen. Ved opplæring av lærere og veiledere får skolen dekket reise- og vikarutgifter i to dager.

Problemstilling for artikkelen

Formålet med denne artikkelen er å undersøke om tiltaket Zippys venner kan antas å være virksomt benyttet i vanlig praksis i Norge.

Metode

Vi søkte etter studier om tiltaket i databasene Embase, Medline og Psykinfo, NORART Cochrane, Cristin, NORA, SCOPUS og SweMed. Søkedato var: 06.12.2016. I tillegg har vi kontaktet tiltakseier i Norge og bedt om å få tilsendt manualer, veiledere, forskingsdokumentasjon som eventuelt ikke ble fanget opp av søket, samt informasjon om implementeringsstrategier og kvalitetssikring. Fra
forskningsdokumentasjonen ble det identifisert relevant litteratur for tre typer studier: Nordiske effektstudier, internasjonale kunnskapsoppsummeringer og andre norske studier i henhold til kriteriene for klassifisering av tiltak i Ungsinn (Martinussen mfl., 2016).

Denne artikkelen er en revisjon av en tidligere beskrivelse av det samme tiltaket i Ungsinn (Bjørknes, 2013), men oppdatert i henhold til Ungsinn sine nye prosedyrer og kriterier (Martinussen, mfl., 2016).

Resultater

Gjennomgang av beskrivelser

Programmet er godt beskrevet med manual for lærerne og mye arbeidsmateriell. Problembeskrivelsen, hoved- og sekundærmål samt målgruppen kommer tydelig frem i materiellet. Metoder for gjennomføring er også godt beskrevet. Det eksisterer et stort utvalg av materiell for 1.-4. skoletrinn som kan anvendes med relativ stor frihet. En pilotstudie (se avsnittet om andre norske studier nedenfor) er med på å styrke beskrivelsen ytterligere.

Tabell 1. Vurdering av tiltakets beskrivelse

Dimensjoner i beskrivelsen	Ikke beskrevet	Noe beskrevet	Godt beskrevet
Problembeskrivelse			X
Målgruppe			X
Hovedmål			X
Sekundærmål			X
Utforming av tiltaket			X
Metoder som benyttes			X
Kjerneelementer/fleksibilitet			X
Utøvere av tiltaket			X
Manual/veileder for utøvere			X
Materiell for mottakere av tiltaket			X
Undersøkelser som styrker beskrivelsen			X

 

Effektstudier

Litteratursøket resulterte i til sammen 21 publikasjoner fra tidsrommet 2004 til 2015. Av disse var det ni publikasjoner som omhandlet beskrivelser av erfaringer med programmet i Norge, men som hadde for lav kvalitet til å bli tatt videre i kunnskapsoppsummeringen. Ytterlige ni publikasjoner omhandlet anvendelsen av programmet i land utenfor Norden. Tilsammen tre artikler ble inkludert i oppsummeringen og beskriver resultater fra to nordiske effektstudier.

I den første studien undersøkte Mishara og Ystgaard (2006) programmets effekt med et kvasi-eksperimentelt design i to separate utvalg. Det ene utvalget var fra Litauen (N = 418) omtales ikke nærmere da det faller utenfor inklusjonskriteriene for studier i Ungsinn. Det andre utvalget i denne studien var fra Danmark (N = 422), med 322 barn fra 17 førsteklasser i eksperimentgruppen og 110 barn fra 6 førsteklasser i kontrollgruppen.

Ytterlige to artikler fra 2012 er publisert fra ett forskningsprosjekt i Norge og baserer seg på samme effektstudie (Holen mfl., 2012a; Holen mfl., 2012b). De er derfor vurdert som en studie. Denne studien har en randomisert klyngedesign med tilsammen N = 1483 barn. Eksperimentgruppen besto av 745 barn fra 2. klasse ved 18 skoler, og kontrollgruppen besto av 738 barn fra 17 skoleklasser.

Tabell 2. Oversikt over inkluderte nordiske effektstudier

Artikkel	Metode/Forskningsdesign	Deltakere	Karakteristika ved utvalget	Måletidspunkt
Mishara & Ystgaard, 2006	Kvasi-eksperiment	Utvalg II fra Danmark N = 422	Eksperimentgruppe: 160 gutter og 162 jenter med snittalder 89,1 måneder (SD = 6,8) Kontrollgruppe: 53 gutter og 57 jenter med snittalder 88,4 måneder (SD = 6,5)		Pretest og posttest
Holen mfl., 2012 a Holen mfl., 2012 b	Randomisert klyngedesign	Utvalg fra Norge N = 1483	Hele utvalg: 49.3 % jenter, 7,3 år (SD = 0,32)		Pretest og posttest

 

Forskningsmetodisk kvalitet

Den metodiske vurderingen av studiene er presentert i tabell 3.

Tabell 3. Skåring av forskningsmetodisk kvalitet

Studie	Statistiske analyser	Måling	Indre validitet	Tro mot tiltaket	Ytre validitet	Gj.snitt
Studie I: Mishara & Ystgaard, 2006	2	1	1	1	2	1,4
Studie II: Holen m. fl., 2012 a Holen m. fl.. 2012 b	4	3	3	2	3	3,0

Note. Skalaen som benyttes er: 0 = ikke rapportert eller undersøkt, 1 = dårlig/utilfredsstillende, 2 = tilfredsstillende, 3 = godt, 4 = svært godt.

Forskningsmetodisk kvalitet for studie I

Statistiske analyser
Mishara og Ystgaard (2006) rapporterer ingen frafalls- eller poweranalyse. Kontrollgruppen hadde en signifikant høyere pretest skåre på de fleste skalaene til sosial kompetansemålet (SSQTF). Det ble derfor gjennomført en MANCOVA analyse som er den anbefalte metoden å benytte for å undersøke gruppeforskjeller ved ulik pre-test verdier. Analysen bekreftet resultatene fra en MANOVA med en signifikant gruppeforskjell i forbedring for self-control-skalaen. Analysemetodene som er anvendt for studien til Mishara og Ystgaard (2006) var utbredte i 2006.

Målinger
Social Skills Questionnaire, Teacher Form, Elementary level (SSQTF) ble oversatt til studien i Danmark. I intervjuer kartlegges forskjellige aspekter av sosial kompetanse hos barna ved bruk av lærer som informant. Det finnes ingen informasjon vedrørende kvalitetssikringen av oversettelsen eller interraterreliabiliteten til den danske versjonen av SSQTF. Social Skills Questionnaire, Student Form, Elementary level (SSQSF) er samme intervju for barn. I studien ble det ikke rapportert psykometriske egenskaper utover Cronbach`s alpha. For SSQTF var Cronbach’s alpha høy i den danske oversettelsen (Cooperation 0,90, Assertion, 0,81, Self-Control 0,91). Derimot var Cronbach’s alpha for SSQSF lav (Cooperation 0,51, Assertion, 0,36, Self-Control 0,35 og Empathy 0,62). Alle analyser med dette instrumentet ble derfor utelatt i studien fra Danmark. Instrumentene Teacher Coping Observations (registrerer lærers observasjoner av elevenes mestring) og Schoolagers Coping Strategies spørreskjema ble benyttet selv om det ikke forelå resultat fra undersøkelser som dokumenterer reliabiliteten eller validiteten til disse instrumentene.

Indre validitet
Studiene er gjennomført med et kvasi-eksperimentelt forskningsdesign, og det er forskjell mellom intervensjonsgruppen og sammenligningsgruppen ved oppstart. Det angis ikke hvor stort frafallet er, og rekrutteringen til kontrollgruppen i Danmark er dårlig beskrevet. Det ble ikke undersøkt om dosering hadde betydning for effekt. Det er utelukkende lærernes observasjoner som ligger til grunn for de signifikante resultatene, men det var også lærerne som gjennomførte tiltaket. Det er derfor en betydelig fare for at lærernes observasjoner ikke er objektive og påvirket av at det er de selv som også har gjennomført intervensjonen. Dette er en mulig feilkilde og trussel for den indre validiteten i denne studien. Det er positivt at intervensjons- og kontrollgruppe er rekruttert fra forskjellige skoler. Dette reduserer muligheten for så kalte «smitteeffekter», det vil si at kontrollgruppen blir kjent med kunnskapen som blir formidlet til intervensjonsgruppen.

Fidelity/Troskap mot tiltaket
Det rapporteres ingen informasjon vedrørende troskap mot tiltaket.

Ytre validitet
Utvalgsstørrelsen for studien er relativt liten med tanke på at den undersøker et universelt forebyggende tiltak. Dette begrenser den ytre validiteten. I tillegg kommer alle barna fra én landsdel i Danmark (Fyn). Det ble ikke gjennomført noen sammenligninger av sosioøkonomiske variabler for utvalget og landet forøvrig. Post-test ble gjennomført like etter at programmet var avsluttet uten å følge barna opp over tid.

Effektstørrelser i studie I
Lærerne rapporterte en etter Cohens retningslinjer (1988), stor signifikant effekt på økt selvkontroll (Self-Control) mellom gruppene med Eta kvadrat (?²) på 0,52, beregnet med MANCOVA. I tillegg ble det på funnet en pre-post interaksjons effekt for problematferd rapportert av lærere (Teacher Problem Behavior Scales) når også data fra Litauen var inkludert i analysene; henholdsvis for eksternaliserende vansker (Externalization) (?² = 0,037) og hyperaktivitet (Hyperactivity) (?² = 0,031), som indikerer en forbedring på de to områdene. I det danske datasettet foreligger det ingen data for disse variablene i kontrollgruppen på grunn av lav Cronbach’s alpha. En pre-post analyse for intervensjonsgruppen på mestring rapportert av lærere (Teacher Coping Observation) viste en liten, men signifikant økning i bruk av mestringsstrategier (?² = 0,008). Det ble ikke funnet noen effekter for sosial kompetanse basert på rapport fra barna (Social Skills Questionnaire, Student Form, Elementary level; SSQSF). På grunn av lave Cronbach’s alpha verdier for SSQSF ble det ikke gjort noen videre analyse av disse skalaene. Det ble heller ikke funnet effekter på lærerenes rapportering av barnas evne til samarbeid (SSQTF Cooperation Scale), selvhevdelse (SSQTF Assertion Scale) eller internaliserende vansker.

Forskningsmetodisk kvalitet for studie II

Statistiske analyser
I publikasjonen fra Holen (2012a) ble programmets effekt på mestring og mental helse undersøkt. I den andre artikkelen fra samme studie (Holen, 2012b) er det derimot hovedfokus på programmets mål som klasseklima og akademiske ferdigheter. Frafall i studien til Holen (2012ab) var lav og det er benyttet adekvate metoder for frafallsanalysen og erstatning av missing data, (Holen, 2012c) hvor hver missing data ble erstattet med en individuell estimert verdi. Multivariate analysemetodene som er anvendt for pre-post studien er gjennomført med Mplus og SPSS og er adekvate fordi man ivaretar karakteristika ved det analyserte datasettet. Utvalgsstørrelsen for en studie som undersøker et universelt forebyggende tiltak er adekvat. Beregning av statistisk styrke er i studien til Holen mfl. (2012b) også adekvat gjennomført. Poweranalysen ivaretar den hierarkiske datastrukturen, og styrkeberegningen er basert på resultatet fra Mishara og Ystgaard (2006) sin effektstudie.

Målinger
Mestring ble målt ved bruk av spørreskjemaet Kidcope (Spirito, Stark & Williams, 1988). Instrumentet er basert på stress-coping teorien til Lazarus og Folkman (1984) som også er sentral i utviklingen av Zippy-programmet. Kidcope er oversatt og tilbakeoversatt av Folkehelseinstituttet. Mange av barna i studien kunne ikke lese på grunn av lav alder. Derfor inneholdt spørreskjemaet bare bilder, tegn og tall. Læreren fikk en manual for å standardisere forklaringer, eksempel og utsagn til elevene. Læreren leste utsagnene foran klassen og barna besvarte med tommel opp eller ned. Det foreligger ingen psykometriske analyser av hvorvidt denne fremgangsmåten påvirket de psykometriske egenskapene til Kidcope. Faktorstrukturen ble undersøkt for Kidcope og Strengths and Difficulties Questionnaire i en egen artikkel (SDQ; Holen mfl. 2012d) og i Holen mfl. (2012a). Gjennomføring av Kidcope kan tenkes å ha påvirket de psykometriske egenskapene til dette instrumentet, og dermed også innvirket på studiens indre validitet.

SDQ er mye brukt i Norge (Kornør & Heyerdal, 2014; Kornør & Heyerdahl, 2017). Det finnes regionale normdata for lærerversjonen og foreldreversjonen, men nasjonale data mangler. Forventede gruppeforskjeller og resultater fra konfirmatoriske faktoranalyser støtter opp under begrepsvaliditeten i begge versjoner. Skalaene i lærerversjonen har gjennomgående tilfredsstillende til god indre konsistens. I foreldreversjonen hadde tre skalaene utilfredsstillende indre konsistens, likevel vurderes evnen til å fange opp barn med en psykiatrisk diagnose som god. I PsykTestBarn (Regionsenter for barn og unges psykiske helse (RBUP), region sør og øst, 2016) finnes det ingen informasjon om Kidcope.

Klasseklima ble målt med et tysk spørreskjema (Soziale Integration, Klassenklima und Selbstkonzept der Schulfähigkeit; SIKS), som er en del av et mer omfattende spørreskjema (Fragebogen zur Erfassung emotionaler und sozialer Schulerfahrungen von Grundschulkindern erster und zweiter Klassen (FEESS 1-2); Rauer & Schuck, 2003). SIKS ble brukt i Norge for første gang i denne studien og ble derfor først oversatt og så tilbakeoversatt. Det ble funnet akseptable Cronbach´s α for de tre subskalene: Klasseklima 0,69, Sosial integrasjon 0,72 og Akademiske ferdigheter 0,76.

Indre validitet
Studien er gjennomført med et eksperimentelt forskningsdesign der det ble dannet matchene par av skoler på basis av bakgrunnsinformasjon om sosioøkonomisk profil, andel av minoriteter i skolen og andel av spesialundervisning. Disse skoleparene ble deretter delt opp og randomisert til intervensjons- eller kontrollgruppen. Det er positivt at både barn, lærere og foreldre ble brukt som informanter. Frafallet er godt dokumentert og ligger rundt 15 % for barna, noe som er vanlig for slike studier. Det ble ikke undersøkt om dosering eller omfang av deltakelse i tiltaket hadde betydning for effekten. I tillegg kan tak- og bunneffekter være en trussel for den indre validiteten. Dette gjelder for de høye skårene for aktiv emosjons regulering (active/emotional regulation) i Kidcope for barn (Holen mfl., 2012a), hvor skalaen hadde nærmest en maksimal verdi i pretest (takeffekt). Dermed var det lite rom for ytterligere forbedring som følge av intervensjonen. Tilsvarende ga de i utgangspunktet lave verdiene på enkelte av SDQ faktorene lite rom for ytterligere reduksjon av problemene (bunneffekt, Holen, 2012c). Det er positivt at intervensjons- og kontrollgruppe er rekruttert fra forskjellige skoler. Dette reduserer muligheten for smitteeffekter.

Fidelity/Troskap mot tiltaket
Etter hver time besvarte lærere et spørreskjema vedrørende endringer som ble gjennomført i programmet, noe som tyder på at det var åpenhet for en viss tilpasning og fleksibilitet i bruk av programmet. En for stor frihet til å lage egne varianter, kan innebære en fare for troskapen til programmet. Etter avslutning av hele programmet, ble lærerne i tillegg spurt om hvor mange timer de hadde gjennomført og hvor vidt de oppfattet at de kunne oppfylle programmets intensjoner. For hver time ble det også gjort en vurdering av hvilke deler i programmet som ble gjennomført.

Ytre validitet
Studien er utført i vanlig skolehverdag med robuste design som inkluderer kontrollgruppe. Det er videre positivt at man samlet inn oppfølgingsdata ett år etter at skolene deltok i Zippys venner for å undersøke om resultatene la seg generalisere over tid. Resultatene planlegges rapportert i fremtidige publikasjoner.

Effektstørrelser i studie II
Elevene ble kartlagt med tanke på mestring, psykisk helse (Holen, mfl., 2012a), samt klassemiljø, mobbing og akademiske ferdigheter (SIKS) (Holen, mfl., 2012b), før og etter intervensjon.

Opposisjonelle strategier ble redusert og hadde en moderat effektstørrelse (d = – 0,38) vurdert med Kidcope barn. Lave effekter ble rapportert for skalaen «aktivt å søke støtte» d = 0,19 (Kidcope, foreldre) og for skalaen psykiske helseproblemer d = – 0,15 (SDQ, lærer; Holen, mfl., 2012a). De ulike informantene (elever, foreldre og lærere) rapporterte ikke om positive endringer på samme mestringsstrategiene. Hverken foreldre eller lærere rapporterte om endringer på elevenes emosjonelle symptomer, atferdsproblemer, hyperaktivitet/oppmerksomhetsproblemer, problemer i relasjon til venner eller prososial atferd (Holen, mfl.,  2012a).

Videre analyser i studien (Holen, mfl., 2012a) viste at jenter og elever fra lave sosioøkonomisk samfunnsgrupper hadde spesielt godt mestringsutbytte av at skolen deltok i Zippys venner. Dette funnet ble rapportert av elevene i form av spørsmål om opposisjonelle mestringsstrategier, og hadde moderate effektstørrelser (d = – 0,55) for jenter og Cohens d = – 0,44 for elever fra lavt sosioøkonomisk samfunnsgrupper. Foreldre til jenter i intervensjonsgruppen rapporterte om en økning i aktive mestringsstrategier, effektstørrelsen her var liten (d = 0,26). Mens innvirkning på psykisk helseproblemer i dagliglivet ble redusert hos guttene ved at skolen deltok i programmet. Effekten som ble funnet i lærerrapportene var liten (Cohens d = – 0,22). Holen og kolleger (2012b) fant videre at lærerne rapporterte om en middels effekt på reduksjon i mobbing blant elevene (d = 0,55) og en forbedring av klassemiljøet (d = 0,61) ved Zippy-skolene. Lærerne rapporterte også om en økning av elevenes akademiske ferdigheter, effektstørrelsen her var liten til middels (d = 0,42). Elevene selv rapporterte derimot ikke om effekter på klassemiljø eller akademiske ferdigheter.

Tabell 4. Oversikt over signifikante effekter

Studie	Effekt	Effektstørrelse(Post-test)
Studie I	SSQTF, selvkontroll	?² = 0,052
	Teacher Problem Behavior Scales, externalizing	?² = 0,037
	Teacher Problem Behavior Scales, hyperactivity	?² = 0,031
	Teacher Coping Obervations	?² = 0,008
Studie II	Kidcope barn, opposisjonelle strategier	d = – 0,38
	Kidcope barn, aktivt støtte	d = 0,19
	SDQ lærer, psykiske helseproblemer	d = – 0,15
	SIKS lærer, klasseklima	d = 0,61
	SIKS lærer, sosial integrasjon	d = 0,33
	SIKS lærer, akademiske ferdigheter	d = 0,42
	SIKS lærer, mobbing	d = – 0,55

Note (Cohen, 1988) ?² ≈ 0,02, liten effekt; ?² ≈ 0,13, medium effekt; ?² ≈ 0,26, stor effekt); d ≈ 0,20, liten effekt; d ≈ 0,50, medium effekt; d ≈ 0,80, stor effekt

 

Oppsummert, Zippys venner har som hovedmål å øke stressmestring i barns hverdagsliv, øke sosial kompetanse hos barn og å fremme god psykisk helse. De norske effektstudiene viser at programmet har effekt på elevenes mestring ved at de i mindre grad tok i bruk opposisjonelle strategier, og ble flinkere til aktivt å søke støtte og hjelp. Av de tolv faktorene som ble testet på psykisk helse var det kun én indikator som viste en liten signifikant forskjell på elevene som hadde deltatt i Zippys venner i forhold til kontrollgruppen. Interessant er det at det også ble rapportert at Zippys venner fremmer et godt klassemiljø, akademiske ferdigheter og reduserer mobbing. En bør likevel merke seg at effektene ikke er konsistente over ulike informanter i studien. Som beskrevet tidligere var det også mange faktorer forskerne ikke fant signifikante forskjeller på mellom gruppene. Effektstørrelsene på alle resultater er i størrelsesorden små til middels, men sett i lys av at programmet har en universell forebyggende karakter, så representerer de likevel et reelt bidrag til å bedre barns velvære i skolen.

Internasjonale kunnskapsoppsummeringer

Ingen relevante.

Andre norske evalueringer

Voksne for Barn er ansvarlig for kvalitetssikring og implementering av Zippys venner i Norge. Ved oppstart av implementeringen gjennomførte Voksne for Barn en pilotundersøkelse som evaluerte brukernes erfaringer med programmet. I tillegg besvarte lærerne et spørreskjema etter hver time om vurdering av programmets innhold, elevaktivitet og manualens brukervennlighet. Det ble gjennomført observasjonsstudier under implementeringen, og lærerne ble intervjuet etter avsluttet program. Resultatene fra denne undersøkelsen viste at lærerne opplevde Zippy-programmet som et nyttig redskap for å arbeide med følelser og sosial støtte og for å styrke barna i forhold til å takle hverdagsproblemer hjemme og på skolen. Mange lærere synes at de ble bedre kjent med elevene, kommuniserte bedre med barna og fikk en bedre relasjon til dem. Lærerne synes også at programmet var godt tilpasset skolens hverdag (Voksne for Barn, 2005; 2006). Basert på erfaringene i pilotundersøkelsen ble det gjort noen mindre endringer i manualen for å tilpasse språk og innhold til norske forhold før programmet ble implementert i flere skoler (Voksne for Barn, 2005; 2006). Etter den siste effektstudien i Norge ble manualen ytterligere revidert og modifisert.

Implementeringskvalitet

Implementeringsstøtte
Voksne for Barn arbeider med å lage samarbeidsavtaler med skoler som tidligere har brukt Zippy-programmet. På sikt skal skoler og kommuner med en slik avtale bli prioritert i implementering av programmet. Per desember 2015 var det 16 kommuner og cirka 100 skoler fordelt over hele Norge som hadde inngått en slik avtale. Når en slik avtale inngås blir en tverrfaglig koordineringsgruppe som er ansvarlig for implementeringen av Zippy dannet. Voksne for Barn har ansatt en nasjonal programleder og flere nasjonale programmedarbeidere som har direkte kontakt med kommuner og fylkeskommuner. Fem regionale programmedarbeidere i 20 % stilling jobber med spredning, implementering og kvalitetssikring i samarbeid med fylkesmannen.

Kvalifikasjonskrav
For å kunne bruke programmet i skolen må man være lærer og delta på en workshop.

Opplæring
Opplæringen varer i to dager. Der formidles pedagogiske prinsipper og gjennomføres praktiske øvelser relatert til gjennomføringen av timene som er beskrevet i manualen.

Sertifiseringsordninger
Sertifiseringen er forutsatt for å kunne tilby programmet.

Monitorering av fidelity/etterlevelse
Voksne for Barn har jevnlige observasjoner i Zippy-klasser, hvor det gis regelmessige skriftlige tilbakemeldinger til lærere som bruker programmet. Ut over dette monitoreres ikke bruken av programmet systematisk.

Veiledning
Veiledningen gjennomføres i regi av PP-tjenesten eller andre tilgjengelige fagpersoner med veilederkompetanse fra kommunen. Ut over dette arrangeres det jevnlig inspirasjonssamlinger og treningskurs for workshopholdere og veiledere. En boostersamling er under forberedelse.

Identifisering av målgrupper for tiltaket
Siden dette er et universelt tiltak er beskrivelser av inklusjons- og eksklusjonskriterier for deltagelse i tiltaket av underordnet betydning. Eneste inklusjonskriterium på individnivå er barnets alder.

Kartleggings- og vedlikeholdsverktøy
Dette eksisterer ikke.

Strategier for tilpassing av tiltaket
Beskrivelse av retningslinjer for tilpassing av tiltaket til ulike grupper barn og kulturkontekster uten at det reduserer effektiviteten av tiltaket eksisterer ikke.

 

Tabell 5. Vurdering av tiltakets systemer for å fremme god implementeringskvalitet

Kategori	Ja	Nei	Ikke relevant
1. Implementerings-støtte	x
2. Kvalifikasjonskrav	x
3. Opplæring	x
4. Sertifiserings-ordninger	x
5. Monitorering av fidelity/etterlevelse		x
6. Veiledning	x
7. Identifisering av målgrupper			x
8. Kartleggings- og vedlikeholdsverktøy		x
9. Strategier for tilpasning		x
Total skåre	∑5/9

Diskusjon

Formålet med denne artikkelen var å undersøke om Zippys venner er virksomt benyttet i vanlig praksis i Norge. I avsnittene under diskuteres funnene fra kunnskapsoppsummering i forhold til kriteriene for klassifisering i Ungsinn.

Beskrivelse

Programmets problembeskrivelse, målgruppe og hovedmål er godt beskrevet, men undermål er mindre tydelig beskrevet. Materiellet er godt utformet, og det finnes et stort utvalg som kan anvendes med relativt stor frihet. Dette gjelder særlig for oppfølgingsdelen, der det fremstår som at kursleder i stor grad kan bestemme varigheten av programmet og innholdet i timene. Ulempen med dette, er at det kan være vanskelig å identifisere kjerneelementer, og å prioritere innholdet samt å sikre behandlingsintegriteten til programmet.

Teoretisk rasjonale

Tiltaket har en teoretisk forankring, og det er en logisk sammenheng mellom målsetninger, metodevalg og målgruppe. Programmet er ment å fremme hensiktsmessige stressmestringsstrategier og sosial kompetanse hos elevene. Dette antas å ha positiv effekt på psykisk helse. Samtidig kunne empiriske resultater og funn fra evalueringen vedrørende konseptualiseringen av mestring og relasjonene mellom mestring og psykisk helse med fordel ha inngått i til teoridelen av programmet for å gjøre den mer konsistent.

Antall effektstudier

Tiltaket har én norsk effektstudie. Den norske studien er en replikasjon av en undersøkelse med delstudier i Danmark og Litauen, men forskningskvaliteten er betydelig forbedret i den norske studien. Dermed er det gjennomført tilsammen to nordiske studier, men der resultatene fra den norske studien må sies å være betydelig mer pålitelige enn for den andre.

Forskningsdesign

Den norske effektstudien av Zippys venner er publisert i 2012 (Holen, mfl., 2012a; Holen, mfl., 2012b). Studien tester programeffekten på elever mellom 7-8 år ved hjelp av et randomisert klyngedesign og pre-post målinger i ett stort utvalg av barn (N = 1483). Dette designet er godt egnet for å belyse den aktuelle problemstillingen.

Forskningsmetodisk kvalitet

Den forskningsmetodiske kvaliteten i studien til Holen mfl. (2012a, 2012b) har en gjennomsnittlig skåre på 3,0 i denne artikkelen og kan dermed betegnes som god. Unntaket er tilfredsstillende kvalitet i forhold til hvordan man har sikret at deltakerne arbeidet i samsvar med programmets retningslinjer (fidelity). Det vurderes at klyngedesignet som ble benyttet reduserer smitteeffekter mellom intervensjon- og kontrollgruppe ved at disse befinner seg på ulike skoler. Deltakerantallet er stort. Frafallet er lite, og det ble gjennomført frafallsanalyser og missing data ble erstattet med avanserte metoder (Full Information Maximum Likelihood procedure (FIML) og Multiple Imputation (MI)). Det er positivt at det ble inkludert rapporterte data fra både elever, lærer og foreldre. Måleinstrumentene er utprøvd i tidligere studier, både nasjonalt og internasjonalt, der de har vist seg å være pålitelige (reliable). De psykometriske egenskapene til måleinstrumentene ble testet før anvendelse i effektstudien. Tak- og bunneffekter på enkelte skalaer ved SDQ og Kidcope kan være en trussel for den indre validiteten av forskningsstudien fordi ekstremt lave eller høye verdier ved oppstart av kan begrense muligheter for symptomreduksjon og muligheter for å avdekke endringer. I den kvasieksperimentelle studien av Mishara og Ystgaard (2006) er derimot utvalgsstørrelsen relativt liten. Alle deltakerne kom fra en landsdel i Danmark (Fyn). Dette begrenser i noen grad den ytre validiteten av denne studien. I tillegg er de psykometriske egenskapene til måleinstrumentene ikke tilstrekkelig undersøkt. Unntaket er Cronbach’s alpha for SSQTF som var utmerket. Frafallet i programmet er ikke dokumentert. Det er utelukkende lærernes observasjoner som ligger til grunn for signifikante gruppeforskjeller. I og med at lærerne også var ansvarlige for gjennomføring av programmet kan de ikke anses som nøytrale i vurdering av effekten, noe som er en alvorlig trussel for den indre validiteten av denne studien. Det er positivt at intervensjons- og kontrollgruppe er rekruttert fra forskjellige skoler, slik at man reduserer faren for smitteeffekter. Selve deltakelsen av barna i programmet varierer og ingen informasjon vedrørende trofasthet (fidelity) mot programmet er rapportert. Dermed vurderes forskningskvaliteten med en gjennomsnittlig skåre på 1,4 som utilfredsstillende.

Effekter

Resultatene viste positive effekter på enkelte av målene for mestring og psykiske helseproblemer (Holen, mfl., 2012a). Studien viste også at programmet hadde middels store positive effekter på det sosiale miljøet i klasserommet, reduserte mobbing og økte elevenes akademiske ferdigheter (Holen, mfl., 2012b). En bør likevel merke seg at av seks faktorer som ble testet på mestring, var det kun tre som viste en signifikant forskjell etter deltagelse i Zippys venner (Holen, mfl., 2012a). Av til sammen tolv indikatorer på psykisk helse målt med SDQ for barn og foreldre var det kun én som viste en signifikant forskjell etter deltagelse i Zippys venner (Holen, mfl., 2012a). Dersom vi går mer i dybden på funnene, så viser de at elevene rapporterte om positive effekter på mestring ved at de i mindre grad benyttet opposisjonelle strategier når de møtte motgang. Foreldre rapporterte at barna ble flinkere til aktivt å søke støtte og hjelp, men man fant ingen forandringer på emosjonsregulering rapportert fra barn, foreldre eller lærere. Når det gjaldt psykiske helseproblemer blant elevene var det kun lærerne som rapporterte om nedgang i slike symptomer. Lærerne rapporterte da på en subskala om en nedgang i vanskenes innvirkning på elevenes dagligliv (SDQ-impact skåre). At det er lærere som i hovedsak rapporterer endring er en utfordring for validiteten til resultatene siden de er involvert i gjennomføring av Zippy-gruppene, og dermed ikke nødvendigvis er objektive i å bedømme forandringen hos barna. Dette er en feilkilde som er gjeldende for begge studier. Ingen av studiene påviste effekter på emosjonsregulering. Endringene i hyperaktivitet, oppmerksomhetsproblemer og atferdsproblemer samsvarte ikke mellom studiene.

På tross av en svak effekt i endring av psykisk helse målt med SDQ, virker dette området lite påvirket av programmet. Det er uventet at programmet ikke hadde noen effekt på internaliserende problemer og emosjonsregulering. Resultatene fra studiene viser at programmet hadde moderate effekter på eksternaliserende problemer, klasseklima, mobbing og akademiske ferdigheter. I studie II ble det ikke funnet noen effekt på disse variablene basert på svar fra foreldrene. Dermed fremstår Zippys venner samlet sett som ett program med positive effekter på skolemiljø, klasseklima, sosial integrasjon, akademiske ferdigheter, mobbing og utagering. Derimot ble psykisk helse bare i liten grad påvirket.

Effektstørrelsene for alle funnene var små til middels store, noe som må sies å være positivt for et universalforebyggende program. Resultatene er basert på målinger der elever, lærer og foreldre var informanter direkte etter de har deltatt i Zippys venner og sammenlignet med kontrollskoler. Effekten av oppfriskningskurs (boostere) er ikke evaluert.

Oppfølgingsstudier

Det foreligger ingen resultater vedrørende stabiliteten av effekten etter intervensjonen. Resultater fra oppfølgingsstudien er ikke publisert ennå.

Implementeringskvalitet

Programmet implementeres nasjonalt, og Voksne for Barn arbeider systematisk med å implementere Zippys venner i Norge. Det finnes en standardisert opplæring og muligheter for implementeringsstøtte og veiledning. Voksne for Barn tilbyr blant annet inspirasjonssamlinger og oppfriskningskurs (boostere) for å sikre at kompetanse i programmet vedlikeholdes over tid. Det mangler et mer utarbeidet system for systematisk kvalitetssikring av Zippy-gruppene og for å sikre fidelity. Det kunne også være nyttig med mer konkrete strategier for hvordan man kan tilpasse tiltaket målgruppene karakteristika, spesielt i fordypingskurset i 3. og 4. klassetrinn.

Sammendrag

Studien viste at programmet hadde enkelte positive effekter på elevenes mestringsstrategier, men hadde liten påvirkning på psykiske helseproblemer (Holen, mfl., 2012a). Videre reduserte intervensjonen mobbing, forbedret klassemiljøet og økte elevenes akademiske ferdigheter (Holen, mfl., 2012b).  Det er en forskjell mellom den teoretiske forankringen av hovedmålsettingene til programmet og hvilke empiriske effekter programmet viste seg å ha, ved at man fant større effekter på faktorer som mobbing, akademiske ferdigheter og klassemiljø enn på elevers psykiske helse.

Konklusjon

Zippys venner klassifiseres på evidensnivå 4 som et tiltak med tilfredsstillende dokumentasjon på effekt på økt mestring for elevene, bedre skolemiljø, akademiske prestasjoner og reduksjon av mobbing. Klassifiseringen er gjort på bakgrunn av studie II med et stort utvalg, multi-informant vurdering av effekt, randomisingsprosedyrer og lite frafall. Designet til studie II er forskningsmessig godt gjennomført, og synes å være tilstrekkelig i styrke til å oppdage små til moderate effekter.

 

Referanser

Bjørknes, R. (2013). Beskrivelse og vurdering av tiltaket Zippys venner. I M. Martinussen (red.), Ungsinn. Tiltak nr. 23. Nedlastet fra http://www.ungsinn.no/post_tiltak/zippys-venner/

Clarke, A. & Barry M. M. (2010). An evaluation of the Zippy’s Friends’ Emotional Wellbeing Programme for primary schools in Ireland. Galway: Health Promotion Research Centre.

Cohen, J. (1988). Statistical power analysis for the behavioural sciences (2. utg.). New Jersey: Lawrence Erlbaum Associates.

Cohen, S. & Wills, T. A. (1985). Stress, social support and the buffering hypothesis. Psychological Bulletin, 98, 310 – 357.

Compas, B. E., Connor-Smith, J. K., Saltzman, H., Thomsen, A. H. & Wadsworth, M. E. (2001). Coping with stress during childhood and adolescence: problems, progress, and potential in theory and research. Psychological Bulletin, 127, 87-127. Doi: 10.1037//0033-2909.127.1.87

Folkman, S. & Lazarus, R. S. (1986). Stress processes and depressive symptomatology. Journal of Abnormal Psychology, 95, 107-113.

Holen, S., Waaktaar, T., Lervåg, A. & Ystgaard, M. (2012a). The effectiveness of a universal school-based program on coping and mental health: a randomizedcontrolled study of Zippy’s Friends. Educational Psychology: An International Journal of Experimental Educational Psychology, 32, 657-677.     doi:10.1080/01443410.2012.686152

Holen, S., Waaktaar, T., Lervåg, A. & Ystgaard, M. (2012b). Implementing a universal stress management program for young school children: Are there classroom climate or academic effects? Scandinavian Journal of Educational Research, 57, 420-444. doi:10.1080/00313831.2012.656320

Holen, S. (2012c). Coping in children: effectiveness of the universal school-program Zippy’s Friends: A matched and randomized, controlled study. Doktoravhandling ved Det utdanningsvitenskapelige fakultet, Universitetet i Oslo.

Holen, S., Lervåg, A. O., Waaktaar, T. & Ystgaard, M. (2012d). Exploring the associations between coping patterns for everyday stressors and mental health in young schoolchildren. Journal of School Psychology, 50, 167-193. doi: 10.1016/j.jsp.2011.10.006

Kornør, H. & Heyerdahl, S. (2014). Måleegenskaper ved den norske versjonen av Strengths and Difficulties Questionnaire, lærerrapport (SDQ-T). PsykTestBarn, 2:5.

Kornør, H. & Heyerdahl, S. (2017). Måleegenskaper ved den norske versjonen av Strengths and Difficulties Questionnaire, foreldrerapport (SDQ-P). PsykTestBarn, 1:1.

Lazarus, R. S., & Folkman, S. (1984). Stress, appraisal and coping. New York: Springer Publ. Co.

Martinussen, M., Reedtz, C., Eng, H., Neumer, S.-P., Patras, J. & Mørch, W.-T. (2016). Kriterier og prosedyrer for vurdering og klassifisering av tiltak. Ungsinn – Tidsskrift for virksomme tiltak for barn og unge. Tromsø: RKBU Nord, Norges arktiske universitet.

Mishara, B. & Ystgaard, M. (1999). Evaluation of the Reaching Young Europe Pilot Program in Denmark. London: Befrienders International.

Mishara, B. & Ystgaard, M. (2002). One year follow-up of the effects of Zippy and Friends on participation in Lituania. London: Partnership for Children.

Mishara, B. & Ystgaard, M. (2006). Effectiveness of a mental health promotion program to improve coping skills in young children: Zippy’s Friend’s. Early Childhood Research Quarterly, 21, 110-123. doi:10.1016/j.ecresq.2006.01.002

Monkeviciene, B., Mishara, B. & Dufour, S. (2006). Effects of the Zippy’s friends programme on children’s coping abilities during the transition from kindergarten to elementary school. Early Childhood Education Journal, 34, 53-60. doi:10.1007/s10643-006-0104-0

Rauer, W. & Schuck, C. D. (2003). Fragebogen zur Erfassung emotionaler und sozialer Schulerfahrungen von Grundschulkindern erster und zweiter Klassen (FEESS 1-2). Göttingen: Hogrefe.

Skinner, E. A., Edge, K., Altman, J. & Sherwood, H. (2003). Searching for the structure of coping: a review and critique of category systems for classifying ways of coping. Psychological Bulletin, 129, 216-269. doi:10.1037/0033-2909.129.2.216

Spirito, A., Stark, L. J. & Williams, C. (1988). Development of a brief coping checklist      for use with pediatric populations. Journal of Pediatric Psychology, 13, 555-574.

Voksne for Barn. (2005). Statusrapport til sosial og helsedirektoratet 2004 og 2005. Oslo: Sosial og helsedirektoratet.

Voksne for Barn. (2006). Statusrapport til sosial og helsedirektoratet 2005 og 2006. Oslo: Sosial og helsedirektoratet.

Voksne for Barn (2012). Zippys Venner. Oslo: Voksne for Barn.

Partnership for Children. (2003). Zippys Venner. Råd og vink til læreren. Oslo: Voksne for Barn.

Voksne for Barn. (2014). Zippys Venner. Supplerende aktiviteter til grunnprogrammet. Tilpasset undervisning. Oslo: Voksne for Barn.

Voksne for barn. (2014). Zippys Venner. Videreføring. Oslo: Voksne for Barn.

 

 

 

Mottatt 26.02.16, godkjent 02.07.17
publisert 09.02.2018.
Redaktør: Monica Martinussen