Sammendrag

BAKGRUNN

Denne artikkelen oppsummerer kunnskapen om effektene av PMTO-foreldregruppe (tidligere kalt TIBIR – Foreldregruppeintervensjonen) som intervensjon i TIBIR-programmet. Artikkelen er en revisjon av en tidligere beskrivelse av det samme tiltaket i Ungsinn, men er videreutviklet i henhold til Ungsinns nye kriterier og prosedyrer. Intervensjonen baserer seg på prinsippene fra Parent Management Training Oregonmodellen (PMTO), med det unntaket at i denne intervensjonen møtes foreldrene i grupper over 12 samlinger. Det deltar inntil 12 foreldre/foresatte i gruppene og gruppen ledes av to gruppeledere. Målgruppen for tiltaket er foreldre og foresatte til barn med begynnende atferdsproblemer, men tiltaket kan også tilbys til familier som har barn med identifiserte atferdsproblemer.

METODE

Følgende databaser ble gjennomsøkt etter litteratur om tiltaket: Embase, Medline, Psychinfo, Cochrane, Cristin, Nora, Scopus og Svemed.

RESULTATER

Tre studier som omhandlet PMTO–foreldregruppe ble identifisert og inkludert. Det er gjennomført tre norske studier; en effektstudie blant norske foreldre og to studier med henholdsvis foreldre med minoritetsbakgrunn og fosterforeldre.  Det foreligger en god beskrivelse av tiltaket i manualer, og tiltaket har en god teoretisk begrunnelse. Alle studiene er evaluert til å ha tilfredsstillende til god forskningsmetodisk kvalitet. Effektstørrelsene i de to studiene der disse er beregnet er i hovedsak små til moderate. Tiltaket har en god implementeringsstrategi og gode rutiner for å sikre at innholdet i tiltaket og effektene opprettholdes.

KONKLUSJON

Studiene som evaluerer tiltaket har relativt god forskningsmetodisk kvalitet, og effektstørrelser beregnet til små til store. Hovedfunnene i de inkluderte studiene trekker alle i retning av at barnas atferdsproblemer reduseres som følge av tiltaket, samt at foreldreferdigheter styrkes. Det antas derfor at tiltaket vil være nyttig for mange i målgruppen.

PMTO-foreldregruppe klassifiseres på evidensnivå 4 – som et tiltak med tilfredsstillende dokumentasjon på effekt.

Innledning

Bakgrunn

Atferdsproblemer betegnes som utagerende at­ferd som er normbrytende og problematisk. At­ferdsforstyrrelser er mer omfattende og vedva­rende negativ atferd som innebærer nedsatt funksjonsevne og oppfyller diagnostiske krite­rier. Atferdsforstyrrelser baseres på diagnose­kriteriene i DSM V og ICD 11 (American Psychiatric Association, 2013; World Health Organization, 2020). Det er vanlig å skille mellom to hovedtyper: Alvorlig atferdsforstyrrelse som kjennetegnes av et varig mønster av sosialt uak­septabel, voldelig og aggressiv atferd, lov­brudd og opposisjonell atferdsforstyrrelse som kjennetegnes av sinneutbrudd, krangling og vanskeligheter med å følge regler. Ifølge Folke­helseinstituttet er forekomsten av diagnostiser­bar atferdsforstyrrelse beregnet til 1,7 % for al­vorlig atferdsforstyrrelse og 1,8 % for opposisjo­nell atferdsforstyrrelse for barn og ungdom i Norge. Om man tar med atferdsproblemer (altså barn og unge uten diagnose) blir tallene vesentlig høyere og om lag 10–15 % har slike problemer. Om vanskene inntreffer før fylte 10 år, øker risi­koen betydelig for langvarige negative konse­kven­ser (Skogen & Torvik, 2013).

Tidlig innsats for barn i risiko (TIBIR) er en om­fattende pro­gramserie som består av flere ulike tiltak som er tilpasset ulike målgrupper for blant annet barn og foreldre, og der tiltakene gis på det kommunale tjenestenivået i Norge. Tiltakene be­står av en rådgiverintervensjon rettet mot foreldre til barn med begynnende at­ferdsproblemer, en konsulta­sjonsintervensjon rettet mot per­so­nell i skoler og barnehager som arbeider med barn med atferds­problemer, og sosial ferdighets­treningsinterven­sjon som rettes direkte mot barn som har utviklet atferdsvansker. I TIBIR–serien er det også en in­tervensjon som er rettet mot å iden­tifisere og kartlegge begynnende atferdspro­ble­mer hos barn, en terapeutintervensjon for fa­mi­lier med barn med identifiserte og alvorlige at­ferdsproble­mer, og til sist er det en gruppeinter­vensjon som er rettet mot foreldre til barn i fare for å utvikle atferdsproblemer eller barn med mindre atferds­problemer. I denne artikkelen vil PMTO–foreldregruppe bli beskrevet og vurdert. Nasjo­nalt utviklingssenter for barn og unge (NUBU) har utviklet og er eier av tiltaket. Tiltaket bygger på prinsippene og innholdskomponen­tene fra «Parent Management Training – Oregon­modellen» (Solholm mfl. 2005).

PMTO–foreldregruppe kan gis parallelt med andre TIBIR–intervensjoner som for eksempel «Sosial ferdighetstrening» og/eller «Konsulta­sjonsintervensjon» rettet mot personell i skoler og barnehager. Intervensjonen tar sikte på å endre familiesamspillet og barnas atferd gjen­nom foreldrenes deltagelse i foreldretrening. For­målet med intervensjonen er å stanse, redusere eller forebygge atferdsproblemer hos barn ved å endre samspillet mellom foreldre og barn gjen­nom å lære foreldrene ulike ferdigheter. Gjennom gruppedynamikken er det ment at de foresatte kan være ressurser for hverandre og på den måten gi råd om sine egne erfaringer med for­eldre–barn–samspill.

Målsetninger og målgruppe

Foreldregruppeintervensjonen har som mål å fo­rebygge og behandle atferdsproblemer hos barn i alderen 3–12 år. Intervensjonen søker å redusere atferdsproblemer hos barn gjennom å fremme god samhandling mellom barn og foreldre, styrke foreldrenes oppdragerpraksis, øke barnas sosiale kompetanse samt og bidra til økt sosial inklude­ring av barna. Foreldregruppe tilbys til foreldre til barn med begynnende atferdsproblemer, men kan også tilbys til familier som har barn med identifiserte atferdsproblemer. Tiltaket er tilpas­set det kommunale tjenestenivået.

Det er også utviklet egne tilpassinger av interven­sjonen rettet mot foreldre med minoritetsbak­grunn og fosterforeldre.

Gjennomføring og metoder

Intervensjonen består av 12 gruppesamlinger á 2,5 timer der samlingene tar for seg ulike kjerne­tema slik en kjenner det fra individuell PMTO–behandling. Det kan delta inntil 12 foreldre i gruppene (f.eks. åtte foreldrepar) og gruppen har to gruppeledere. Når det gjelder intervensjonen for foreldre med minoritetsbakgrunn, strekker denne seg over 18 uker á 2 timer, med 8–12 for­eldre i hver gruppe. Noen kulturelle tilpasninger og tema er lagt til, og gruppene blir homogent satt sammen med tanke på etnisitet. Det blir benyttet linkarbeider (samme tolk med utvidede oppga­ver gjennom programmet) i gruppetimene. For intervensjonen rettet mot fosterforeldre er det plass til åtte par fosterforeldre. Kurset gjennom­føres over ni kursdager med samlinger på en eller to dager i løpet av tre–fire måneder. Det er også utviklet noen ekstra tema som kan gjennomføres utover det ordinære antallet gruppetimer, så­kalte «booster sessions».

Innledningsvis trenes foreldrene i hvordan gi gode og tydelige beskjeder til barnet, og deretter systematisk bruk av ros og oppmuntring for å fremme prososial atferd. Deretter introduseres temaene grensesetting og tilsyn for å styrke for­eldres ferdigheter i å forebygge og håndtere ne­gativ atferd hos barnet. I de første møtene vekt­legges det hvordan strategier for følelsesregule­ring er et viktig kjennetegn ved foreldreferdighe­tene. Dette følges så av temaene problemløsning, positiv involvering og kommunikasjon med barn, samt samarbeid mellom hjem og skole/barne­hage. Det er også utarbeidet to tilleggstemaer spesifikt til dette tiltaket – søskenkrangling og raseriutbrudd, og disse kan gjennomføres der­som tiden tillater det. Rammene for intervensjo­nen og temaene er presentert i en egen manual. Det er også utarbeidet skriftlig foreldremateriell som deles ut til deltakerne.

I foreldregruppene gis korte introduksjoner til de ulike temaene kombinert med demonstrasjoner av ferdighetene i form av rollespill og samtaler i plenum. Foreldrene øver gjennom rollespill i mindre grupper, og møtes deretter til utveks­linger og refleksjoner om egne erfaringer. Delta­gerne i gruppene oppfordres også til å prøve ut de ulike ferdighetene hjemme gjennom konkrete oppgaver. Erfaringene fra arbeid med hjemme­oppgaver følges opp i neste møte.

Det teoretiske grunnlaget for tiltaket

Utformingen av PMTO–foreldregruppe bygger på det samme teoretiske fundamentet og prinsipper som PMTO (Parent Management Training – Oregonmodellen), men utformingen av interven­sjonen er på enkelte punkt forenklet og tilpasset gruppeformatet. Den generelle modellen som lig­ger til grunn for PMTO, er «The Social Interaction Learning Model» eller SIL–modellen. Ifølge Forgatch og kolleger (2002, 2010 og 2016) repre­senterer SIL–modellen sammensmeltningen av to beslektede, men ulike teoretiske retninger, sosial læring og sosial interaksjon. I begge disse pers­pektivene understrekes betydningen de sosiale omgivelsene har på individets generelle tilpas­ning.

Det sosiale samspillsperspektivet beskriver sam­handlingen mellom familiemedlemmer på et mik­rososialt nivå. I tråd med dette perspektivet er man spesielt interessert i foreldre–barn–samspill. I dette samspillet kan det forekomme gjensidig og hyppig bruk av tvang og press i samhandlingen i familier der barnet har eller er i ferd med å ut­vikle atferdsproblemer. Slike samspillmønstre er gjerne preget av gjensidig negativitet, en eskale­ring av problematferden og gjensidig negativ for­sterkning. Dette fremmer avvik og hemmer sunn utvikling og tilpasning. Sentralt i analysen av den mikrososiale samhandlingen står «Coercion Theory». Coercion/coercive er forsøksvis blitt oversatt som press eller tvingende atferd, og de­fineres som at en person i en dyade (et par) tar i bruk aversive stimuli (for eksempel kjeft eller trusler) som følge av (betinget av) atferden til den andre (for eksempel nekter å følge beskjed eller krav). Disse samspillmønstrene læres, praktise­res mer og mer i familien og vil derfor resultere i overlærte og automatiserte samspillsmønstre, uten deltakernes bevissthet (Patterson, 1982; Patterson mfl. 1992; Reid mfl. 2002; Solholm mfl. 2005). Familiemedlemmenes samspillsmønster kan også overføres til samspill med andre.

Ifølge Patterson er det aversive hendelser til stede i alle familier i rikt monn. Disse aversive hendelsene kan virke uskyldige. Forskning viser imidlertid at det er forhøyet forekomst av slike episoder i familiene til barn med atferdsvansker, og at disse predikerer senere alvorlig antisosial atferd (Capaldi, 1992; DeGarmo mfl. 1999). For­eldre med gode foreldreferdigheter bruker i større grad prososiale teknikker for å nøytrali­sere eller avlede slike hendelser, mens samspillet til foreldre og barn i de kliniske utvalgene domi­neres av aversiv atferd.

Det sosiale læringsperspektivet handler om hvor­dan disse atferdsmønstrene etableres og opprett­holdes (forsterkningsbetingelser). Dette gjen­speiles i en makromodell om positive og negative foreldreferdigheter. Antakelsen som ligger til grunn i tiltaket er at foreldreferdigheter direkte kan påvirke forsterkningsbetingelsene i en fami­lie og derigjennom barnets atferd. De senere årene er flere risiko– og beskyttelsesfaktorers innvirkning på barnet vektlagt. Barnets tilpas­ning påvirkes både av det mikrososiale samspillet mellom familiemedlemmene, familiens konteks­tuelle forhold og individuelle faktorer som tem­perament, evne til selvregulering, fysisk og psy­kisk helse og personlige ressurser. Disse risiko­faktorenes innvirkning på barnets tilpasning, me­dieres gjennom foreldrenes omsorgs– og oppdra­gerferdigheter.

Implementering, kvalitetssikring og kostnader

TIBIR (Tidlig innsats for barn i risiko) er en pro­grampakke bestående av seks tiltak, hvorav PMTO–foreldregruppe er ett av tiltakene. NUBU lager forpliktende avtaler med enkeltkommuner om innføring av TIBIR. For at en kommune skal kunne innføre TIBIR er det en forutsetning at kommunen utdanner PMTO–terapeuter. For nær­mere beskrivelser og vurdering av implemente­ringsstrategier, kvalitetssikring og kostnader ved implementering av PMTO, se kunnskapsoppsum­meringen av dette tiltaket i Ungsinn (Stormark & Christiansen, 2018). Avtaler om implementering av TIBIR forankres på øverste ledelsesnivå i kom­munen og krav til implementering presenteres på nettsiden http://pmto.no. Innføringen av TIBIR går over flere år.

Kvalitetssikring

Det er et krav å være sertifisert PMTO–terapeut med påbygningskurs for å kunne lede PMTO–foreldregrupper, men det finnes ingen egen serti­fiseringsordning for gruppeledere i foreldregrup­per. Gjennomføring av opplæring og veiledning for PMTO terapeuter kvalitetssikres gjennom strukturert opplæring, materiell og håndbok, samt veiledning som bygger på observasjoner og måling av metodeintegritet. PMTO terapeuter sertifiseres etter endt opplæring og resertifiseres på bakgrunn av kvalitetssikret praksis år for år.

Kostnader

Kostnadene når det gjelder opplæring og materi­ell for opplæringen i PMTO–foreldregrupper dek­kes av NUBU. Kommunen får støtte av et regionalt team gjennom alle fasene av implementeringen. Støtten er kostnadsfri, og omfanget varierer ut ifra kommunens behov og ønsker. PMTO–terapeutenes og gruppeledernes arbeidssted må fristille de ansatte for deltakelse i opplæringen og dekke kostnadene knyttet til deltakelse (reise og opphold). Gruppeledere av intervensjonen deltar i TIBIRs ordinære vedlikeholdssystemer og kost­nader til deltakelse (reise, etc.) i veiledningen dekkes av arbeidsgiver.

Opplæring i tiltaket

Opplæringen skal gi PMTO–terapeuter nødven­dig kunnskap og praktisk–metodiske ferdigheter til å gjennomføre PMTO–foreldregruppe. Kurset gir en gjennomgang av foreldregruppe–interven­sjonen slik at PMTO–terapeutene får oversikt og anled­ning til å arbeide med ferdigheter som trengs for å lede en gruppeprosess. Opplæringen i PMTO–foreldregruppe går over to kursdager.

Dag 1 inneholder en gjennomgang av kunnskaps­grunnlaget og bakgrunnen for utviklingen av gruppeintervensjonene. Teorigrunnlaget for in­tervensjonen kjenner terapeutene fra den tidli­gere opplæringen i PMTO. Det gis en gjennom­gang av temaene, strukturen, materiellet og mål­settingen for PMTO–foreldregruppe. Muligheter og utfordringer når foreldretreningen gjøres i gruppe istedenfor med individuelle familier drøf­tes. Deretter gjennomgås de åtte kurstemaene og terapeutene blir kjent med håndboken, gruppe­møtenes struktur og den praktiske tilretteleg­gingen. Så presenteres de tilsvarende kjenneteg­nene ved PMTO–kurs for fosterforeldre og ved evalueringen av kurset. Siste del av kursdag 1 brukes til praktiske øvelser som å skape en god gruppeprosess ved å etablere grupperegler, god ledelse, følge en fast struktur og anvende de for­midlings– og prosessferdighetene terapeutene al­lerede har lært gjennom sertifiseringen som PMTO–terapeuter. Deretter øver terapeutene på å møte gruppeutfordringer og å skape trygghet og rom for forskjeller. Terapeutene får også spesi­fikk øvelse i hvordan de to gruppelederne kan fungere godt sammen.

Dag 2 er rettet mot hvordan terapeutene kan gjennomgå hjemmeoppgaver, hvordan de kan formidle komponentene i en gruppesammen­heng, og hvordan tilrettelegge for at foreldrene får anledning til å øve under gruppemøtene.

Det er ønskelig at kommunen har som mål å bli selvhjulpen i driften av opplæring og veiledning i de ulike tiltakene i løpet av en 3–5–årsperiode. Opplæring og veiledning er kostnadsfritt. Kostna­der til vedlikeholds veiledning ut over opplæ­ringsperioden (reise etc.) vil måtte dekkes av kommunen. Det gis også tilgang til styrings– og hjelpeverktøy gjennom en egen implemente­ringsveileder på nettsiden http://pmto.no. Hen­sikten med verktøyene er å styrke, dokumentere og kvalitetssikre implementeringsprosessen slik at innsatsene i TIBIR når målgruppen med det innholdet og omfang som er riktig.

Problemstilling

Formålet med denne artikkelen er å undersøke om PMTO–foreldregruppe antas å være et virk­somt tiltak benyttet i vanlig praksis i Norge.

Metode

For å finne studier om foreldretrening (parent training) og tiltaket PMTO–foreldregruppe ble det søkt i følgende databaser; Embase, Medline, Psychinfo, Cochrane, Cristin, Nora, Scopus og Svemed. Søkedato: April 2021. I tillegg ble det innhentet dokumentasjon som ikke ble fanget opp av søket, som for eksempel manualer, veile­dere og annen forskingsdokumentasjon, informa­sjon om implementeringsstrategier og kvalitets­sikring fra tiltakseier. Litteratursøket ble gjort i databasene med søkeord som; parent training, group and TIBIR. Forskerne gjennomgikk fors­kingsdokumentasjonen uavhengig av hverandre, og identifiserte den aktuelle litteraturen for nor­diske effektstudier, internasjonale kunnskaps­oppsummeringer, samt andre norske evalue­ringer i henhold til kriteriene for klassifisering av tiltak i Ungsinn (Martinussen mfl. 2019).

Resultater

Litteratursøket resulterte i 112 treff hvorav totalt tre artikler ble vurdert som aktuelle i denne kunnskapsoppsummeringen. De inkluderte artik­lene var en RCT studie av PMTO–foreldregruppe (Kjøbli mfl. 2013), en studie der gruppebasert PMTO for etniske minoriteter ble evaluert (Bjørknes & Manger, 2013) og den siste var en studie der PMTO–foreldregruppe for fosterfor­eldre ble evaluert (Jakobsen & Solholm, 2009). Disse studiene evaluerte effekten av PMTO–foreldregrupper med eksperimentelle forsk­ningsdesign. De resterende publikasjoner i søket ble ekskludert fordi de ikke omhandlet det aktu­elle tiltaket (K = 101), evaluerte foreldretrening generelt (K = 3), kun evaluerte implementerings­kvalitet av PMTO–tiltak (K = 3), kun beskrev me­toder i tidlig innsats for barn i risiko (K = 1) og evaluerte mediatorer for endringer av atferds­problemer (K = 1).

Gjennomgang av beskrivelser

PMTO–foreldregruppe er godt beskrevet gjen­nom manualer og prosedyrer. Det tematiske inn­holdet for gruppesamlingene er stort sett de samme som i individuell PMTO–behandling, men det er utarbeidet egne permer for PMTO–foreldregruppe. Tiltaket er solid forankret i etab­lerte psykologiske teorier (sosial læringsteori, sosial interaksjon og teori om tvingende sam­spill). Målgrupper, hovedmål og sekundære mål med intervensjonen er godt beskrevet. Det er også metodene som benyttes, teoretiske modeller, kjerneelementer i det forebyggende ar­beidet, strukturen i tiltaket og hvordan tiltaket kan tilpasses deltakerne i intervensjonen. Delta­kerne i gruppene får utdelt permer de skal sette materiell i form av informasjon, idéark, skjema og hjemmeoppgaver, som de mottar i løpet av gjen­nomføringen av tiltaket. Den samlede vurde­ringen av beskrivelsen av PMTO–foreldregruppe er presentert i Tabell 1. Det er også utviklet kvalifikasjonskrav for å bli PMTO gruppeleder, gode skriftlige prosedyrer for implementering av intervensjonen og systemer for å sikre opprett­holdelse av kvaliteten på tiltaket.

Tabell 1
Vurdering av tiltakets beskrivelse

Dimensjoner i beskrivelsen	Ikke beskrevet	Noe beskrevet	Godt beskrevet
Problembeskrivelse			X
Målgruppe			X
Hovedmål			X
Sekundærmål			X
Utforming av tiltaket			X
Metoder som benyttes			X
Kjerneelementer/fleksibilitet			X
Utøvere av tiltaket			X
Manual/veileder for utøvere		X
Materiell for mottakere av tiltaket			X
Undersøkelser som styrker beskrivelsen		X

Nordiske effektstudier

Følgende norske evalueringer av PMTO–foreldregruppe er identifisert. Kjøbli mfl. (2013) gjennomførte en randomisert kontrollert studie (RCT) av intervensjonen under naturlige beting­elser (effectivenessstudie). I studien deltok 137 familier med gutter og jenter i alderen 3–12 år, fordelt i PMTO–foreldregruppe (N = 72) og kon­trollgruppen (N = 65). For å være aktuell for del­tagelse i studien måtte barnet fremvise noen tegn på atferdsproblemer og totalt 77 av barna i utval­get (56 %) hadde en skåre lik eller over grense­verdien (90–percentilen) for å ha atferdsproble­mer målt ved ECBI (Reedtz mfl. 2008). I tillegg til foreldrerapporterte atferdsproblemer var foreld­res disiplineringsatferd samt foreldres og læreres evaluering av barnets sosiale kompetanse utfalls­mål i studien. Kontrollgruppen ble tilbudt PMTO–foreldregruppe etter at forskningen var avsluttet (etter ca. 9 måneder; 12 uker + 6 måneders oppfølging). Familiene i sammenligningsgruppen kunne imidlertid søke annen behandling med unntak av tilsvarende foreldretrening (for eksempel ordinær PMTO–behandling eller De Utrolige Årene).

Bjørknes og Manger (2013) gjennomførte en ran­domisert studie der 96 mødre fra Somalia og Pakistan deltok. Alle ble rekruttert i Oslo kom­mune. Mødrene hadde barn i alderen 3–9 år og ble randomisert til PMTO–foreldregruppe (N = 50) el­ler venteliste kontroll (N = 46). Utfallsmå­lene var foreldrenes grensesettingspraksis, bar­nas at­ferdsproblemer, barnas sosiale kompe­tan­se/ferdigheter, barnas adaptive og akade­miske fungering, samt mødrenes fornøydhet med inter­vensjonen. Målinger ble gjennomført ved base­line før intervensjonen og etter at PMTO–gruppen hadde gjennomført tiltaket.

Jakobsen og Solholm (2009) evaluerte i den siste av de inkluderte publikasjonene en randomisert studie der totalt 83 fosterfamilier deltok. Fors­kerne benyttet et longitudinelt pre–post–de­sign med 24 måneders oppfølging fordelt på to­talt fire måletidspunkt. Fosterfamiliene ble re­kruttert fra landets fire Bufetat regioner. Fosterbarnas at­ferdsvansker og sosiale kompe­tanse/ferdigheter var utfallsmål og ble vurdert av både fosterfor­eldre, barnehagepersonell og læ­rere. Det ble i denne studien gjennomført omfat­tende brukere­valueringer av tiltaket.

Tabell 2
Inkluderte nordiske effektstudier

Artikkel	Program	Forsknings–design	Deltagere	Utvalg	Måle–tidspunkter
Kjøbli mfl. (2013)	PMTO–foreldregruppe	Randomisert kontrollert design	137 familier: n = 72 i PMTO–foreldregruppe n = 65 i kontroll	Barn 3–12 år og deres foreldre	Pre, post, og oppfølging etter 6 mnd.
Bjørknes og Manger (2013)	PMTO–foreldregruppe for minoritets–foreldre	Randomisert kontrollert design	n = 118 (96 inkluderte i studien) n = 50 (intervensjon) n = 46 kontroll (venteliste)	Barn 3–9 år og deres mødre	Pre–, post
Jakobsen og Solholm (2009)	PMTO–foreldregruppe for fosterforeldre	Randomisert kontrollert design	n = 49 (intervensjon) n = 34 (kontroll)	Foster–barn, 2–12 år og deres foster–foreldre	Pre, post (6mnd.), oppfølging etter 12 og 24 mnd.

 

Tabell 3
Forskningsmetodisk kvalitet

Studie	Statistiske analyser	Måling	Indre validitet	Tro mot tiltaket	Ytre validitet	Gjennom–snitt
Kjøbli mfl. (2013)	3	3,5	3,5	3,5	3	3,4
Bjørknes og Manger (2013)	3	3	3	2,5	2,5	2,9
Jakobsen og Solholm (2009)	2,5	2,5	2,5	2,5	2,5	2,9

Note. Skalaen som benyttes er: 0 = ikke rapportert eller undersøkt, 1 = dårlig/utilfredsstillende, 2 = tilfredsstillende, 3 = godt, 4 = svært godt.

Forskningsmetodisk kvalitet

Den forskningsmetodiske kvaliteten på de tre inkluderte studiene er gjennomgående god. Gjen­nomsnittsskårene er beregnet ut ifra en samlet vurdering av statistiske analyser, måling, validi­tet og tro mot tiltaket.

Statistiske analyser

De statistiske analysene som er benyttet er ade­kvate for å besvare hovedproblemstillingene for artiklene. I studien til Kjøbli mfl. (2013) brukte man t–tester og kji–kvadrat tester for å undersøke forskjeller mellom gruppene ved baseline. Linear Mixed Models (LMM) ble benyttet i Intention–to–treat (ITT) analyser for å undersøke effekten av intervensjonen. Metoden som er benyttet for å beregne effektstørrelsene i studien er ikke opti­mal, da man har valgt å beregne disse ved hjelp av konversjonsformler der man beregner d (effekts­tørrelsen) basert på t verdien (fra t–tester). Dette er imidlertid ikke anbefalt i studier der man har to eller repeterte målinger da den naturlige varia­sjonen i variabelen som studeres ikke blir repre­sentert på en god måte ved en slik fremgangs­måte (se Appendix B i Martinussen mfl. 2019).  Frafalls-analyser er gjennomført og ingen signifi­kante forskjeller mellom deltakerne i studien og de få som falt fra ble avdekket. Det er opplyst at analyser indikerte at man trengte ca. 140 familier i studien, men man har ikke presentert styrkebe­regningsanalyser eller begrunnelse for valg av ut­valgsstørrelsen i artikkelen. Alle effektstørrelser ble uttrykt ved hjelp av Cohen´s d.

I Bjørknes og Manger (2013) ble intervensjons­gruppen og kontrollgruppen (venteliste–kon­troll) sammenlignet ved hjelp av kji–kvadrat test for kategoriske variabler og t–test for kontinuer­lige variabler. ANCOVA med sammenligning mel­lom gruppene over to måletidspunkt ble brukt for å avdekke potensielle effekter av intervensjonen, både blant foreldre og barn. Man har benyttet Intention–to–treat (ITT) prinsipper for dataanaly­sene fra pretest til posttest ved hjelp av last–observation–carried–forward (LOCF) imputasjon. Det er vurderes som en svakhet ved studien at man anvender LOCF, da imputasjon av missing data med denne metoden har vist seg å være hef­tet med stor usikkerhet (Lachin, 2016). Effekts­tørrelser ble uttrykt ved hjelp av Cohen´s d, men man oppgir effekter etter endt intervensjon uten å ta hensyn til målinger før intervensjonen, noe som betyr at effektstørrelsene som oppgis ikke uttrykker forskjellen mellom gruppene i endring fra pre til post, men bare uttrykker sammenlig­ninger av gjennomsnittsverdier ved post i bereg­ningen.

I studien til Jakobsen og Solholm (2009) er det ikke presentert styrkeberegningsanalyser eller begrunnelse for valg av utvalgsstørrelsen. Man gjennomførte effektanalyser mellom interven­sjonsgruppen og kontrollgruppen ved hjelp av Linear Mixed Models analyser (LMM). Det er kun beregnet hvorvidt det er statistisk signifikante ef­fekter i studien, ikke effektstørrelser, og tilgjeng­elig tall i rapporten gir heller ikke grunnlag for beregning av disse. Det ble gjort enkle frafallsana­lyser og prosentanalyser av foreldrenes tilfreds­het med kurset og hvor ofte de bruker strategiene de lærte på kurset.

Målinger

Studiene har i all hovedsak brukt velutprøvde spørreskjema både til foreldre og lærere. Alle de tre studiene har målt atferdsproblemer hos barna med den norske versjonen av Eyberg Child Behavior Inventory (ECBI; Reedtz mfl. 2008). Dette instrumentet har norske normer og gode psykometriske egenskaper (Reedtz mfl. 2008). ECBI er evaluert i PsykTestBarn (Reedtz & Martinussen, 2011) og det konkluderes med at testen har svært god reliabilitet, noe evidens for testens begrepsvaliditet og norske normer fra et representativt utvalg. Instrumentets indre kon­sistens er oppgitt i form av Cronbachs alfa. En verdi på > 0,70 anses normalt som tilfredsstil­lende reliabilitet (European Federation of Psychologists´ Association, 2013). ECBI hadde alfa tilsvarende god til utmerket i studiene til Kjøbli mfl. (2013) og Bjørknes og Manger (2013), noe som vurderes som tilfredsstillende reliabili­tet. I Jakobsen og Solholm (2009) oppgis ikke Cronbachs alfa for noen av de valgte skalaene, mens dette i de to første studiene oppgis for alle skalaer.

Teacher Report Form (TRF) ble benyttet for å un­dersøke læreres og barnehagepersonells’ vurde­ringer av barnas faglige fungering, tilpasning og problemområder (Achenbach, 1991; Achenbach & Rescorla, 2001). Skjemaet ble oversatt til norsk i 2002 og er vurdert i PsykTestBarn (Kornør & Drugli, 2011). TRF har norske normer. Det er imidlertid svært få studier som dokumenterer test–retest reliabilitet og gode data på begrepsva­liditet. I Kjøbli mfl. (2013) ble TRF kun benyttet til å tappe angst og depresjon. TRF hadde en Cronbachs alfa tilsvarende god til svært god indre konsistens på subskalaene for angst og depresjon i studien til Kjøbli mfl. (2013) på alle måletids­punkter. I Bjørknes og Manger (2013) oppgis alfa for totalskåren og eksternalisering, men ettersom TRF ikke er et endimensjonalt måleredskap, er det bare målinger på subskalanivå som kan gi grunnlag for vurderinger av instrumentets indre konsistens.

Barnas problemområder ble også målt med Child Behavior Checklist (CBCL) (Achenbach & Edelbrock, 1980) i studiene til Kjøbli mfl. (2013) og Jakobsen og Solholm (2009). I førstnevnte ble kun angst og depresjon (internaliserende proble­mer) målt. CBCL er også oversatt og standardisert i Norge, samt at det er evaluert i PsykTestBarn (Kornør & Drugli, 2011). Det norske normgrunn­laget for CBCL er vurdert å være begrenset, mens den indre konsistensen målt ved Cronbachs alfa er god til svært god og begrepsvaliditeten god. I Kjøbli mfl. (2013) var også den indre konsisten­sen av denne testen vurdert å være god til svært god (0,82 – 0,85) på alle måletidspunkter.

I studien til Kjøbli mfl. (2013) oversatte man spørreskjemaet Home and Community Social Behavior Scale (HCSBS; Merrell & Caldarella, 2002) og benyttet dette for å måle atferdsproble­mer og sosial kompetanse. Begge skalaene hadde Cronbachs alfa på henholdsvis 0,94 og 0,95 – 0,96 på alle måletidspunkter som vurderes som svært god.

I studiene til Kjøbli mfl. (2013) og Bjørknes og Manger (2013) ble foreldreferdigheter målt med Parenting Practices Interview (PPI; Webster–Stratton, 1998) som er oversatt og brukt i flere studier i Norge tidligere (Kjøbli & Ogden, 2012; Reedtz mfl. 2011). PPI måler foreldreferdighe­ter og grensesettingsstrategier som man typisk benytter som utfallsmål i evidensbaserte foreld­retreningsprogrammer. Kjøbli mfl. (2013) og Bjørknes og Manger (2013) benyttet henholdsvis seks og fire underskalaer av PPI, men selv om de fleste hadde god til svært god indre konsistens hadde flere også lav reliabilitet på flere måletids­punkter.

Alle øvrige skalaer og/eller subskalaer som ble benyttet til å måle sosial kompetanse hos barna, symptomtrykk hos foreldre og tilfredshet med til­taket hos foreldre (School Social Behavior Scale (SSBS), Merell & Calderella, 2002; Symptom Check List –5 (SCL–5), Tambs & Moum, 1993; Social Skills Rating System (SSRS), Gresham & Elliott, 1990; Parent Daily Report (PDR), Chamberlain & Reid, 1987; og Family Satisfaction Survey (FSS), Lubrecht, 1992) hadde god (alpha over 0,80) til svært god (alpha over 0,90) indre konsistens på alle måletidspunktene.

Indre validitet

I studien til Kjøbli mfl. (2013) er det benyttet et RCT design for å sikre at gruppene var like før oppstart i behandlingen. Randomiseringsprose­dyren er godt beskrevet, noe som vurderes som en styrke for den indre validiteten. Frafallet var totalt sett lite, og frafallsanalyser viste ingen for­skjeller mellom de som fullførte alle måletids­punktene og de som ikke besvarte spørreskjema­ene.

Studien til Bjørknes og Manger (2013) var også en randomisert kontrollert studie, men det er en svakhet at randomiseringsprosedyren er mangel­fullt beskrevet og at det ikke er gjort frafallsana­lyser. I denne studien er det oppgitt at mødrene deltok på 10,75 gruppemøter i gjennomsnitt, men at det var stor variasjon (SD = 5,67) i hvor mange møter hver deltaker deltok på. To tredeler av del­takerne deltok imidlertid på mer enn 10 av totalt 18 gruppemøter. Alle måleinstrumenter ble over­satt til Somalisk og Urdu for å tilpasses delta­kerne, noe som vurderes som en styrke. Det skriftlige foreldremateriellet var også oversatt til Somali og Urdu og ble delt ut til deltagerne. Hånd­boken til PMTO ble tilpasset de kulturelle forhol­dene og oversatt direkte i gruppemøtene til So­malisk og Urdu.

I studien til Jakobsen og Solholm (2009) rando­miserte man til PMTO–behandling for fosterfor­eldre eller til en kontrollgruppe etter at fosterfa­milier selv hadde meldt seg eller barneverntje­nesten hadde rekruttert familiene. Selve rando­miseringsprosedyren er godt beskrevet, men man har ikke gjennomført målinger av om grup­pene var like eller ulike i utgangspunktet. Forfat­terne presenterer kun et estimat for lik­het/ulikhet mellom gruppene ved T1 i stedet for tester av dette ved T1. Man inkluderte også barn med identifiserte atferdsproblemer som fikk be­handling i studien, uten at man kontrollerte for dette, noe som også er en trussel mot den indre validiteten i studien. Det er videre benyttet et longitudinelt pre–post design med 24 måneders oppfølging. Frafallet i studien var lavt (12–20 % for begge grupper), noe som vurderes som en styrke.

Troskap mot tiltaket

Generelt legger den gode beskrivelsen av og ma­teriellet til tiltaket til rette for at utøverne av in­tervensjonen kan gjennomføre det på ønskede og forventede måter. I Kjøbli mfl. (2013) rapporterte foreldrene om gruppeledernes troskap mot tilta­ket gjennom å spørre i hvor stor grad gruppele­derne dekket tema og kjernekomponenter i tilta­ket. Dette ble gjort etter 3., 8. og 12. gruppesam­ling. Her rapporterte foreldrene en gjennom­snittsskåre på 4,48 av en maks skåre på 5,0 (Kjøbli mfl. 2013). Gruppelederne deltok selv i veiledning der de fikk diskutere problemløsning og rollespillsituasjoner som hadde oppstått i løpet av gruppemøtene, noe som antas å styrke tiltakstroskap.

I studien til Bjørknes og Manger (2013) vises det til at behandlerne var psykologer eller sosialar­beidere med lang klinisk erfaring. De har gjen­nomført 18 måneders opplæring med veiledning. I denne studien fylte gruppelederne ut sjekklister fire ganger i løpet av perioden og troskap mot til­taket ble vurdert som høy (gjennomsnittsskåre på 3,68 på en 4–punkts skala).

Jakobsen og Solholm (2009) oppgir ikke prosedy­rer for innhenting av informasjon om hvor tro gruppeledere har vært mot tiltaket. Kurslederne i tiltaket var imidlertid sertifiserte PMTO–terapeuter som hadde fått et to dagers kurs i gruppeversjonen av tiltaket. I tillegg til dette rap­porteres omfattende evalueringer av tiltaket fra fosterforeldre og flere av spørsmålene omhandlet kjernekomponenter i tiltaket og fikk svært posi­tive evalueringer av deltakerne. Dette kan tyde på at kjernekomponentene i tiltaket ble dekket av kurslederne, noe som kan være en indikasjon på troskap mot tiltaket. For alle de inkluderte studi­ene kunne troskap mot tiltaket ha vært målt med mer objektive mål enn foreldrerapportering, gruppeledernes egne vurderinger og brukertil­fredshet med tiltaket, for eksempel med video­analyser.

Ytre validitet

Ytre validitet handler om hvorvidt funnene i de inkluderte studiene kan generaliseres til tilsva­rende populasjon utenfor studiepopulasjonen og dermed til vanlig forebyggende praksis i Norge. Alle de inkluderte studiene er gjennomført under naturlige betingelser i lokalsamfunnet (effektivi­tetsstudier), som styrker studienes ytre validitet.

Et forhold som kan svekke den ytre validiteten i studien til Kjøbli mfl. (2013) er at utvalget i stu­dien er noe skjevt, i og med at de fleste foreldre som deltok i studien representerte den norske middelklassen eller høyere med tanke på inntekt og utdanning. Videre hadde studien oppfølging etter seks måneder, mens lengre oppfølging hadde vært ønskelig for å kunne vurdere om ef­fektene vedvarte over tid. Det å benytte ventelis­tekontrollgrupper vurderes i denne sammenheng som et design som svekker den ytre validiteten, da lang tids oppfølging ikke er mulig.

I studien til Bjørknes og Manger (2013) var alle skalaene som ble benyttet oversatt til deltakernes språk, men det vites ikke om oversettelsene bidro til at disse fanget opp kulturelle og tradisjonelle somaliske og pakistanske begreper og praksiser. Bruken av kulturtolker underveis i alle gruppe­møtene, samt at disse hadde fått opplæring i PMTO–prinsippene gjennom et fem dagers kurs, styrker imidlertid sannsynligheten for at tiltaket var kulturelt tilpasset målgruppen og kan genera­liseres til andre i disse gruppene. Fedre deltok ikke i studien, noe som gjør at funnene ikke kan generaliseres til foreldre generelt, men kun til mødre med innvandrerbakgrunn fra Somalia og Pakistan.

I studien til Jakobsen og Solholm (2009) beskri­ves at utvalget av fosterfamilier i studien ikke var representativt for norske fosterfamilier. Famili­ene ble rekruttert gjennom selvseleksjon eller ak­tiv oppfordring fra barnevernsarbeidere. Foster­foreldre med en krevende hverdag var underre­presentert i studien. Utvalget var i tillegg lite og flere av familiene hadde barn uten atferdsproble­mer. Studien hadde imidlertid fire målinger og oppfølging både ved seks, tolv og 24 måneder, noe som styrker den ytre validiteten av funnene.

Tabell 4
Effekter av tiltaket målt med Cohens D

	Målsetting	Effekter	Effekter	Effekter	Effekter
		(post–test)	(6 mnd. oppf.)	(12 mnd. oppf.)	(24 mnd. oppf.)
Kjøbli mfl. (2013) 1.	Atferdsproblemer
	ECBI Intensitet (foreldre)	0,33*	0,36**
	ECBI Problem (foreldre)	0,35(*)	0,36
	HCSBS Eksternalisering (foreldre)	0,12	0,33*
	SSBS Eksternalisering (lærere)	0,22	0,19
	Sosial kompetanse
	HCSBS Sosial kompetanse (foreldre)	0,47***	0,36*
	SSBS Sosial kompetanse (lærere)	0,31**	0,21
	Foreldreferdigheter
	PPI Røff disiplinering	0,62***	0,60***
	PPI Inkonsistent disiplinering	0,19	0,29*
	PPI Adekvat disiplinering	0,01	0,28
	PPI Positiv disiplinering	0,86***	0,86***
	PPI Klare forventninger	0,54***	0,1
Bjørknes og Manger (2013)	Atferdsproblemer
	ECBI Problem (foreldre)	0,40*
	CP Composite (foreldre)	0,33*
	TRF Eksternalisering (lærere)	0,37
	TRF Total (lærere)	0,45
	Sosial kompetanse
	SSRS Total (lærere)	0,09
	Foreldreatferd
	PPI Røff disiplinering	0,44*
	PPI Røff for alder	0,38
	PPI Adekvat disiplinering	0,15
	PPI Positiv disiplinering	0,61**
Jakobsen og Solholm (2009)	Alle fosterbarna
	Atferdsproblemer
	ECBI Problem (foreldre)		NAa.	NAa.	NAa.
	ECBI Intensitet (foreldre)		NA*	NAa.	NAa.
	CBCL Eksternalisering (foreldre)		NAa.	NAa.	NAa.
	TRF Eksternalisering (lærere)		NAa.	NAa.	NAa.
	Sosial kompetanse
	SSRS Total (foreldre)		NAa.	NAa.	NAa.
	SSRS Total (lærere)		NAa.	NAa.	NAa.
	Høyrisikogruppe i utvalget
	Atferdsproblemer
	ECBI Problem (foreldre)		NA*	NAa.	NAa.
	ECBI Intensitet (foreldre)		NA*	NA*	NAa.
	CBCL Eksternalisering (foreldre)		NA*	NAa.	NAa.
	TRF Eksternalisering (lærere)		NAa.	NAa.	NAa.
	Sosial kompetanse
	SSRS Total (foreldre)		NA*	NA*	NA*
	SSRS Total (lærer)		NAa.	NAa.	NAa.

Note 1.(*)p=0,05 *p <0,01, **p<0,01, ***p<0,001. Signifikansnivået er hentet fra originalanalysene i artiklene.

Note 2. I studien til Jakobsen og Solholm (2009) har man ikke beregnet effektstørrelser, og da pre–verdi for gruppene og eksakte gjennomsnittsverdier ikke oppgis kan disse ikke beregnes. «Not applicable» (NA) er derfor oppgitt i tabellen, samt statistisk effekt, der a angir ikke signifikante effekter.

Note 3. Effektstørrelsene for Bjørknes og Manger er gjennomsnittlig endring i intervensjonsgruppen – gjennomsnittlig endring i kontrollgruppen/ pooled standardavvik ved inntak i begge gruppene.

Effekter av tiltaket

Tabell 4 viser en oversikt over effektstørrelser for de viktigste utfallsmålene på atferdsvansker hos barn, sosiale ferdigheter og foreldreferdigheter. Effektene av PMTO–foreldregruppe varierer fra ingen effekt til sterke effekter vurdert med Co­hens d i Kjøbli mfl. (2013) og Bjørknes og Manger (2013).

Som nevnt ovenfor er metoden som er benyttet til å beregne effektstørrelsene i studien til Kjøbli mfl. (2013) ikke optimal og vi har derfor valgt å beregne disse på nytt. I denne studien fant man at barna i intervensjonsgruppen hadde færre for­eldrerapporterte atferdsproblemer rett etter in­tervensjonen, representert ved en liten til mode­rat effekt. Man fant også en moderat effekt på for­eldrerapportert sosial kompetanse. Foreldrene i intervensjonsgruppen hadde en bedring av for­eldreferdigheter tilsvarende en stor effekt for po­sitiv disiplinering, moderate effekter for reduk­sjon i røff grensesetting og klare forventninger og liten, men ikke signifikant effekt for inkonsistent disiplinering. Lærerrapportert sosial kompe­tanse viste en liten effekt i favør av intervensjons­gruppen ved posttest.

Ved 6 måneders oppfølging fant man ytterligere signifikante reduksjoner i foreldre rapporterte atferdsproblemer målt med ECBI intensitet og HCSBS. Ved 6 måneders oppfølging fant man sig­nifikante positive effekter på foreldreferdigheter, representert ved en stor effekt på positiv disipli­nering, en moderat effekt på røff disiplinering, og en liten effekt på inkonsistent disiplinering i favør av intervensjonsgruppen.

Også effektstørrelsene i studien til Bjørknes og Manger (2013) ble beregnet på nytt. Studien viste små til moderate effekter på atferdsproblemer hos barnet og foreldreferdigheter i disiplinering i favør av intervensjonsgruppen. Også i denne stu­dien endret foreldreferdigheter i disiplinering seg i forventet retning og endringene var statis­tisk signifikant og størst mellom gruppene på røff og positiv disiplinering. Lærerrapporteringen viste ingen statistisk signifikante forskjeller i end­ring av atferd eller sosial kompetanse. Det var sig­nifikante forskjeller mellom de mødrene i inter­vensjonsgruppen som deltok i mer enn 50 % av gruppemøtene sammenlignet med de som deltok i færre, der de som fikk størst dose hadde signifi­kant høyere skårer på positiv disiplinering og la­vere på røff disiplinering, samt at barna deres hadde lavere skårer på foreldrerapporterte pro­blemer. Det var imidlertid også signifikante for­skjeller mellom barna til mødre som fikk høy dose sammenlignet med kontrollgruppen på læ­rerrapportert eksternaliserende atferd, der barna hvis mødre deltok i mer enn 50 % av tilta­ket hadde signifikant mer atferdsproblemer på skolen.

I studien til Jakobsen og Solholm (2009) beregnet man ikke effektstørrelser, samt at målinger av flere utfallsmål ikke viste signifikante effekter for utvalget som helhet. På den andre siden fant man signifikant for­skjell i endring mellom gruppene rett etter inter­vensjonen (T2) på ECBI Intensitet i favør av inter­vensjonsgruppen, men denne effekten var ikke signifikant på senere måletidspunkt. Man fant ingen forskjeller for noen av utfallsmålene ved lærerrapporterting. I et underutvalg av gruppen som var i risiko for utvikling av atferdsvansker, fant man signifikante forskjeller i endring mellom gruppene på foreldrerapporterte atferdsproble­mer målt med ECBI og CBCL ved 6 måneders opp­følging, men kun med ECBI ved 12 måneders opp­følging. Det var ingen signifikante funn ved 24 måneders oppfølging. På ECBI problemskåre var det signifikante forskjeller mellom intervensjons­gruppen og sammenligningsgruppen i favør av intervensjonsgruppen kun umiddelbart etter in­tervensjonen. Man fant signifikante forskjeller i endring mellom gruppene for foreldrerapportert sosial kompetanse ved alle måletidspunkter for høyrisiko gruppen. Det var ingen signifikante for­skjeller for gruppen som helhet i lærerrappor­terte sosial kompetanse.

Implementeringskvalitet

I Tabell 5 presenteres den samlede vurderingen av tiltakets systemer for å fremme god implemen­teringskvalitet.

Implementeringsstøtte

NUBU tilbyr implementeringsstøtte til alle kom­muner som bruker tiltaket og det er utarbeidet en egen håndbok om implementering av TIBIR (Gomez mfl. 2014), som inkluderer tiltaket PMTO–foreldregruppe og som kommunene kan benytte som styrings– og hjelpeverktøy. Kommu­ner som får tilsagn om å implementere tiltaket, forplikter seg gjennom avtaler med NUBU til sam­arbeidet og varigheten av dette. Opplæring og oppfølging fra NUBU og regionalt implemente­ringsteam er kostnadsfritt for kommunene.

Kvalifikasjonskrav, opplæring og veiledning

Tjenesteutøvere som vil kvalifisere seg til PMTO–terapeuter må ha minimum tre års utdannelse i helse–, sosial– eller pedagogiske fag fra høy­skole/universitet. Krav til kvalifikasjoner for vei­ledere og trenere er også godt beskrevet. Gruppe­ledere blir utdannet, fulgt opp og gitt vei­ledning av regionale koordinatorer i et regionalt imple­menteringsteam. Opplæringen er den samme som for PMTO terapeuter (21 kursdager pluss vi­deodokumentert praksis) og i tillegg gis PMTO–foreldregruppeledere tilleggsopplæring (to da­gers kurs) der ferdigheter i gruppeprosesser blir tematisert.

Sertifiseringsordninger

Det kreves sertifisering for å bli PMTO terapeut og ordningen krever full opplæring, deltakelse på 24 dagers veiledning i løpet av to år, samt gjen­nomføring av minst fem PMTO–behandlinger. Det er beskrevet en egen ordning for sertifisering til gruppeleder i PMTO–foreldregrupper.

Måling av etterlevelse/fidelity

NUBU har flere rutiner for å sikre terapeutenes trofasthet mot PMTO–foreldregruppe. PMTO–terapeuters arbeid kvalitetssikres gjennom ob­servasjoner av videoopptak fra behandlingstimer for å måle terapeutenes metodeintegritet. For å opprettholde sertifiseringen må PMTO–terapeuter i tillegg gjennomføre gruppeveiled­ning på til sammen 16 dager og ha minst fire år­lige behandlingsforløp (eller grupper i PMTO–foreldregruppe) i de to påfølgende år etter serti­fisering (Stormark & Christiansen, 2018). Deret­ter må de delta i gruppeveiledning, etterutdan­ningsseminar, gjennomføre minst to behand­lingsforløp hvert år og dokumentere aktiviteter som tilfredsstiller kvalitetssikringskravene for sertifiseringen hvert år.

Identifisering og rekruttering av målgrupper

Målgruppen for tiltaket identifiseres gjennom standardisert kartlegging i samarbeid med kom­munale tjenester.

Verktøy for vedlikehold av effekter

PMTO–terapeutenes arbeid vedlikeholdes gjen­nom standardiserte målinger av utfall hos bru­kerne. NUBU har utviklet et nasjonalt databasert kvalitetssikrings– og beslutningssystem for å kunne følge utviklingen til deltakere i PMTO. Disse opplysningene lagres som av–identifiserte person– og saksopplysninger, noe som gir tera­peutene tilgang til opplysninger om hvordan ut­førte behandlinger evalueres på bakgrunn av ut­fallsdata for barna og brukertilfredshet fra fami­lien. Før oppstarten av tiltaket gjøres en kartleg­ging av barnets atferdsproblemer med ECBI (Reedtz mfl. 2008), og etter avslutning av tiltaket gjøres en tilsvarende kartlegging for å vurdere om barnet har hatt nytte av tiltaket eller om man bør henvise videre til andre tiltak.

Strategier for tilpasning

PMTO–foreldregruppe er prøvd ut blant norske, somaliske og pakistanske foreldre for målgrup­pen, samt for fosterforeldre. Tiltaket kan også til­passes til ulike tjenester, både forebyggende hel­setjenester i kommuner, barneverntjenester og psykisk helsevern for barn og unge.

Tabell 5
Vurdering av tiltakets implementeringskvalitet.

Kategori		Ja	Nei	Ikke relevant
Implementeringsstøtte		x
Kvalifikasjonskrav		x
Opplæring		x
Sertifiseringsordninger			x
Monitorering av fidelity/etterlevelse		x
Veiledning		x
Identifisering av målgrupper		x
Kartleggings–og vedlikeholdsverktøy		x
Strategier for tilpasning		x
Samlet skåre		∑8/9

 

 

Diskusjon

Formålet med denne artikkelen er å undersøke om tiltaket PMTO–foreldregruppe er virksomt i vanlig praksis i Norge. Funnene fra studier på til­taket diskuteres i lys av kriteriene for klassifise­ring av tiltak i Ungsinn (Martiunssen mfl. 2019). Dette danner grunnlag for tiltakets evidensnivå.

Beskrivelse

PMTO–foreldregruppe er godt beskrevet, og mål­gruppen er godt beskrevet. Tiltaket retter seg mot foreldre av barn med begynnende atferd­svansker, og temaene det jobbes med er velkjente fra individuell PMTO–behandling, som tiltaket bygger på. Tiltaket har utviklet en manual og gode prosedyrer for veiledning av terapeutene.

Teoretisk rasjonale

Tiltaket bygger på anerkjent teori og underbyg­ger godt virkningsmekanismene som det jobbes med. Det er sammenheng mellom teorifunda­mentet og de metodene som anvendes for å oppnå målsetningene med tiltaket.

Antall effektstudier

Tre studier er inkludert og vurdert i denne kunn­skapsoppsummeringen, alle norske. To av disse er publisert i fagfellevurderte tidsskrifter (Kjøbli mfl. 2013; Bjørknes & Manger, 2013), mens den siste er publisert i form av en norskspråklig rap­port (Jakobsen & Solholm, 2009). De tre inklu­derte studiene er de første og eneste studiene som har undersøkt effektene av PMTO–foreldregrupper.

Forskningsdesign

De tre inkluderte studiene har alle et RCT–design noe som er en klar styrke derfor med hensyn til vurderinger av hvorvidt at effektene skyldes til­taket og ikke andre faktorer. Studiene er gjen­nomført i vanlig praksis i Norge og funnene re­presenterer på den måten mål på effektiviteten («effectiveness») av tiltaket under alminnelige betingelser. Det kan innvendes at bruk av design med venteliste kontroll reduserer muligheten for undersøkelser av effekter ved lang tids oppføl­ging, noe som ofte er et mål med forebyggende in­tervensjoner. Dette vurderes å være en svakhet ved studien til Bjørknes og Manger (2013).

Forskningsmetodisk kvalitet

Studiene er utført med tilfredsstillende til god forskningsmetodisk kvalitet. Tiltaket som evalue­res i studiene er også godt beskrevet, selv om stu­diene i noe ulik grad gjennomfører tiltaket i tråd med manualen for PMTO–foreldregruppe, samt at terapeutene i ulik grad hadde opplæring i dette spesifikke tiltaket. De statistiske analysene som er benyttet i studiene er adekvate med unntak av testene for beregning av effektstørrelser. Frafallet i studiene til Kjøbli mfl. (2013) og Bjørknes og Manger (2013) er også godt analy­sert og rapportert.

Når det gjelder målingenes reliabilitet og validitet er det stort overlapp mellom de valgte spørre­skjemaer i de tre studiene. Måleinstrumentene som ble benyttet til å måle barnas atferd er rele­vante og de fleste er relativt godt validerte instru­menter med norske og/eller multikulturelle nor­mer. Det er rapportert om god indre konsistens for de mest sentrale skalaer og underskalaer, bortsett fra hos Jakobsen og Solholm (2009), som ikke rapporterte dette. Det er en svakhet ved de inkluderte studiene at man ikke har inkludert barnas selvrapport og observasjonsmål i tillegg til lærer– og foreldrerapport. Måleinstrumentene for å måle foreldreferdigheter og endringer i disse er benyttet i flere norske og internasjonale studier, men er ikke validert eller normert i Norge. Det finnes imidlertid svært få målemeto­der av foreldreferdigheter på norsk, noe som un­derstreker et stort behov for redskaper som må­ler kvaliteter i samspill mellom foreldre og barn, og foreldres strategier for disiplinering av barn og unge her til lands. Det er en svakhet at Jakob­sen og Solholm (2009) ikke har inkludert må­linger av fosterforeldrenes foreldreferdigheter, da foreldres/foresattes oppdragelsespraksis er en veldokumentert risikofaktor for utvikling av atferdsvansker. Selv om barna i studien er plas­sert i fosterhjem kan det tenkes at fosterforeldre­nes oppdragelsespraksis bidrar til å opprettholde disse barnas atferdsproblemer. I møte med barn og unge som har atferdsproblemer er det ikke uvanlig at foresatte benytter for røff disiplinering og/eller er for lite positive i sin kommunikasjon, og slike utfallsvariabler kunne derfor med fordel ha vært inkludert i studien.

Forskningsdesignet, lavt frafall og gode frafalls­analyser i studien til Kjøbli mfl. (2013) borger for god indre validitet og underbygger at forskjellene mellom gruppene var forårsaket av intervensjo­nen. Utvalgsstørrelsene i denne studien var til­fredsstillende, noe som underbygges av styrkebe­regninger. I Bjørknes og Manger (2013) er det imidlertid ikke gjort godt nok rede for randomi­seringsprosedyren. Man kan også innvende at den store variasjonen i antall møter som de mino­ritetsetniske mødrene i Bjørknes og Manger (2013) skaper usikkerhet omkring årsaken til forskjellen mellom gruppene, men det er ut fra de foreliggende studiene gode grunner til å anta at høyere doser av tiltaket gir bedre utfall på foreld­referdigheter og barnas atferd hjemme.

I studiene til Kjøbli mfl. (2013) og Bjørknes og Manger (2013) er det gjennomført målinger som gir støtte til at terapeutene hadde høy grad av tro­skap til tiltaket, noe som styrker sammenhengen mellom tiltakets innhold og resultatene. Det er en svakhet at man ikke har gjennomført noen må­linger av terapeutene gjennomføring av tiltaket i Jakobsen og Solholm (2009). Foreldrenes til­fredshet med tiltaket er imidlertid rapportert på en utdypende måte og gir indikasjoner på tiltaks­troskap fra terapeutenes side gjennom at foreld­res tilfredshet med kjernekomponenter i tiltaket er målt og dermed kan antas å være ivaretatt.

Når det gjelder studienes ytre validitet er alle gjennomført i vanlig praksis i Norge, noe som styrker den ytre validiteten.  Hvorvidt resultatene fra studiene kan generaliseres til vanlig norsk praksis handler imidlertid også om de er stabile over tid. Det er en sterk trussel mot den ytre vali­diteten at man bare har pre–post målinger i Bjørk­nes og Manger (2013) og kun har 6 måneders oppfølging i Kjøbli mfl. (2013). For tiltak med mål om forebygging er det gjerne effekter som strek­ker utover seks måneder som er særlig interes­sante, noe som krever lengre tids oppfølging. Et annet sentralt spørsmål når man skal vurdere om funnene i studiene kan generaliseres til vanlig praksis er om utvalgene av deltakere er represen­tative for de fleste barn i Norge. Mangel på repre­sentative utvalg i studiene er en annen sentral trussel mot den ytre validiteten i de inkluderte studier, da studien til Kjøbli mfl. (2013) inklu­derte deltakere som representerer den norske middelklassen med tanke på inntekt og utdan­ning, Bjørknes og Manger (2013) inkluderte kun minoritetsetniske mødre, ingen fedre, og delta­kere og i Jakobsen og Solholm (2009) var ikke re­presentative fosterforeldre. Utvalget i sistnevnte studie var også lite.

Effekter

Resultatene fra evalueringen av PMTO–foreldregruppe (Kjøbli mfl. 2013) viste små til store effekter på tiltakets hovedmålsettinger, både på foreldrerapporterte endringer i barnas utagerende atferd, sosial kompetanse og foreld­res foreldreferdigheter rett etter intervensjonen. Ved 6 måneders oppfølging fant man signifikante små til moderate effekter på barnas foreldrerap­porterte utagerende atferd, og fortsatt stor effekt på foreldres ferdigheter i positiv disiplinering, moderat effekt på røff disiplinering og liten effekt på inkonsistent og positiv disiplinering. Foreldre­rapportert sosial kompetanse hos barna ga en opp mot moderat effekt rett etter intervensjonen, og liten til moderat effekt 6 måneder etter. Lærer­rapportert sosial kompetanse hos barna viste en liten signifikant effekter rett etter intervensjo­nen, men denne var ikke signifikant 6 måneder etter. Oppsummert betyr det at tiltaket fortsatt hadde effekt på en del sentrale variabler ved 6 måneders oppfølging.

I studien til Bjørknes og Manger (2013) fant man små til moderate effekter på barnas atferdspro­blemer og foreldreferdigheter. Resultatene sam­menfaller med tidligere forskning der det frem­kommer at effekten av foreldreveiledning er størst i utvalg der barna har klart definerte at­ferdsproblemer, men avtar i grupper av barn med færre eller uten slike problemer. I studien til Bjørknes og Manger (2013) var det kun en tredel av barna som skåret over 90 prosentilen på ECBI, noe som underbygger en slik sammenheng.

I studien til Jakobsen og Solholm (2009) fant man kun signifikante forskjeller på foreldres vurde­ring av barnas atferdsproblemer, men denne for­svant etter postmåling. I hovedutvalget av barn hos Jakobsen og Solholm (2009) var det imidler­tid bare 20 % av utvalget som ikke skåret over 90–prosentilen på noen av de tre skalaene som målte atferdsproblemer, mens 30–80 prosent skåret over denne grenseverdien på én, to eller tre av disse skalaene. Ut ifra dette skulle man forvente sterkere signifikante effekter av PMTO gruppetil­taket for denne gruppen. Da man grupperte utval­get etter nivå av atferds-problemer målt med ECBI Intensitet, TRF Total og CBCL Total, oppfylte 63 % av barna kriteriene for å være i høy risiko for ut­vikling av atferdsvansker, ved at de skåret over 90 prosentilet på to av de tre atferdsskalaene.  Ef­fektstørrelser er ikke rapportert, men etter disse analysene fremkom signifikante forskjeller i end­ring mellom høyrisikogruppen og kontrollgrup­pen i studien. Dette underbygger også at foreldre­veileningstiltak for barn i risiko for eller med at­ferdsvansker gir større effekter på barnets atferd dess større potensial for endring som er til stede i barnets atferd.

Det var kun Kjøbli mfl. (2013) som fant effekter av tiltaket på barnas foreldre– og lærerrappor­terte sosiale kompetanse for hele utvalget. Bjørknes og Manger (2013) fant ikke signifikante effekter av tiltaket på lærerrapporterte atferds­problemer hos barna, noe som underbygger at det må forskes mer på i hvilken grad barnets ut­vikling av mer prososial atferd generaliseres fra en kontekst til en annen. At effektene av foreldre­veiledningstiltak er små for barnets atferd i bar­nehage og skole sammenfaller noe med tilsva­rende resultater for andre foreldretiltak som for eksempel De Utrolige Årene (Drugli mfl. 2010). Funnet av at mødrene som hadde deltatt i flest møter i studien til Bjørknes og Manger (2013), også hadde barn som skåret signifikant høyere på lærerrapporterte atferdsvansker etter tiltaket understreker at foreldreveiledningstiltak ikke alltid har effekter som kan generaliseres fra hjemmet til skolen, selv om økningen i lærerrap­porterte vansker etter tiltaket er overraskende. Generalisering av tiltakseffekter mellom hjem, barnehage og skole bør undersøkes i fremtidige studier av foreldreveiledningstiltak, både i grup­per av norske og minoritetsetniske barn i Norge.

Når det gjelder foreldreferdigheter var effektene i studiene til Kjøbli mfl. (2013) og Bjørknes og Manger (2013) konsistent og størst for positiv di­siplinering og røff disiplinering, med moderat til stor effekt. Selv om de inkluderte studiene ikke tester mediering, underbygges effektene på for­eldreferdigheter i disse studiene av funn i øvrig faglitteratur der styrkede foreldreferdigheter sy­nes å mediere positive behandlingseffekter hos barn i risiko for eller med definerte atferdspro­blemer, og at medieringseffekten vedvarer over tid (Fossum mfl. 2016, Van Aar mfl. 2016; Reedtz, Handegård & Mørch, 2010).  Funnene er et ut­trykk for at tiltakene virker i tråd med den baken­forliggende teori og de beskrevne virkningsme­kanismene.

Implementeringskvalitet

PMTO–håndboken og tilhørende manual for PMTO–foreldregruppe er gode hjelpemidler for terapeutene som leverer tiltaket. Det varierte ma­teriellet til foreldre som deltar i tiltaket støtter også på en god måte opp under målrettet arbeid med å oppfylle tiltakets målsetninger. NUBU har i tillegg omfattende og gode systemer for opplæ­ring, implementeringsstøtte, veiledning til tjenes­ter og kommuner som tilbyr tiltak i PMTO foreld­regruppe programserien, samt systemer for å sikre metodeintegritet. Det finnes ingen egen ser­tifiseringsordning for gruppeledere av PMTO–foreldregrupper, men det kreves sertifisering som PMTO–terapeut og påbyggingskurs.

Konklusjon

Effektene av PMTO–foreldregruppe er dokumen­tert i tre studier. Det er gjennomført oppfølgings­målinger i to av studiene, men den ene fagfelle­vurderte publikasjonen har bare seks måneders oppfølging. Tiltaket har vist små til moderate ef­fekter på barns atferdsproblemer i alle de inklu­derte studiene, små til store effekter på foreldre­ferdigheter i to av studiene, og ingen til stor effekt på barns sosiale ferdigheter i to av studiene. En rekke trusler, spesielt mot studienes indre og ytre validitet, gjør at det er litt usikkert hvor godt do­kumentert effektene av tiltaket er. Det er behov for flere uavhengige evalueringer av tiltaket i or­dinær praksis, samt gode studier med lengre tids oppfølging. Det er likevel flere forhold som taler for at PMTO–foreldregruppe er et virksomt fore­byggingstiltak. Hovedfunnene i de inkluderte stu­diene trekker alle i retning av at barnas atferds­problemer reduseres som følge av tiltaket, samt at foreldreferdigheter styrkes.  Tiltaket er i tillegg godt beskrevet, har god teoretisk forankring og bygger på anerkjente prinsipper og metoder fra PMTO. Utøvelse av tiltaket krever god opplæring, og tiltakseier har gode systemer for å sikre imple­menteringskvalitet og metodeintegritet.

PMTO–foreldregruppe klassifiseres på denne bakgrunn på evidensnivå 4 – Tiltak med tilfreds­stillende dokumentasjon på effekt.

Referanser

Achenbach, T. M. (1991). Manual for the Teacher’s Report Form and 1991 profile. University of Vermont, Department of Psychiatry.

Achenbach, T., & Edelbrock, C. (1980). Child Behavior Checklist: CBCL. University of Vermont.

Achenbach, T. M., & Rescorla, L. A. (2001). Manual for the ASEBA School-Age Forms & profiles. University of Vermont, Department of Psychiatry.

American Psychiatric Association. (2013). Diagnostic and statistical manual of mental disorders (5th ed.). APA.

Bjørknes, R., & Manger, T. (2013). Can parent training alter parent practice and reduce conduct problems in ethnic minority children? A randomized controlled trial. Prevention Science, 14(1), 52–63. https://doi.org/10.1007/s11121-012-0299-9

Capaldi, D. M. (1992). Co-occurrence of conduct problems and depressive symptoms in early adolescent boys: II. A 2-year follow-up at Grade 8. Development and Psychopathology, 4(1), 125–144. https://doi.org/10.1017/S0954579400005605

Chamberlain, P., & Reid, J. B. (1987). Parent observation and report of child symptoms. Behavioral Assessment, 9(1), 97–109.

DeGarmo, D. S., Forgatch, M. S., & Martinez, Jr, C. R. (1999). Parenting of divorced mothers as a link between social status and boys’ academic outcomes: Unpacking the effects of socioeconomic status. Child Development, 70(5), 1231–1245. https://doi.org/10.1111/1467-8624.00089

Drugli, M. B., Larsson, B., Fossum, S., & Mørch, W. T. (2010). Five‐to six‐year outcome and its prediction for children with ODD/CD treated with parent training. Journal of Child Psychology and Psychiatry, 51(5), 559–566. https://doi.org/10.1111/j.1469-7610.2009.02178.x

European Federation of Psychologists´ Association (EFPA). (2013). EFPA review model for the description and evaluation of psycholgical tests: Tests review form and notes for reviewers, v 4.2.6. EFPA. http://www.efpa.eu/download/650d0d4ecd407a51139ca44ee704fda4

Forgatch, M. S. (2002). Implementing parent management training in Norway. Grant Application RFA – DA – 02 – 004 (No. NIDA NNPRI: Community Multisite Prevention Trials (CMPT). Oregon Social Learning Center.

Forgatch, M. S., & Patterson, G. R. (2010). Parent Management Training – Oregon Model: An intervention for antisocial behavior in children and adolescents. In J. R. Weisz & A. E. Kazdin (Eds.), Evicence-based psychotherapies for children and adolescents (2nd ed.) (pp. 159–177). The Guilford Press.

Forgatch, M. S., & Rodríguez, M. M. D. (2016). Interrupting coercion: The iterative loops among theory, science, and practice. In T. J. Dishion & J. J. Snyder (Eds.), The Oxford handbook of coercive relationship dynamics (pp. 194–214). Oxford University Press.

Fossum, S. (oppdatert 9.4. 2013). Beskrivelse og vurdering av tiltaket: Tidlig intervensjon for barn i risiko (TIBIR) – Foreldregruppeintervensjonen. I M. Martinussen (Red), Ungsinn. Tiltak nr 14. http://ungsinn.no/ungsinn/startside/artikkel?p_document_id=177929 

Fossum, S., Handegård, B. H., Adolfsen, F., Vis, S. A., & Wynn, R. (2016). A meta-analysis of long-term outpatient treatment effects for children and adolescents with conduct problems. Journal of Child and Family Studies, 25(1), 15–29. https://doi.org/10.1007/s10826-015-0221-8

Gomez, B., Grønlie, A. A., Kristiansen, D. E., & Richardsen, K. (2014). Implementering av tidlig innsats for barn i risiko (TIBIR) fra teori til praksis. Atferdessenteret.

Gresham, F. M., & Elliott, S. N. (1990). Social skills rating system manual. American Guidance Service.

Jakobsen, R., & Solholm, R. (2009). Evaluering av PMTO-kurs for fosterforeldre – en effektstudie. Bergen: Barnevernets utviklingssenter på Vestlandet, -Unifob helse. https://kudos.dfo.no/files/ec9/ec9b17b69708ffeba2223cc65e0ec7d37c1b7038540ed0601fac7d44b6dd5fb6/Evaluering%20av%20PMTO-kurs%20for%20fosterforeldre%20-%20En%20effektstudie.pdf

Kjøbli, J., Hukkelberg, S., & Ogden, T. (2013). A randomized trial of group parent training: Reducing child conduct problems in real-world settings. Behaviour Research and Therapy, 51(3), 113–121. https://doi.org/10.1016/j.brat.2012.11.006

Kjøbli, J., & Ogden, T. (2012). A randomized effectiveness trial of brief parent training in primary care settings. Prevention Science, 13(6), 616–626. https://doi.org/10.1007/s11121-012-0289-y

Kornør, H. & Drugli, M.B. (2011). Måleegenskaper ved den norske versjonen av Teacher’s Report Form (TRF). PsykTestBarn. http://www.psyktestbarn.no/CMS/ptb.nsf/pages/trf

Lachin, J. M. (2016). Fallacies of last observation carried forward analyses. Clinical Trials, 13(2), 161–168. https://doi.org/10.1177%2F1740774515602688

Lubrecht, J. (1992). Family satisfaction survey. In K. Kutash & T. R. Rivera (Eds.), Measures of satisfaction with child mental health services (pp. 21–23). Florida Mental Health Institute, University of South Florida.

Martinussen, M., Reedtz, C., Eng, H., Neumer, S. P., Patras, J., & Mørch, W. T. (2019). Kriterier for prosedyrer og vurdering og klassifisering av tiltak (2. utgave, v 2.1). Universitet i Tromsø.

Merrell, K. W., & Caldarella, P. (2002). Home & community social behavior scales user’s guide. Paul H. Brookes Publishing Company.

Patterson, G. R. (1982). Coercive family process. Castalia Publishing Company.

Patterson, G. R., Reid, J. B., & Dishion, T. J. (1992). Antisocial boys. Castalia Publishing Company.

Reedtz, C., Bertelsen, B., Lurie, J. I. M., Handegård, B. H., Clifford, G., & Mørch, W. T. (2008). Eyberg Child Behavior Inventory (ECBI): Norwegian norms to identify conduct problems in children. Scandinavian Journal of Psychology, 49(1), 31–38. https://doi.org/10.1111/j.1467-9450.2007.00621.x

Reedtz, C., Handegård, B. H., & Mørch, W. T. (2011). Promoting positive parenting practices in primary pare: Outcomes and mechanisms of change in a randomized controlled risk reduction trial. Scandinavian Journal of Psychology, 52(2), 131–137. https://doi.org/10.1111/j.1467-9450.2010.00854.x

Reedtz, C., & Martinussen, M. (2011). Måleegenskaper ved den norske versjonen av Eyberg Child Behavior Inventory (ECBI). PsykTestBarn. http://www.r-bup.no/CMS/ptb.nsf/pages/ecbi

Reid, J. B., Patterson, G. R., &, Snyder, J. (2002). Antisocial behavior in children and   adolescents: A developmental analysis and model for intervention. American Psychological Association.

Skogen, J. C., &, Torvik, F. A. (2013). Atferdsforstyrrelser blant barn og unge i Norge. Beregnet forekomst og bruk av hjelpetiltak. Oslo, Folkehelseinstituttet.

Solholm, R., Askeland, E., Christiansen, T., & Duckert, M. (2005). Parent Management Training-Oregon-modellen. Teori, behandlingsprogram og implementering i Norge. Tidsskrift for Norsk Psykologforening, 42(7), 587–597.

Stormark, K. M., & Christiansen, Ø. (2018). Kunnskapsoppsummering og klassifisering av tiltaket Parent Management Training – The Oregon Model (PMTO) som individuell foreldreveiledning (2.utg.). Ungsinn, 2:2. https://ungsinn.no/post_tiltak_arkiv/parent-management-training-the-oregon-model-pmto-som-individuell-foreldreveiledning-2-utg/

Tambs, K. & Moum, T. (1993). How well can a few questionnaire items indicate anxiety and depression? Acta Psychiatrica Scandinavica, 87(5), 364–367. https://doi.org/10.1111/j.1600-0447.1993.tb03388.x

Van Aar, J., Leijten, P., de Castro, B. O. & Overbeek, G. (2016). Sustained, fade-out or sleeper effects? A systematic review and meta-analysis of parenting interventions for disruptive child behavior. Clinical Psychology Review, 51, 153-163. doi.org/10.1016/j.cpr.2016.11.006

Webster-Stratton, C. (1998). Parent Practices Interview. http://son.washington.edu/centers/parenting-clinic

World Health Organization. (2020). International Classification of Diseases, 11th Revision (ICD-11).  World Health Organization.

 

Som alle artikler i Ungsinn, kan denne fagfellevurderte artikkelen arkiveres og distribueres fritt for alle slags formål på følgende vilkår: korrekt referanse skal oppgis (se bunntekst), ingen kommersiell bruk og ingen bearbeidelse av tekst eller innhold.

Mottatt: 16.01.2018

Godkjent: 01.07.2022

Publisert: 07.09.2022

Redaktør: Kyrre Breivik