Sammendrag

Innledning:  Multisystemisk terapi (MST) er et behandlingstilbud til familier som har ungdom i alderen 12-18 år med store atferdsproblemer. Målet for behandlingen er at ungdommen skal fungere godt og uten atferdsproblemer. For noen ungdommer kan MST være et alternativ til plassering utenfor hjemmet. 

Beskrivelse av tiltaket:  I MST møter terapeuten familien hjemme, på tidspunkter som passer for familien. Behandlingsteknikker fra atferdsterapi, kognitiv atferdsterapi og handlingsrettede familieterapimodeller integreres i tiltaket. Terapien retter seg mot kjente risiko- og beskyttelsesfaktorer ved ungdommen selv, familien, skolen, venner og nærmiljø. MST legger spesielt stor vekt på å styrke foreldre/foresattes evne til å håndtere ungdommens antisosiale atferd. 

Evaluering av tiltaket:  Tiltaket har vært gjenstand for en rekke randomiserte kontrollerte forsøk, hvorav ett i Norge. Den norske studien har resultater som  antyder at tiltaket kan ha positiv effekt på enkelte utfall. Etter 2 år ble det funnet positive resultater for selvrapportert kriminell atferd, internaliserende atferd (rapportert av foreldre og lærere) samt for lærerrapportert problematferd og eksternaliserende atferd. Gjennomføring av en RCT på denne gruppen er komplisert, bla. på grunn av stor symptombelastning hos ungdommene. Den norske MST-studien har også en del metodiske svakheter som gjør resultatene usikre.

Ungsinns klassifisering: MST er et tiltak for ungdom med betydelig problemutvikling og dårlige prognoser, og som det er svært utfordrende å finne gode tiltak for. På bakgrunn av resultater fra den norske studien klassifiserer Ungsinn tiltaket som Funksjonelt virksomt på evidensnivå 3 med dokumentasjonsgrad *** .

Sist vurdert av Ungsinnpanelet den 15.05.2014

Innledning

Multisystemisk terapi (MST) er et behandlingstilbud til familier som har ungdom i alderen 12-18 år med store atferdsproblemer. Det kan dreie seg om ungdom som er voldelige eller aggressive, som har problemer på skolen, som ruser seg, eller som har venner som har uheldig innflytelse på dem. For noen ungdommer kan MST være et alternativ til plassering utenfor hjemmet.

Eier av tiltaket i Norge

Atferdssenteret- Norsk senter for studier av problematferd og innovativ praksis
Postboks 7053 Majorstuen
0306 Oslo
Tlf. 23205800
Post-atferd@atferdssenteret.no
Utviklingsavdeling Ungdom
www.atferdssenteret.no

Eier av tiltaket i utlandet

MST Services
710 J. Dodds Blvd.,
Suite 200
Mount Pleasant
South Carolina
29464
USA
Tlf: 00 (843) 856-8226
E-post: melanie.duncan@mstservices.com
http://mstservices.com

Beskrivelse av tiltaket

Terapien er familie- og nærmiljøbasert. Det betyr at den retter seg mot kjente risiko- og beskyttelsesfaktorer ved ungdommen selv, familien, skolen, venner og nærmiljø. MST legger spesielt stor vekt på å styrke foreldre/foresattes evne til å håndtere ungdommens antisosiale atferd.

Målet for behandlingen er at ungdommen skal fungere godt og uten atferdsproblemer. For å oppnå dette jobbes det med å:

  • Styrke familiens samhold og omsorg for hverandre
  • Styrke foreldrenes oppdragelsespraksis
  • Gjenopprette kontakt med positive venner og øke ungdommens deltakelse i positive fritidsaktiviteter
  • Hindre kontakt med negative miljøer, ettersom det er kjent at atferdsproblemer «smitter”
  • Bedre ungdommens prestasjoner i skolen eller arbeidslivet
  • Styrke kontakten mellom familien og omgivelsene, dvs. det sosiale nettverket, skolen, fritidsaktiviteter og det offentlige tjenestetilbudet
  • Sette familien i stand til å løse framtidige problemer

En viktig del av MST er den analytiske prosessen som involverer familien og nøkkeldeltakerne. De første trinnene i prosessen er å kartlegge ønsket behandlingsresultat og sette opp overordnete mål for behandlingen. De neste trinnene er en multisystemisk analyse av atferden, og utvikling av delmål og intervensjoner. Deretter følger selve intervensjonene, som evalueres før prosessen eventuelt gjentas.

MST er basert på ni behandlingsprinsipper:

  1. Hensikten med kartleggingen er å forstå sammenhengen mellom de identifiserte problemene og deres bredere systemiske kontekst.
  2. Behandlingen vektlegger det positive og bruker styrken i systemet for å fremme endring.
  3. Intervensjonene utformes slik at de fremmer ansvarlig atferd og reduserer uansvarlig atferd hos familiemedlemmene.
  4. Intervensjonene er her og nå – og handlingsorienterte, rettet mot konkrete og veldefinerte problemer.
  5. Intervensjonene rettes mot atferdssekvenser innen eller mellom multiple systemer.
  6. Intervensjonene er tilpasset ungdommens modenhet og utviklingsmessige behov.
  7. Intervensjonene utformes slik at de krever daglig eller ukentlig innsats.
  8. Intervensjonenes effektivitet evalueres kontinuerlig fra flere perspektiver.
  9. Intervensjonene utformes for å fremme generalisering og langsiktige resultater.

I 2011 var 24 MST-team over hele Norge tilknyttet Bufetat. Hvert MST-team består av 3-4 terapeuter og en veileder. Atferdssenteret har ansvar for opplæring av MST-team og kvalitetssikring av arbeidet. Det er barnevernet i den kommunen eller bydelen hvor familien bor som kan søke om behandling.

Metoder som anvendes

I MST møter terapeuten familien hjemme, på tidspunkter som passer for familien. Behandlingsteknikker fra terapiformer som atferdsterapi, kognitiv atferdsterapi og handlingsrettede familieterapimodeller integreres i terapien.

Intervensjonene i MST skreddersys til den enkelte familie. MST-terapeuten skal bistå foreldrene, men ikke overta deres oppgaver eller ansvar. Foreldrene får på denne måten hjelp til å utvikle strategier for å fungere effektivt som foreldre. Intervensjonene rettes mot alle berørte områder; ungdommen selv, familien, skolen, venner og nærmiljø.

Hver uke setter foreldrene, ungdommen og terapeuten mål for arbeidet og lager en praktisk plan for hvordan målene skal nås. Målene skal være konkrete slik at familie og terapeut lett kan se om de nås. Arbeidet er intensivt og i visse perioder dreier det seg om flere hjemmebesøk i uken samt møter med skole og støttepersoner i nærmiljøet.

Foreldrene har mulighet til å ta kontakt med terapeuten hvis de har behov for det, 24 timer i døgnet, sju dager i uken. Behandlingen varer vanligvis fra tre til fem måneder, men avsluttes tidligere hvis ungdommen har nådd målene som ble satt for arbeidet.

Teoretisk grunnlag

MST er utviklet av professor Scott W. Henggeler ved Medical University of South Carolina (Henggeler, Schoenwald, Borduin, Rowland, & Cunningham, 1998). Metoden er i all hovedsak teoretisk forankret i Bronfenbrenners utviklingsøkologiske modell (Bronfenbrenner, 1979), men også i empiri fra studier av årsaksmodeller for antisosial atferd.

Sentralt i Bronfenbrenners teori står ideen om at menneskets utvikling og atferd er bestemt av en rekke forskjellige faktorer innen og utenfor individet. Bronfenbrenner ser individet som en kjerne omgitt av systemer som representerer individets nærmeste omgivelser. For en ungdom vil systemene som regel bestå av familie, venner, skole og nærmiljø. Det er det gjensidige samspillet mellom ungdommen og de ulike systemene som bestemmer atferden.

Studier av årsaksmodeller for antisosial atferd støtter Bronfenbrenners teori ved å dokumentere direkte eller indirekte sammenhenger mellom antisosial atferd hos ungdom og risiko- eller beskyttelsesfaktorer hos ungdommene selv, eller ved systemene de interagerer med (Biglan, 2004; «NIH State-of-the-Science Conference Statement on Preventing Violence and Related Health-Risking Social Behaviors in Adolescents,» 2004).

Erfaringer og evalueringer

MST har vært i bruk i Norge siden 1999, og alle landets Bufetatregioner har etablert egne MST-team. I 2011 hadde over 4500 familier fått MST som behandlingstilbud (Atferdssenteret, 2010).

MST for ungdom med alvorlige antisosiale atferdsproblemer
Ungsinns litteratursøk identifiserte én norsk studie om virkningen av MST (Ogden & Hagen, 2006; Ogden & Halliday-Boykins, 2004). Studien var et randomisert kontrollert forsøk (RCT) hvor 100 ungdommer med familier ble tilfeldig fordelt til MST eller vanlig oppfølging av barnevernet. Ungdommene var i alderen 12-17 år og var henvist til ett av fire fylkeskommunale barnevern på grunn av alvorlige antisosiale atferdsproblemer. Til sammen 62 ungdommer ble randomisert til MST, mens 38 fikk ordinær oppfølging (plassering i institusjon eller hjemmebasert oppfølging). Fire familier, alle i MST-gruppen, falt fra etter at behandlingen var startet. Disse ble erstattet av fire nye familier. I tillegg falt seks familier (tre i hver gruppe) fra i løpet av studien, som varte i to år. Ved toårsoppfølgingen fjernet dessuten forskerne ett av fire fylkeskommunale barnevern fra studien, med den begrunnelse at MST-terapeutene ikke hadde rapportert data som gjorde det mulig å vurdere behandlingsintegritet. Analysene inkluderte derfor 69 av 100 familier (43 i MST-gruppen og 26 i kontrollgruppen).

Forskerne målte utfallene psykisk helse (ASEBA[1]; internaliserende adferd og eksternaliserende atferd), sosial kompetanse (ASEBA, SCPQ[2] og SSRS[3]), familiefungering (FACES-III[4]), plassering utenfor hjemmet, selvrapportert kriminell atferd (SRD) og tilfredshet med behandlingen. ASEBA-spørreskjemaene var forkortete utgaver, hvor 89 av 112 spørsmål ble brukt. Data ble innhentet før randomisering, etter omtrent seks måneder og etter omtrent to år, men alle utfall er ikke rapportert for begge oppfølgingstidspunkt.

Ved seksmånedersoppfølgingen ble effekten av MST undersøkt ved å teste forskjeller i endring mellom MST-gruppen og kontrollgruppen. ASEBA-skårer fra de ulike informantene (foreldre, lærer og ungdom) var slått sammen til én samlet skåre (z-skåre). Resultatene viste signifikante forskjeller i favør av MST for internaliserende atferd og for andel deltakere som bodde hjemme. Effektstørrelsen i form av en standardisert forskjell i differanseskårene utgjorde omtrent et halvt standardavvik, altså en middels effekt. Hvis man sammenlikner skårene for de to gruppene ved seksmånedersoppfølgingen blir imidlertid gjennomsnittsforskjellen, -0,20, ikke statistisk signifikant (95 % KI  -0,49 – 0,09). Andelen som bodde hjemme var 91 % i MST-gruppen mot 58 % i kontrollgruppen. Det var ikke signifikante forskjeller for eksternaliserende adferd eller sosial kompetanse, men tendensene var også her i favør av MST-gruppen. Det var ikke signifikante forskjeller mellom gruppene for de to målene på familiefungering eller tilfredshet med tiltaket.

Fra toårsoppfølgingen ble eksternaliserende atferd, internaliserende atferd og total problematferd rapportert separat for de ulike informantene (ungdom, foreldre og lærer). Det forelå kun lærerdata for 29 deltakere,  og manglende lærerdata var imputert. Det var signifikante forskjeller i favør av MST for selvrapportert kriminell atferd, internaliserende atferd (rapportert av foreldre og lærere), og lærerrapportert problematferd og eksternaliserende atferd. For de øvrige utfallene, blant annet ungdommenes skårer var det ikke signifikante effekter. Effektstørrelsene (i form av Cohens d beregnet på post-test forskjeller) var 0,26 for selvrapportert kriminell adferd, 0,50 for foreldrerapporterte utfall og 0,68 for lærerrapporterte utfall. 0,26 anses som en liten effekt, og 0,50 og 0,68 er å anse som en middels effekt.

Metodiske begrensninger
En gjennomgang av den norske studien ved hjelp av internasjonalt anerkjente kriterier for vurdering av risiko for skjevheter (Higgins & Green, 2008) avdekker følgende metodiske begrensninger:

  • Det største problemet ved den norske MST-studien er en stor risiko for eksklusjonsskjevhet. Fire deltakere i MST-gruppen som trakk seg etter kort tid i behandling ble erstattet av fire nye, og at 25 % av utvalget var ekskludert ved toårsoppfølgingen. Dette er en betydelig og systematisk feilkilde i datamaterialet.
  • Resultatene rapporteres på en måte som gjør det vanskelig å tolke de kliniske implikasjonene og de rapporteres på forskjellige måter ved 6-måneders- og 2-årsoppfølgingen. De sammenslåtte z-skårene for selv-, foreldre- og lærerrapporterte ASEBA-skårer ved 6 måneder gir for eksempel lite mening for en kliniker som er vant til å bruke instrumentene separat. Videre er det umulig å sammenlikne utfallene ved 6 måneder og 2 år fordi forskerne gikk bort fra z-skårer ved 2-årsoppfølgingen, og rapporterte i stedet separate tall fra ungdommene, foreldrene og lærerne. Lærerrapporterte effekter skilte seg da klart ut som større enn andre effekter. Man kan ikke se bort i fra at dette skyldes dataene var imputert for flertallet av ungdommene,
  • Resultatene hadde også generelt lav presisjon, med store standardavvik og til dels høye p-verdier (≥ 0,05).
  • Artiklene mangler deskriptive data med statistisk forskjellstesting for hver gruppe ved inntak. Det gjør det vanskelig å danne seg et bilde av hvordan viktige egenskapene ved ungdommen fordelte seg i de to gruppene.
  • Opplysninger mangler om hvorvidt de som innhentet og analyserte data hadde kjennskap til hvilke gruppe deltakerne hørte til.
  • Forskerne rapporterte ikke behandlingsvarighet for henholdsvis MST- og kontrollgruppen. Eventuelle forskjeller i behandlingsvarighet vil ha betydning for utfallet. Et eksempel på dette var utfallet «plassering utenfor hjemmet», som har begrenset verdi når halvparten av kontrollgruppen fikk nettopp institusjonsopphold, de fleste langtids, som intervensjon.

MST kombinert med «contingency management» og kognitiv atferdsterapi for ungdom med cannabisbruk
I en annen norsk MST-studie undersøkte Holth og kolleger (2011) effekten av et intensivt kvalitetssikringsopplegg på MST-terapeuters etterlevelse av to metoder. Dette var  «contingency managment» (CM) og kognitiv atferdsterapi (KAT) kombinert med MST rettet mot ungdom med cannabisbruk. CM er en metode som i dette tilfellet går ut på å belønne avhold fra cannabis. Åtte MST-team ble invitert til å delta i studien på bakgrunn av et høyt antall ungdommer i behandling, stabile ansettelsesforhold og høy kvalitet på gjennomføringen av MST. Alle de inviterte teamene takket ja til å delta med til sammen 21 MST-terapeuter, som henviste til sammen 41 deltakende familier. Alle MST-terapeutene deltok på en todagers workshop om integrering av CM og KAT i MST for ungdom med rusmiddelproblemer. Studien var et cluster-randomisert forsøk hvor to cluster ble randomisert til kun workshop’en, og to cluster ble randomisert til et intensivt kvalitetssikringsopplegg i tillegg til workshop’en. Resultatene viste at  det intensive kvalitetssikringsopplegget forbedret etterlevelsen av KAT-metoden, sammenliknet med kontrollgruppen. Kvalitetssikringsopplegget hadde imidlertid ingen effekt på etterlevelsen av CM-metoden, eller på ungdommenes cannabisbruk. Etterlevelse av CM-metoden hadde en sammenheng med avhold fra cannabis.

[1] Achenbach System of Empirically Based Assessment
[2] Social Competence with Peers Questionnaire
[3] Social Skills Ratings System
[4] Family Adaptability and Cohesion Evaluation Scales III

Erfaringer med tiltaket og evaluering i utlandet
Ungsinns litteratursøk etter systematiske oversikter over internasjonale studier om effekten av MST ga 126 treff, hvorav 18 virket relevante og ble gjennomgått i fulltekst (Allin, Wathen, & MacMillan, 2005; Baldwin, Christian, Berkeljon, Shadish, & Bean, 2012; Curtis, Ronan, & Borduin, 2004; Eccleston, Palermo Tonya, Fisher, & Law, 2012; Fisher, Thorpe, DeVellis, & DeVellis, 2007; Henggeler, 2011; Henggeler & Schaeffer, 2010; Henggeler, Schoenwald, Swenson, & Borduin, 2006; Henggeler & Sheidow, 2012; Limbos et al., 2007; Littell, 2005; Littell Julia, Campbell, Green, & Toews, 2005; Ougrin, Tranah, Leigh, Taylor, & Asarnow, 2012; Pane, White, Nadorff, Grills-Taquechel, & Stanley, 2013; Rodrigo, Rajapakse, & Jayananda, 2010; Shepperd et al., 2009; Spas, Ramsey, Paiva, & Stein, 2012; Tripodi & Bender, 2011)  Systematiske oversikter har eksplisitte og systematiske metoder for å søke etter, kritisk vurdere og sette sammen resultater fra enkeltstudier om en spesifikk problemstilling (Kornør & Bradley, 2008).

Den meste relevante og oppdaterte oversikten i denne sammenhengen undersøkte effekten av MST for sosiale, emosjonelle og atferdsproblemer hos ungdom i alderen 10-17 år (Littell Julia et al., 2005). Systematiske litteratursøk i databasene Cochrane, Library, C2-SPECTR, PsycINFO, Science Direct og Sociological Abstracts identifiserte 266 referanser. To forskere gikk gjennom referansene med sammendrag uavhengig av hverandre, og ble enig om å se nærmere på 95 referanser, som viste seg å rapportere fra til sammen 35 ulike studier. Av disse inkluderte oversiktsforfatterne åtte RCTer som oppfylte de forhåndsbestemte inklusjonskriteriene.

En av RCTene var den norske (Ogden & Hagen, 2006; Ogden & Halliday-Boykins, 2004), en var kanadisk, og de øvrige var amerikanske. Studiene fant sted i perioden 1990-2004. Ungdommene som deltok i studiene var i de fleste tilfellene straffedømt. I tillegg kom den norske studien hvor ungdommene hadde alvorlige antisosiale atferdsproblemer, og en studie hvor ungdommene hadde akutte psykiatriske problemer. Deltakerne i MST-gruppene fikk mellom 23 og 92 timer med direktekontakt mellom MST-terapeut og familiemedlemmer. Kontrollgruppene fikk individuell terapi, ordinær kriminalomsorg for ungdommer, poliklinisk avhengighetsbehandling, ordinære barnverntjenester eller innleggelse i psykiatrisk sykehus.

Studiene rapporterte følgende utfall: kriminalitet (arrestasjoner, dommer, fengslinger), plassering utenfor hjemmet, sykehusinnleggelser, skoleoppmøte, stoffbruk, psykiatriske symptomer, kriminell atferd, sosiale relasjoner, selvfølelse og familiefungering. Datakildene omfattet arkivdata, biologiske data og data rapportert av ungdommene selv, av foreldre/omsorgspersoner og av lærere. Studiene hadde observasjonstid på ett år eller mer. Det var kun den kanadiske studien som ble vurdert som uavhengig, dvs uten bånd til utviklerne av MST.

Oversiktsforfatterne delte de inkluderte RCTene inn i fem kategorier med hensyn til studiekvalitet: 1) full «intent-to-treat»-analyse med standardisert oppfølgingstid (en studie), 2) «intent-to-treat»-analyse uten standardisert oppfølgingstid (en studie), 3) forsøk på «intent-to-treat»-analyse med «unyoked» design (to studier), 4) oppfølgingsdata med systematisk eksklusjon av deltakere (to studier), og 5) oppfølgingsdata kun for deltakere som fullførte tiltaket (to studier). Den norske studien ble plassert i den siste kategorien.

Metaanalysene viste at studiene var statistisk heterogene, og avdekket ingen statistisk signifikante forskjeller mellom MST og ordinære tiltak for noen av utfallene. Oversiktsforfatterne oppsummerte med at det var for tidlig å konkludere om effekten av MST sammenliknet med andre intervensjoner.

Den systematiske oversikten til Littell og kolleger har blitt kritisert av MST-utviklere, hovedsakelig på grunn av inklusjonen av en upublisert studie (Henggeler et al., 2006; Ogden, 2006). Gode systematiske oversikter har imidlertid som mål å inkludere alle relevante studier. Med tanke på publikasjonsskjevhet, og problemet med at studier med positive resultater oftere blir publisert enn studier med negative resultater er det et poeng i seg selv å inkludere upublisert litteratur i systematiske oversikter.  Upubliserte studier gjennomgår den samme grundige kvalitetsvurderingen som publiserte studier.

Pågående forskning
Vi kjenner ikke til pågående forskning i Norge om effekten av MST.

Et søk i Verdens helseorganisasjons International Clinical Trial Registry Platform (http://apps.who.int/trialsearch/default.aspx) viste at det per juni 2013 pågår sju MST-studier internasjonalt; tre i Storbritannia, tre i USA og én i Nederland. I tillegg til ungdom som møter de opprinnelige inklusjonskriteriene til MST (Henggeler et al., 1998), er ungdom med helseproblemer, som astma, overvekt og diabetes, blant målgruppene i disse studiene.

Implementeringsstrategier og spredningspolitikk

Målet om et MST-tilbud over hele landet er nådd, med 23 team fordelt på samtlige fem Bufetatregioner. Atferdssenteret er ansvarlig for oppfølging, opplæring og kvalitetssikring, mens Bufetat står for driften.

Atferdssenteret og Bufdir har oversatt og gitt ut en egen organisasjonsmanual for MST (Strother, Swenson, & Schoenwald, 2009). Den er ment som en ressurs for regionsdirektørene, deres stab og MST-leder/veileder i administreringen av MST. Manualen omfatter temaer som plassering av MST i organisasjonen, rekruttering, administrativ støtte, kvalitetskontroll og evaluering. Videre inneholder manualen maler for blant annet avtale mellom MST-fagteam og de kommunale barneverntjenestene.

Andre implementeringsressurser er opplæringspermen (Atferdssenteret, 2010) og manualen for MST (Henggeler, Schoenwald, Borduin, Rowland, & Cunningham, 2009).

Kvalitetssikring av tiltaket

Et MST-team består av 3-4 MST-terapeuter og en MST-leder/veileder. MST-terapeutene skal ha høyere utdanning innen psykiske helse, barnevern eller tilsvarende, samt relevant klinisk erfaring og videreutdanning. MST-ledere/veiledere skal helst være psykolog eller ha minimum mastergrad i relevant fag, samt relevant klinisk erfaring. Alle terapeuter og veiledere skal delta på en obligatorisk MST-opplæringsuke innen to måneder etter ansettelse. I tillegg deltar de på kvartalsvise vedlikeholdsseminarer, og på veiledersamlinger, ukentlig veiledning og konsultasjon, samt programevalueringer hvert tertial.

MST har et kvalitetsikringssystem bestående av rutinemessig monitorering av kvalitet på gjennomføring av metoden. Egne standardiserte verktøy brukes til dette formålet: Therapist Adeherence Measure (TAM), Supervisor Adherence Measure (SAM) og Consultant Adherence Measure (CAM).

Kostnader for implementering

Atferdssenteret finansieres gjennom et årlig tildelingsbrev fra tre samarbeidende direktorater, Barne-, ungdoms- og familiedirektoratet, Helsedirektoratet og Utdanningsdirektoratet. Atferdssenteret har ansvaret for implementeringen av tiltaket, og tilbyr gratis opplæring, vedlikeholdsseminarer, materiellutvikling, kvalitetssikring og oppfølging av konsulentene ansatt i Bufdir. Bufetat drifter teamene, og dekker reise- og oppholdsutgifter i forbindelse med opplæringen., Kompensasjon for 24 timers tilgjengelighet i sju dager ad gangen er regulert gjennom arbeidstidsavtale inngått mellom partene.

Klassifisering av tiltaket

MST er et tiltak for ungdom med betydelig problemutvikling og dårlige prognoser, og som det er svært utfordrende å finne gode tiltak for. På bakgrunn av resultater fra den norske studien klassifiserer Ungsinn tiltaket som funksjonelt virksomt på evidensnivå 3 med dokumentasjonsgrad *** .

Referanser:

Allin, H., Wathen, C. N., & MacMillan, H. (2005). Treatment of child neglect: a systematic review. Canadian Journal of Psychiatry – Revue Canadienne de Psychiatrie, 50(8), 497-504.

Atferdssenteret. (2010). Introduksjon til multisystemisk terapi (MST). Oslo: Atefrdssenteret/MST Services.

Baldwin, S. A., Christian, S., Berkeljon, A., Shadish, W. R., & Bean, R. (2012). The effects of family therapies for adolescent delinquency and substance abuse: A meta-analysis. Journal of Marital and Family Therapy, 38(1), 281-304. doi: http://dx.doi.org/10.1111/j.1752-0606.2011.00248.x

Biglan, A. (2004). Helping adolescents at risk: prevention of multiple problem behaviors. New York: Guilford Press.

Bronfenbrenner, U. (1979). The ecology of human development: experiments by nature and design. Cambridge, Mass.: Harvard University Press.

Curtis, N. M., Ronan, K. R., & Borduin, C. M. (2004). Multisystemic Treatment: A Meta-Analysis of Outcome Studies. Journal of Family Psychology, 18(3), 411-419. doi: http://dx.doi.org/10.1037/0893-3200.18.3.411

Eccleston, C, Palermo T. M., Fisher, E. & Law, E. (2012). Psychological interventions for parents of children and adolescents with chronic illness. Cochrane Database of Systematic Reviews, (8). http://onlinelibrary.wiley.com/doi/10.1002/14651858.CD009660.pub2/abstract doi:10.1002/14651858.CD009660.pub2

Fisher, E. B., Thorpe, C. T., DeVellis, B. M., & DeVellis, R. F. (2007). Healthy coping, negative emotions, and diabetes management: A systematic review and appraisal. The Diabetes Educator, 33(6), 1080-1103. doi: http://dx.doi.org/10.1177/0145721707309808

Henggeler, S. W. (2011). Efficacy studies to large-scale transport: The development and validation of multisystemic therapy programs. Annual Review of Clinical Psychology, 7, 351-381. doi: http://dx.doi.org/10.1146/annurev-clinpsy-032210-104615

Henggeler, S. W., & Schaeffer, C. M. (2010). Treating serious emotional and behavioural problems using multisystemic therapy. ANZJFT Australian and New Zealand Journal of Family Therapy, 31(2), 149-164. doi: http://dx.doi.org/10.1375/anft.31.2.149

Henggeler, S. W., Schoenwald, S. K., Borduin, C. M., Rowland, M. D., & Cunningham, P. B. (1998). Multisystemic treatment of antisocial behavior in children and adolescents. New York, NY: Guilford Press; US.

Henggeler, S. W., Schoenwald, S. K., Borduin, C. M., Rowland, M. D., & Cunningham, P. B. (2009). Multisystemic therapy for antisocial behavior in children and adolescents (2nd ed.). New York, NY: Guilford Press; US.

Henggeler, S. W., Schoenwald, S. K., Swenson, C. C., & Borduin, C. M. (2006). Methodological critique and meta-analysis as Trojan horse. Children and Youth Services Review, 28(4), 447-457. doi: http://dx.doi.org/10.1016/j.childyouth.2005.07.001

Henggeler, S. W., & Sheidow, A. J. (2012). Empirically supported family-based treatments for conduct disorder and delinquency in adolescents. Journal of Marital and Family Therapy, 38(1), 30-58. doi: http://dx.doi.org/10.1111/j.1752-0606.2011.00244.x

Higgins, J.P.T., & Green, S. (Eds.). (2008). Cochrane Handbook for Systematic Reviews of Interventions. Chichester: John Wiley & Sons Ltd.

Holth, P., Torsheim, T., Sheidow, A., Ogden, T., & Henggeler, S. (2011). Intensive quality assurance of therapist adherence to behavioral interventions for adolescent substance use problems. Journal of Child & Adolescent Substance Abuse, 20(4), 289-313. doi: http://dx.doi.org/10.1080/1067828X.2011.581974

Kornør, H., & Bradley, P. M. (2008). Kunnskapsbasert praksis og kritisk vurdering av systematiske oversikter. In P. Laake, B. R. Olsen & H. B. Benestad (Eds.), Forskning i medisin og biofag (2. ed., pp. 425-440). Oslo: Gyldendal Akademisk. (Reprinted from: IN FILE).

Limbos, M. A., Chan, L. S., Warf, C., Schneir, A., Iverson, E., Shekelle, P., & Kipke, M. D. (2007). Effectiveness of interventions to prevent youth violence: A systematic review. American Journal of Preventive Medicine, 33(1), 65-74. doi: http://dx.doi.org/10.1016/j.amepre.2007.02.045

Littell, Julia H. (2005). Lessons from a systematic review of effects of multisystemic therapy. Children and Youth Services Review, 27(4), 445-463. doi: http://dx.doi.org/10.1016/j.childyouth.2004.11.009

Littell J., H., Campbell, M., Green, S., & Toews, B. (2005). Multisystemic Therapy for social, emotional, and behavioral problems in youth aged 10-17. Cochrane Database of Systematic Reviews, (4). http://onlinelibrary.wiley.com/doi/10.1002/14651858.CD004797.pub4/abstract doi:10.1002/14651858.CD004797.pub4

NIH State-of-the-Science Conference Statement on Preventing Violence and Related Health-Risking Social Behaviors in Adolescents. (2004). NIH Consensus and State-of-the-Science Statements, 21(2), 1-34.

Ogden, T. (2006). Virker MST : kommentar til en systematisk oversikt og meta-analyse av MST. Nordisk sosialt arbeid(Årg. 26, nr 3), 222-233 : port.

Ogden, T., & Hagen, K. A. (2006). Multisystemic Treatment of Serious Behaviour Problems in Youth: Sustainability of Effectiveness Two Years after Intake. Child and Adolescent Mental Health, 11(3), 142-149. doi: http://dx.doi.org/10.1111/j.1475-3588.2006.00396.x

Ogden, T., & Halliday-Boykins, C. A. (2004). Multisystemic treatment of antisocial adolescents in Norway: Replication of clinical outcomes outside of the US. Child and Adolescent Mental Health, 9(2), 77-83. doi: http://dx.doi.org/10.1111/j.1475-3588.2004.00085.x

Ougrin, D., Tranah, T., Leigh, E., Taylor, L., & Asarnow, J. R. (2012). Practitioner review: Self-harm in adolescents. Journal of Child Psychology and Psychiatry, 53(4), 337-350. doi: http://dx.doi.org/10.1111/j.1469-7610.2012.02525.x

Pane, H. T., White, R. S., Nadorff, M. R., Grills-Taquechel, A., & Stanley, M. A. (2013). Multisystemic therapy for child non-externalizing psychological and health problems: A preliminary review. Clinical Child and Family Psychology Review Feb(Pagination), No Pagination Specified. doi: http://dx.doi.org/10.1007/s10567-012-0127-6

Rodrigo, C., Rajapakse, S., & Jayananda, G.. (2010). The ‘antisocial’ person: An insight in to biology, classification and current evidence on treatment. Annals of General Psychiatry, 9, 31. doi: http://dx.doi.org/10.1186/1744-859X-9-31

Shepperd, S., Doll, H., Gowers, S., James, A., Fazel, M., Fitzpatrick, R., & Pollock, J. (2009). Alternatives to inpatient mental health care for children and young people. Cochrane Database of Systematic Reviews, (2)(CD006410). doi: http://dx.doi.org/10.1002/14651858.CD006410.pub2

Spas, J., Ramsey, S., Paiva, A. L., & Stein, L. A. R. (2012). All might have won, but not all have the prize: Optimal treatment for substance abuse among adolescents with conduct problems. Substance Abuse: Research and Treatment, 6(1), 141-155. doi: http://dx.doi.org/10.4137/SART.S10389

Strother, K. B., Swenson, M. E., & Schoenwald, S. K. (2009). Multisystemisk terapi. Organisasjonsmanual. Oslo: Atferdssenteret og Budir.

Tripodi, S. J., & Bender, K.. (2011). Substance abuse treatment for juvenile offenders: A review of quasi-experimental and experimental research. Journal of Criminal Justice, 39(3), 246-252. doi: http://dx.doi.org/10.1016/j.jcrimjus.2011.02.007