Sammendrag

Bakgrunn
Artikkelen er en kunnskapsoppsummering for effektene av tiltaket Aggression Replacement Training (ART^®). Dette er en revisjon av en tidligere utgave av det samme tiltaket som ble beskrevet i Ungsinn (Kjøbli, 2009), men oppdatert i forhold til Ungsinns nye prosedyrer og kriterier (Martinussen et al., 2016). Denne artikkelen inkluderer også den tilpassede skandinaviske versjonen Adapted Aggression Replacement Training (AART). ART/AART er et strukturert pedagogisk multimodalt gruppeprogram for trening av sosial kompetanse hos barn og unge. Tiltaket består av tre komponenter; sosial ferdighetstrening, sinnekontroll og moralsk resonnering. Målet med ART/AART er å øke barn og unges sosiale ferdigheter som kan erstatte aggresjon. Gjennomføringen av tiltaket anbefales å gå over 30 timer der hver av de tre komponentene gjennomgås en gang per uke, fortrinnsvis i et eget ART-rom. Gruppene består av 4-8 deltagere, og utføres av en hovedtrener og en medtrener.

Metode
Denne kunnskapsoppsummeringen bygger på et systematisk litteratursøk i databasene Embase, Medline og Psykinfo, NORART, Cochrane, Cristin, NORA, SCOPUS og SweMed. Syv artikler, derav tre nordiske effektstudier, en internasjonal oppsummeringsstudie og tre andre norske studier ble inkludert i denne kunnskapsoppsummeringen av ART.

Resultater
Resultatene består av en vurdering av tiltakets beskrivelse, foreliggende effektstudier, forskningsmetodisk kvalitet og implementeringskvalitet. ART/AART har et grundig teoretisk fundament og tiltaket er godt beskrevet med anbefalte implementeringsstrategier. Det foreligger tre nordiske studier der effekten av ARTer undersøkt. Disse studiene har alle et kvasi-eksperimentelt design. Svak forskningsmetodisk kvalitet skaper imidlertid usikkerhet om påliteligheten til resultatene. Det foreligger ingen studier på AART på nåværende tidspunkt.

Konklusjon
ART/AART klassifiseres på evidensnivå 3 – Tiltak med noe dokumentasjon på effekt.

Innledning

Bakgrunn

Sosial kompetanse anses som en viktig komponent for barn og unges fungering i hverdagen. Omtanke for andre, evne til å knytte vennskap, bry seg om andre og løse konflikter på en hensiktsmessig måte relateres ofte til det å inneha adekvat sosial kompetanse (Eisenberg, 2000). Motsatt knyttes manglende sosial kompetanse blant annet til aggressiv atferd og atferdsproblematikk. Forekomst av alvorlige atferdsforstyrrelser i Norge er ca. 2 % (Skogen, & Torvik, 2013), mens mildere former for atferdsforstyrrelser ligger opp mot 10 %. Risikofaktorer for å utvikle atferdsproblemer kan knyttes til ulike faktorer både hos barnet/ungdommen selv og fra miljøet rundt barnet, samt til sosiodemografiske faktorer (Gelhorn m. fl., 2005; Skogen & Torvik, 2013). Risikofaktorer hos barnet selv assosieres ofte med temperamentsvansker og manglende adekvate sosiale ferdigheter, samt svak evne til empati (Strømgren, Gundersen & Moynahan, 2005). Atferdsproblemer hos barn og unge kan føre til vansker på ulike arenaer, både i familien, på skolen og i omgivelsene rundt. På lengre sikt kan det føre til ensomhet, rusproblematikk og vanskeligheter relatert til skole og jobb (Skogen & Torvik, 2013).

Aggression Replacement Training (ART) ble utviklet av Goldstein og Glick (1987) og Goldstein, Glick og Gibbs (1998) som et program for ungdom med alvorlige atferdsvansker. ART er et multimodalt program for trening av sosial kompetanse, hvilket innebærer at man bruker flere enkeltkomponenter som retter seg mot ulike områder hos barn og unge. Originalversjonen ble tidligere benyttet i Norge, men etter programutviklerne tok patent på ARTi USA og Canada har man har fått tillatelse til å utvikle en skandinavisk tilpasset versjon av programmet, kalt «Adapted ART» (AART; Gundersen, Olsen, Finne, Strømgren & Daleflod, 2015). AART er i prinsippet det samme som ART, men bygger på noe nyere teori og har enkelte endringer og tilpasninger til en skandinavisk kontekst. Gundersen og hans kollegaer (2015) oppgir selv at boken som beskriver AART må ses på som en «relativt frittstående og en fullstendig gjengivelse av programmet og boken har ikke spesifikt angitt hva som er del av det opprinnelige programmet og hva som er egne tilføyelser» (Gundersen m. fl., 2015, s.12).

AART er mer et forebyggende tiltak for å øke generell sosial kompetanse hos barn og unge i motsetning til originalversjonen ART. I Norge og Sverige vektlegger AART mer enn ARTå inkludere alle innholdskomponentene sosial ferdighetstrening (handlingskomponenten), moralsk resonnering (verdi/kognitiv komponent) og sinnemestring (affektiv komponent) i hver AART-time. I AART er også noen av komponentene styrket, som for eksempel den affektive komponenten i sinnemestring der det tillegges en time som omhandler bakgrunnshendelser. Moralsk resonering er i AART videreutviklet til å inneholde begreper som «umiddelbare følelser», «rykte», «normer», «holdninger», «empati», og «karaktertrekk» (Gundersen m. fl., 2015). Videre gjøres det funksjonelle kartlegginger for å ivareta de ulike deltakernes behov, samt styrke de relasjonelle ferdighetene. Forfatterne av boken som beskriver AART hevder også at den nye og reviderte versjonen av ARThar ivaretatt flere implementeringsrutiner og systemer for sikring av programkvalitet (Gundersen, m. fl., 2015).

I denne kunnskapsoppsummeringen av tiltaket er både dokumentasjonen som foreligger om AART og ART inkludert, men det gjøres oppmerksom på at de studiene som foreligger i denne oppsummeringen er gjennomført på ARTog ikke AART.

Beskrivelse og materiell

«AART – En metode for trening av sosial kompetanse» (Gundersen m. fl., 2015) er en fagbok som beskriver tiltaket, og som benyttes ved opplæring i dag. Boken inneholder en grundig beskrivelse av de ulike hovedelementene i programmet, samt det teoretiske rasjonalet bak hver av hovedkomponentene. I tillegg innehar boken flere eksempler knyttet til generell oppbygging og struktur på timene, innhold og selve gjennomføringen av timene. Fagboken vier også et kapittel til praktisk gjennomføring og erfaringer knyttet til motivasjon og elevmotstand i tillegg til strategier for implementering. Utover dette henviser forfatterne til vedlegg tilknyttet boken på Universitetsforlagets nettsider (https://www.universitetsforlaget.no/nettbutikk/aart-uf.html). Her finnes det ulike dokumenter som kan benyttes i programmet, eksempelvis sjekkliste for vurdering av implementering; veileder for utarbeidelse av implementeringsplan, evalueringsskjema for trenere, sinnelogg og forslag til ulike moralske dilemmaer.

Målsetninger og målgrupper

ART/AART er en intervensjon som retter seg mot barn og unge i aldersgruppen 4 til 20 år der hovedmålet er å trene opp deres sosiale kompetanse og erstatte aggresjon med et mer hensiktsmessig reaksjons- og handlingsmønster. Tanken er at trening i sosial kompetanse vil føre til en reduksjon i problematferd og dermed også redusere atferdsvansker (Gundersen m. fl., 2015). Gjennom å arbeide med de ulike delkomponentene i programmet, (sosial ferdighetstrening, sinneregulering og moralsk resonnering) skal barn og unge øke sin sosiale kompetanse og bli i stand til å opptre adekvat i ulike sosiale situasjoner. Tiltaket er i utgangspunktet utviklet for ungdommer med alvorlig atferdsproblematikk (Goldstein m. fl., 1998). I følge den norske beskrivelsen omtales AART primært som et helsefremmende og forebyggende universelt tiltak for alle elevers behov for trening i sosial kompetanse. Intervensjonen benyttes også som et selektivt forebyggende program for barn og unge i risikosone for atferdsproblemer, samt som et indikert forebyggende program for barn og unge som allerede har utviklet atferdsproblemer. I noen sammenhenger benyttes programmet også som et behandlingstiltak. Gruppene settes sammen med utgangspunkt i alder, kjønn og problematferd. Oppbyggingen av programmet og eksemplene i boka retter seg i hovedsak mot ungdom, men kan også tilpasses til yngre barn. Hvilke elementer eller hvordan dette kan gjøres er ikke beskrevet i boka, men det henvises til dokumenter som kan lastes ned fra Universitetsforlagets nettsider, samt PREPSEC Norge (www.prepsecnorge.no).

Programmet har vært brukt i avgrensede målgrupper som for eksempel barn og ungdommer i barnevernsinstitusjoner (Hellerdal, 2005; Olsen & Boutera, 2005), ungdommer med rusproblematikk og barn og unge i flyktningmottak. ART/AART har også vært en del av MultifunC, som er en behandlingsmodell for ungdommer i institusjon med alvorlige atferdsvansker (Andreassen, 2003). I tillegg har programmet vært implementert i skoler og barnehager (Domben, Sollid, Skogshagen & Domben, 2005). Det finnes også en voksenversjon av ART, men denne blir ikke vurdert i denne sammenhengen.

Gjennomføring og metoder

Det er tre delkomponenter i ART/AART: 1) Sosial ferdighetstrening; 2) Sinnekontrolltrening; 3) Moralsk resonnering.

Sosial ferdighetstrening er det som beskrives som en atferdskomponent. Atferdskomponenten retter fokuset mot å øke den sosiale kompetansen i gruppen gjennom å trene på spesifikke sosiale ferdigheter. Ferdighetene som det skal øves på, består av ulike trinn og innehar både kognitive, verbale og atferdsmessige elementer. I programmet fordeles ferdighetene inn i seks ulike grupper: grunnleggende sosiale ferdigheter (eks. lytte), avanserte sosiale ferdigheter (eks. be om hjelp), om følelser (eks. uttrykke følelser), aggresjonsalternativ (eks. hevde sin rett), hanskes med stress (eks. takle å mislykkes) og planleggingsferdigheter (eks. finne på noe).

Sinnereguleringstrening er følelseskomponenten. Dette innebærer å lære teknikker for å håndtere sinne i ulike situasjoner, og dermed redusere aggressiv atferd. Det handler om å tolke og forstå hvilke elementer som trigger sinnet i en provoserende situasjon, hvordan man kan regulere sinnet, og hva som kan være hensiktsmessig håndtering av situasjonen. Hovedmålet med å trene på sinneregulering er å være i stand til å ta i bruk adekvate sosiale ferdigheter fremfor den aggressive atferden. Sinnereguleringstreningen består også av ulike komponenter som ytre og indre triggere, signaler og dempere, påminnelser (bevisstgjøring), selvevaluering, bakgrunnshendelser (når er lunta kortest?), konsekvenstenkning, provokasjon av andre og alternativer til aggresjon (bruk av sosiale ferdigheter). Disse gjennomgås hver time sinnemestring er tema.

Moralsk resonnering er tankekomponenten. Den vektlegger de moralske verdiene, og hvordan man handler i ulike moralske dilemmaer. Målet med å trene på moralsk resonnering er å kunne ta ulike perspektiver i forskjellige problemsituasjoner, og dermed være i stand til å gjøre en vurdering av konsekvensene av en handling for alle involverte parter. Strukturen i timene bygger på at det blir presentert et problem, basert på en uansvarlig handling, hvor ungdommene skal foreslå både modne og umodne alternativer til håndtering. Problemene diskuteres gjennom oppfølgingsspørsmål der deltagerne stimuleres til å se situasjonen fra ulike perspektiver.

Metodene som benyttes følger en fast struktur hvor dagens tema presenteres og defineres for deltakeren, før de øver på temaet gjennom rollespill. Deretter gjennomføres det en evalueringsrunde blant deltakerne, og de får hjemmeoppgave hvor dagens tema skal utøves i praksis. Gjennomføringen av ART/AART er primært 30 timer på 10 uker, med tre økter per uke på 45 til 90 minutter. Aktivitetene styres i hovedsak av deltagerne, og det legges opp til at timene foregår i et «ART-miljø» med bilder, plansjer, flippover og andre rekvisitter som kan brukes fra gang til gang. Det er også anledning til å tilpasse programmet etter deltagernes behov. Vanligvis gjennomføres tiltaket i grupper på 4-8 barn (anbefalt 6-8), og tiltaket ledes av to sertifiserte trenere med klare ansvarsoppgaver. Hovedtrener har ansvaret for gjennomføringen av timen. Medtrener sørger for å følge opp deltagerne, samt støtte hovedtreneren underveis. Grunnstrukturen i gjennomføringen er lik fra gang til gang, og er bygget opp av en indre og en ytre struktur. Den ytre strukturen repeteres hver gang, ved oppstart og på slutten av hver time, og er lik for alle komponentene. Den indre strukturen, eller kjerneinnholdet, er forskjellig fra gang til gang avhengig av hvilken komponent som gjennomgås. En vanlig ART-time er bygd opp på følgende måte som vist på tabell 1:

Tabell 1. Oppbygging av ART-timene.

	Ytre   struktur	Indre struktur
Ved oppstart	Tilstandssjekk for å se at alle er   klare til å gjennomføre timen. Velkommen ved et fast grupperitual. Oppsummering fra forrige økt Hjemmeleksesjekk ART-lek som motiverer til samarbeid
I timen		Definisjon av dagens tema Demonstrere dagens tema (modellere)  Diskutere behovet for teknikken/ferdigheten/egenskapen Velg hovedaktør og medaktør Planlegg rollespill og del ut   observasjonsoppgaver  Gjennomfør rollespill  Tilbakemeldingsrunde. Repeter punkt 4-7 til alle har vært hovedaktør  Hjemmeoppgaver
Avslutning	Oppsummering Hjemmelekser Positiv avslutning

 

Det teoretiske grunnlaget for tiltaket

ART/AART bygger på ulike psykologiske teorier og et humanistisk menneskesyn. Alfred Banduras (1973, 1977) sosiale læringsteori er fremtredende og knyttet til elementer i programmet som går på modellæring og mestringstro. Store deler av tiltaket går ut på at deltagerne skal lære av hverandre ved å observere hverandre i ulike situasjoner, for deretter å vise hensiktsmessig atferd når situasjonen tilsier det. I ART/AART står også kognitiv teori (Beck, 1976, 1995) sentralt, med spesiell vekt på informasjonsprosessering og tankemønster. Den teoretiske rasjonalen for ART/AART som helhet, er nøye beskrevet, og enda mer utdypet for de tre ulike delkomponentene.

1. Sosial ferdighetstrening bygger på sosial persepsjon, sosial kognisjon og sosial utøvelse. Dette innebærer at hvordan man oppfatter andre mennesker og hvordan man tolker situasjoner setter premissene for hvordan man handler videre. Disse elementene stammer fra Argyles (1967) og hans forskning om sosiale ferdigheter og betydning av ikke-verbal kommunikasjon.
2. Sinneregulering handler om å kunne ta kontroll over en forhøyet emosjonsaktivering som kan føre med seg negative konsekvenser, og å dermed kunne uttrykke sinnet på en hensiktsmessig og konstruktiv måte. Denne komponenten er primært utviklet av Eva Feindler (1995). Hennes tanker bygger på at barn skal sette seg inn i situasjonen og forstå hvorfor de blir sinte, lære seg teknikker for å håndtere sinnet, samt lære seg adekvate ferdigheter som de kan ta i bruk i stedet. Dette arbeidet er forankret i kognitiv terapi (kognitiv restrukturering) der målet er å få deltageren til å erstatte negative tankemønstre med en mer normal oppfattelse av sitasjonen (Beck, 1995) og dermed redusere konflikten (Feindler & Baker, 2004).
3. Den siste hovedkomponenten i ART handler om moralsk resonnering og bygger på to hovedkilder; Lawrence Kohlbergs stadieteori (Kohlberg, 1963) og Becks modell om tankefeller (Beck, 1991). I følge stadieteorien beveger man seg fra et stadium til det neste og tar umodne eller mer modne beslutninger ut i fra hvilket stadium man befinner seg på. Selvsentrerte tankefeller eller kognitive forvrenginger (Gibbs, 2004; Gibbs, Potter & Goldstein, 1995) anses som en primær tankefelle (kun opptatt av egne behov, rettigheter og synspunkter) som leder til de sekundære tankefellene (skylde på andre, bagatellisering, forutsette det verste etc.). Moralsk resonnering innebærer å snu denne tankegangen til å innebære mer ansvarlige beslutninger der man ivaretar perspektivet til de man samhandler med.

I tiltaket legges det også stor vekt på det humanistiske menneskesynet, og at alle mennesker har en verdi i seg selv. I opplæringen av ART/AART-trenere legges det derfor vekt på at alle må møtes med respekt, og anerkjennes med samme verdi og rettigheter.

Implementeringsstrategier, kvalitetssikring og kostnader

I manualen til AART står det følgende «AART-programmet, som ikke-lisensiert metode, står uten formelle krav til kvalitet på opplæring, programutøvelse og implementering. Imidlertid anbefaler vi sterkt at organisasjoner som ønsker å implementere programmet følger de retningslinjer som er inkludert i dette kapitlet» (Gundersen m. fl., 2015, s. 171). I dette kapitlet henviser de til Fixsen og kollegaers (2005) seks-trinns forskningsbaserte implementeringsmodell. De ulike fasene er godt beskrevet i boken til Gundersen og kollegaer (2015), med fokus på hva som er viktig i de ulike stadiene spesifikt for AART. I tillegg er kvalitetssikrende retningslinjer for hver fase presentert. De henviser også til Sjekkliste for vurdering av implementering (Guldbrandsson, 2007) som et hjelpemiddel for å avgjøre hvorvidt det er aktuelt å innføre programmet og hvilke elementer som må være til stede. Det vises også til andre web-vedlegg knyttet til fagboken på Universitetsforlagets hjemmesider som er viktige for implementeringen.

Tiltaket kom til Norge omkring år 2000, og alle som arbeider med barn, ungdom og voksne med atferdsproblemer eller behov for økt sosial kompetanse kan delta på opplæringen. Tidligere har opplæringen som ART/AART-trener vært tilknyttet Diakonhjemmet Høgskole i Rogaland gjennom et videreutdanningskurs innenfor sosial kompetanse for barn og unge. I dag tilbys opplæring i AART gjennom interesseorganisasjonen PREPSEC Norge (www.prepsecnorge.no). Opplæringen består av et åtte dagers kurs med praksis og en praktisk prøve til slutt som sertifiserer deltagerne til AART-trenere. Kursavgiften er kr. 13.990,- pr. deltaker og inkluderer kursmateriell og kursbevis. Kostnader knyttet til gjennomføring av kurset må dekkes av deltagerne.

Problemstilling for artikkelen

Formålet med denne artikkelen er å vurdere om ART/AART kan være virksomt benyttet i vanlig praksis i Norge.

Metode

ART har tidligere vært beskrevet i Ungsinn (Kjøbli, 2009). Dette er en oppdatert versjon, beskrevet etter de nye kriteriene og retningslinjene som foreligger (Martinussen m. fl., 2016). Vi søkte etter studier om tiltaket i databasene Embase, Medline og Psykinfo, NORART Cochrane, Cristin, NORA, SCOPUS og SweMed. Søkedato: 31.03.2016. I tillegg har vi kontaktet tiltakseiere i Norge og fått tilsendt manualer, veiledere, og forskningsdokumentasjon som eventuelt ikke ble fanget opp av søket, samt informasjon om implementeringsstrategier og kvalitetssikring.

To forskere gjennomgikk forskingsdokumentasjonen uavhengig av hverandre og identifiserte den relevante litteraturen for: nordiske effektstudier, internasjonal kunnskapsoppsummeringer, samt andre norske evalueringer i henhold til kriteriene for klassifisering av tiltak i Ungsinn (Martinussen m. fl., 2016).

Resultater

Resultater fra litteratursøk

Litteratursøket resulterte i 118 treff hvorav totalt syv artikler ble inkludert i denne kunnskapsoppsummeringen. Av de syv inkluderte artiklene var det tre nordiske effektstudier (Gundersen & Svartdal, 2006; 2010; Moynahan & Strømgren, 2005), tre andre norske evalueringer (Gundersen & Svartdal, 2005; Langeveld, Gundersen & Svartdal, 2012; Stamnes & Moe, 2007) og én kunnskapsoppsummering (Brännström, Kaunitz, Andershed, South & Smedslund, 2016). De 111 resterende publikasjoner ble ekskludert fordi de besto av annen målgruppe (K = 42), ikke omhandlet ART (K = 35), var deskriptive studier (K = 24), duplikater (K = 9) eller konferansebidrag (K = 1).

Gjennomgang av beskrivelse

Tiltaket er godt beskrevet gjennom fagboken som beskriver AART (Gundersen m. fl., 2015), både med hensyn til innhold, metoder og teoretisk grunnlag, samt gjennom originalbeskrivelsene av tiltaket (Goldstein m. fl., 1998). Den teoretiske forankringen begrunnes tydelig gjennom ulike psykologiske teorier, blant annet kognitiv atferdsterapi og sosial læringsteori. De tre hovedkomponentene og hvilke teorier som ligger til grunn for utviklingen av disse, er godt beskrevet. Boken har også et kapittel som beskriver implementering av programmet, samt forslag til leker og øvelser man kan gjøre i timene. Hovedmål og sekundærmål for programmet kommer tydelig frem i materiellet. Målgruppen er derimot noe vagt formulert, da det fremgår at tiltaket kan rettes mot barn og unge i alderen 4-20 år. Innholdet i beskrivelsene retter seg i hovedsak mot ungdom, og det er ikke tydeliggjort hvilke elementer som må tilpasses yngre barn, ei heller forslag til hvordan dette kan gjøres. Likevel poengteres det i boken at dette er et fleksibelt program, med rom for å justeres til den gruppen man jobber med. I beskrivelsen av AART fremmes programmet som et universalforebyggende tiltak, men det benyttes også i barnevernsinstitusjoner, rusinstitusjoner, flyktningmottak og fengsel hvor målgruppen er mer avgrenset.

Pr. i dag finnes det én fagbok som anvendes som manual for gjennomføring av programmet (Gundersen m. fl., 2015), samt dokumenter tilknyttet manualen på forlagets hjemmeside. Det henvises ikke til noe materiell utover dette for utøverne eller eget materiell til deltagerne. Se Tabell 2 for en vurdering av tiltakets beskrivelse.

Tabell 2. Vurdering av tiltakets beskrivelse.

Dimensjoner   i beskrivelsen	Ikke beskrevet	Noe beskrevet	Godt beskrevet
Problembeskrivelse			X
Målgruppe		X
Hovedmål			X
Sekundærmål			X
Utforming av tiltaket			X
Metoder som benyttes			X
Kjerneelementer/fleksibilitet			X
Utøvere av tiltaket		X
Manual/veileder for utøvere			X
Materiell for mottakere av tiltaket	X
Undersøkelser som styrker beskrivelsen		X

Nordiske effektstudier

I gjennomgangen av litteratursøket var det tre studier som undersøkte effekten av ART i nordiske utvalg (Moynahan & Strømgren, 2005; Gundersen & Svartdal, 2006; 2010). Alle studiene var gjennomført i Norge. Se Tabell 3 for en oversikt over inkluderte effektstudier.

Studiene som er inkludert hadde kvasi-eksperimentelle design, bestående av en eller flere intervensjonsgrupper og tilhørende sammenligningsgrupper. Der det har vært mulig, har forskerne randomisert gruppene til enten intervensjon eller kontroll, men det var ikke gjennomførbart i alle tilfeller grunnet årsaker knyttet til antall barn, sted for gjennomføring etc. Det har primært vært gjennomført pre-post analyser, der resultatene er vurdert før og etter gjennomføring av tiltaket innad i de ulike utvalgene. Det er rapportert få sammenligninger mellom intervensjon- og kontrollgruppene.

Den første studien (Moynahan & Strømgren, 2005) var en pilot-studie gjennomført på 14 ungdommer (gjennomsnittsalder 17 år) og 25 yngre barn (gjennomsnittsalder 9 år og 7 mnd.). Deltakerne var rekruttert på bakgrunn av lærernes vurdering av mulige atferdsproblemer og/eller manglende sosiale ferdigheter. Data ble innhentet fra deltagernes kontaktlærer, og gruppene ble gjennomført av elevenes lærere eller støttelærere. Ungdomsutvalget bestod av en ART-gruppe og en kontrollgruppe med syv deltagere i hver. Barnegruppen bestod av fire intervensjonsgrupper og to kontrollgrupper. Målet var å undersøke om programmet ville øke sosiale ferdigheter og redusere problematferd hos barn og unge med denne typen problematikk.

Gundersen og Svartdal (2006) gjennomførte en multi-informant-studie på 65 barn og unge fra Øst- og Vestlandet, der 47 deltagere gjennomførte ART-gruppe i en noe forkortet variant (24 timer), og de resterende 18 var i kontrollgruppen. Gruppene ble utført på skoler, spesialskoler og institusjoner. Totalt sett var det 16 jenter (gjennomsnittsalder på 14,1 år) og 49 gutter (gjennomsnittsalder på 12,6 år), og informasjon ble innhentet fra barna selv, foreldre og lærerne. Hovedmålet med studien var å undersøke om ART vil føre til en signifikant endring hos de som deltok sammenlignet med kontrollgruppen.

I 2010 gjennomførte Gundersen og Svartdal en studie basert på 140 barn med en gjennomsnittsalder på 11 år. Utvalget bestod av 84 gutter og 56 jenter fra skole, barnehage, spesialskole og institusjoner fordelt over hele landet. I denne studien undersøkte de endring fra før til etter gjennomføring av tiltaket, samt diffusjonseffekt mellom gruppene.

Tabell 3. Inkluderte nordiske effektstudier.

Studie/ Artikkel	Forskningsdesign	Deltakere	Utvalget	Måletidspunkter
1.Moynahan og Strømgren (2005)	Kvasi-eksperimenteltpre-post design	Ungdommer: N = 14 ART: n = 7, Kontroll: n = 7 Barn: N = 25  ART: n = 15, Kontroll: n =10	Barn (M = 10 år) og ungdom (M = 17 år) fra 7-20 år med   atferdsproblematikk(SD ikke oppgitt)	Før og etter intervensjon(Tidspunkt   mellom måling ikke oppgitt)
2.Gundersen og Svartdal (2006)	Kvasi-eksperimenteltpre-post design	N = 65 ART: n = 47, Kontroll: n = 18	Barn og unge fra skoler og institusjoner i sør- og vestlige deler av Norge. 16 jenter (M = 14,1 år), og 49 gutter (M = 12,6 år).	Før og etter intervensjon(Tidspunkt   mellom måling ikke oppgitt)
3.Gundersen og Svartdal (2010)	Kvasi-eksperimenteltpre-post design	N = 140 (56 jenter) ART: n = 77, Kontroll: n = 63	Barn og unge fra skoler, barnehage og andre institusjoner. ART: M = 11,1 år (SD = 3,1) Kontroll: M = 10,9 år (SD = 3,2)	Før og etter intervensjon(Tidspunkt mellom måling ikke oppgitt)

Forskningsmetodisk kvalitet

Den metodiske vurderingen av studien er presentert i tabell 4.

Tabell 4. Metodisk kvalitet.

Studie	1.Statistiske analyser	2.Måling	3.Indre validitet	4.Tro mot tiltaket	5.Ytre validitet	Gj.snitt
1.Moynahan ogStrømgren (2005).	2,0	2,0	1,5	2,5	1,5	1,9
2.Gundersen og Svartdal (2006)	1,0	3,0	2,0	3,5	1,5	2,2
3.Gundersen og Svartdal (2010)	1,0	2,5	1,0	2,5	1,5	1,7

Note. Ikke rapportert eller undersøkt = 0; Dårlig/utilfredsstillende = 1; Tilfredsstillende = 2; Godt = 3; Svært godt = 4.

1. Statistiske analyser
Den første studien, pilot-studien (Moynahan & Strømgren, 2005), har brukt standardskårene for de to hoveddomenene på sosiale ferdigheter og problematferd. Wilcoxon Signed Ranks test ble anvendt for å undersøke forskjellene før og etter gjennomføring av ART innad i de to gruppene. Mann-Whitney test ble brukt for å analysere forskjellene mellom ART og kontrollgruppene ved pretest. Ikke-parametriske metoder brukes som alternativ til t-test for avhengige data og ANOVA/ t-test for uavhengige data når utvalget er lite og data er skjevfordelt som i denne studien (eller de har vanskelig for å argumentere for at populasjonen er normalfordelt) (Keppel & Wickens, 2004).

Det er imidlertid en svakhet at det ikke er foretatt en gruppesammenligning av endring fra pre- til posttest som ville vært å foretrekke. I stedet er det utført en innen-gruppetesting av endring fra pre- til posttest. Statistisk styrke er ikke beregnet, men dette var en pilot-studie, dermed er det naturlig at utvalget ikke er veldig høyt. Frafall i studien er ikke beskrevet, og følgelig foreligger det ingen intention-to-treat (ITT)-analyser.

I den andre studien (Gundersen & Svartdal, 2006) benyttes et innen-gruppe design for å undersøke endring fra pre til post. Analysene er relativt dårlig beskrevet. Det burde vært testet for gruppeforskjeller mellom intervensjons- og kontrollgruppen. Det er for eksempel svært stor forskjell i antall deltakere i intervensjons- og kontrollgruppen, henholdsvis 47 vs. 18 noe som kan påvirke presisjonen på analyseresultatene. Forfatterne kommenterer selv at en sammenligning mellom gruppene vil være begrenset grunnet relativt få deltakere i heterogene grupper. Likevel analyseres data med en repetert ANOVA (General Linear Model; GLM) inkludert en tidsfaktor, en gruppevariabel og et interaksjonsledd mellom tid og gruppe for å se på forskjeller i skårene for ulike instrumenter. Optimalt sett ville en kovariansanalyse (ANCOVA), hvor man sammenligner gruppenes postskårer med preskåren som kontrollvariabel, vært en mer hensiktsmessig analysemetode (Rausch, Maxwell & Kelley, 2003). Studien innehar også en lav statistisk styrke, spesielt siden kontrollgruppen har for få individer (N = 18) sammenlignet med intervensjonsgruppen (N = 47) til kunne påvise klinisk meningsfulle effekter. I studien anvender de et høyere signifikansnivå enn kriteriene til Ungsinn tillater (signifikansnivå < 0,05), dermed er effekter (f.eks. foreldrerapportert CADBI hvor p = 0,08) som er rapportert med et høyere nivå enn 0,05 ikke behandlet som signifikant i denne sammenhengen (Martinussen m.fl., 2016; Gundersen & Svartdal, 2006). Det er ikke gjort en statistisk styrkeberegning i forkant av studien. Varierende frihetsgradtall for de ulike informantene tyder på frafall, men det er ikke rapportert. Moderatoranalyser for alder og institusjon ble gjennomført (kjønn var ikke inkludert i denne analysen), og det ble konkludert med at disse faktorene ikke hadde en effekt på utfallet.

I den tredje studien (Gundersen & Svartdal, 2010) er det tilsynelatende anvendt samme analysestrategi som i Gundersen og Svartdal (2006). Analysene ble utført med bruk av repetert ANOVA for å sammenligne gruppegjennomsnittene på de ulike instrumentene innad i gruppene (ART- og kontrollgruppen) i henhold til skårene på de ulike instrumentene på pre- og post-test. Her ville en mer optimal analysestrategi vært å sammenligne endringen mellom de to gruppene, men det er ikke gjennomført. Det er ikke gjort en statistisk styrkeberegning. Frafall er ikke rapportert eller vurdert, og dermed er det følgelig ikke foretatt noen frafallsanalyser.

2. Målinger og måleinstrumenter
Internasjonalt veldokumenterte og utprøvde instrumenter er brukt i de ulike studiene for å kartlegge sosiale ferdigheter, problematferd og moralsk resonnering. Flere av instrumentene finnes også i foreldre-, lærer-, og barneversjon. Under følger en beskrivelse av hvilke skalaer som er anvendt i de enkelte studiene.

Sosiale ferdigheter
Social Skills Rating System (SSRS; Gresham & Elliot, 1991) anvendes i alle studiene primært for å kartlegge sosiale ferdigheter hos barn og unge, men også for å kartlegge problematferd. Det finnes en foreldre-, en lærer- og en barneversjon av SSRS, som hver inneholder 30 spørsmål. Det foreligger én norsk validering av SSRS (Ogden, 2003), og denne evalueringen er en validering av en redusert form av lærerskjemaet for ungdom.

I pilot-studien (Moynahan & Strømgren, 2005) ble kun lærerversjonen brukt, mens i Gundersen og Svartdal (2006) var det kun sosial ferdighetsskalaen som ble tatt i bruk. I den sistnevnte studien oppgis Cronbach`s alfa for det aktuelle utvalget å være α = 0,92 for foreldre og 0,79 for lærerne. I følge (EFPA, 2013) anses en verdi > 0,70 som tilfredsstillende. I den siste studien (Gundersen & Svartdal, 2010), anvendes begge skalaene (sosiale ferdigheter og problematferd) med flere informanter, men det oppgis ingen indre konsistens for måleinstrumentene basert på det aktuelle utvalget. 

Problematferd
The Child and Adolescent Disruptive Behavior Inventory 2.3 (CADBI; Burns, Taylor & Rusby, 2001) benyttes for å evaluere barns problematferd. Den består av en foreldre- og en lærerversjon hvor begge inneholder 25 spørsmål, og skåres på en 8-punkts frekvensskala fra «aldri i løpet av den siste mnd.» til «10 ganger eller mer om dagen». Både foreldre og lærere vurderer også barnas akademiske kompetanse på en 7-punkts skala «fra alvorlige vanskeligheter» til «utmerket gjennomføring». I Gundersen og Svartdal (2006) rapporterer de en utmerket Cronbach`s alfa for foreldreversjonen (α = 0,94) og for lærerversjonen (α = 0,90). Det foreligger ikke forfatterne bekjent en norsk evaluering av CADBI.

Achenbach System of Empirical Based Assessment (ASEBA; Achenbach & Rescorla, 2001) er et verktøy bestående av Child Behavior Checklist (CBCL) for alderen 6-18 år (foreldreversjon), Teacher Report Form (TRF), og Youth Self-Report (YSR) for å kartlegge ulike problemområder, og kompetanseområder hos barn og unge. Både CBCL og TRF er vurdert til å ha tilstrekkelig validitet og reliabilitet i norske utvalg (Kornør & Drugli, 2011; Kornør & Jozefiak, 2012). YSR er ikke validert i norske utvalg, men funnet å være et godt psykometrisk måleinstrument for selvrapporterte atferdsvansker for ungdom basert på utenlandske studier (Epstein, Mooney, Ryser & Pierce, 2004). I Gundersen og Svartdal (2006) anvendes subskalaene internaliserende og eksternaliserende vansker, samt kategorien «andre vansker» i analysene. De rapporterte en intern konsistens i form av Cronbachs alpha for YSR basert på det aktuelle utvalget på henholdsvis 0,93 for foreldre, 0,86 for lærerne og 0,93 for barna, noe som er utmerket.

Moralsk resonnering
How I Think (HIT; Gibbs, Barriga & Potter, 2001) består av 54 spørsmål fordelt inn i fire underskalaer; selvopptatthet (self-centered), skylde på andre (blaming others), bagatellisering/feiltolking (minimising/mislabelling) og anta det verste (assuming the worst). Svarkategoriene er en 6-punkts Likert-skala fra «sterkt uenig» til «helt enig». HIT er funnet å ha gode psykometriske egenskaper i internasjonal litteratur (Barriga & Gibbs, 1996; Gibbs m. fl., 2001). I Gundersen og Svartdal (2006) ble det funnet en indre konsistens for de sammenslåtte subskalaene (α = 0,90).

3. Indre validitet
Moynahan og Strømgren (2005) gjennomførte en pilotstudie der de randomiserte barna til henholdsvis kontroll- eller intervensjonsgruppe. Ungdommene som deltok i studien ble ikke randomisert. Det er positivt for studien at de har benyttet randomisering med tanke på å redusere eventuelle forskjeller i gruppene, men det er en svakhet at ikke alle gruppene ble randomisert. Selve randomiseringsprosessen er heller ikke redegjort for, hvilket kan utgjøre en trussel mot den indre validiteten. Randomiseringen kunne vært optimalisert ved å randomisere på individnivå fremfor på gruppenivå. Deltakerne ble rekruttert basert på lærernes oppfatning av elevenes problematferd og/eller manglende sosiale ferdigheter. Fordelingen mellom gruppene blant de yngste barna var ujevn, bestående av fire intervensjons- og to kontrollgrupper. Det var også svært ulikt fordelt mellom kjønn i dette utvalget (24 gutter vs. 1 jente). Siden gruppene var rekruttert fra samme skole eller samme klasse, var det fare for at smitteeffekt kunne finne sted. Lærere ved de aktuelle skolene var utdannet ART-trenere, og var også de som gjennomførte intervensjonen. Dermed kunne lærerne benytte elementer fra programmet i vanlige skolesituasjoner uavhengig om elevene tilhørte kontroll- eller intervensjonsgruppen. Det ble ikke oppgitt hvorvidt studien har håndtert slike eventuelle feilkilder.

I den andre studien anvender Gundersen og Svartdal (2006) et kvasi-eksperimentelt pre-post design der de ser på forskjeller innad i gruppene. Det er ikke oppgitt noen kriterier for inklusjons- eller eksklusjonskriterier for å kunne delta i studien, eller redegjort hvorvidt gruppene er matchet på noen kriterier. Deltakerne er rekruttert fra forskjellige institusjoner (skoler, spesialskoler og institusjoner) og ble randomisert på gruppenivå til henholdsvis intervensjons- eller kontrollgruppe. Randomiseringsprosessen ble utført av den som ledet treneropplæringen i henhold til retningslinjer fra prosjektlederne, men forfatterne opplyser at det i noen grupper ikke var mulig å randomisere. De beskriver kontrollgruppen og hvilken oppfølging de mottar (treatment as usual; TAU). De opplyser også at denne gruppen potensielt kan ha oppnådd en smitteeffekt da noen er rekruttert fra samme klasse eller skole.

Gundersen og Svartdal (2010) anvender også et kvasi-eksperimentelt innen-gruppe-design. I studien ble ulike grupper satt sammen og deretter randomisert til henholdsvis kontroll- eller intervensjonsgruppe. Mer detaljer om randomiseringsprosessen er ikke beskrevet. Gjennom et innen-gruppe-design kan ikke studien i like stor grad som i en randomisert studie med kontrollgruppe kunne tilskrive endringsforskjellene til intervensjonen. Randomisering på gruppenivå fremfor på individnivå kan også utgjøre en trussel mot den indre validiteten. Videre befant deltakerne i kontrollgruppen og deltakerne i intervensjonsgruppen seg på samme arena (skole, klasse, institusjon) hvilket kan føre til smitteeffekt i form av at elevene i kontrollgruppen lærer ferdigheter via elever i intervensjonsgruppen. Gundersen og Svartdal (2010) skriver utfyllende om mulige diffusjonseffekter og mindre om behandlingseffekter av ART.

4. Tro mot tiltaket
I alle studiene har ART-trenerne gjennomgått en omfattende opplæring. Noen av trenerne har også fullført et 60 studiepoengs kurs i sosial kompetanse hos barn og unge, hvor ART var en del av kursopplegget. Som en kvalitetssikring av opplæringen, måtte studentene gjennomføre 24 timer med ART før de fikk utøve intervensjonen i praksis. I tre av studiene (Moynahan & Strømgren, 2005; Gundersen & Svartdal, 2006; 2010) oppgir de at informasjon og veiledning var tilgjengelig underveis. I Gundersen og Svartdal (2006) ble veiledning gitt in vivo eller via video, og trenerne ble bedt om å evaluere seg selv etter hver time. I tillegg måtte de fylle ut et spørreskjema som omhandlet i hvilken grad de hadde fulgt gitte kriterier for implementering. Utøverne ble også vurdert gjennom et skjema før og etter gjennomføring, av kollegaer og andre overordnede. En trussel mot etterlevelse av tiltaket i denne studien kan være at programmet reduseres fra 30 til 24 timer. I Gundersen og Svartdal (2010) rapporterer de gjennomsnittlig fravær (dose), og at de har tilpasset manualen til de yngre barna. Det er ikke oppgitt hvilke tilpasninger som ble gjort. I samme studie beskriver de at sammensetningen av ART-trenerne var noe forskjellig i de ulike gruppene. Noen steder var begge ART-trenere, mens i noen tilfeller var det én ART-trener sammen med én kollega fra arbeidsplassen. Dette kan potensielt påvirke utfallet hos barna og gjennomføringen av programmet, da opplæringen er så omfattende som den er.

5. Ytre validitet
Det foreligger ingen oppfølgingsstudier fra noen av de presenterte studiene. Alle studiene i denne oversikten er gjennomført i praksis på arbeidsplassen til de forskjellige ART-trenerne. ARTog AART utføres på mange arenaer der barn og unge oppholder seg, som for eksempel i skoler, barnehager, barnevernsinstitusjoner m.m., og har til hensikt å forebygge og behandle på flere ulike nivåer. Det betyr at utvalgene er forskjellige, alt fra barn i barnehage til barn i spesialskoler og institusjoner spredt over et relativt stort aldersspenn med få individer. Det betyr også at den manglende avgrensningen av definerte målgrupper og spesifiserte arenaer skaper noen utfordringer i forhold til å kunne generalisere effekten av ARTfra en bestemt gruppe til en annen. For eksempel er det i Gundersen og Svartdal (2010) rekruttert deltakere fra fem ulike arenaer, dvs. fra barnehage til institusjoner, og med stor aldersspredning (fra 4,5 til 14,6 år). Det vil derfor være begrensede muligheter for å kunne replikere denne studien. Likevel tillater programmet stor spredning i målgruppen, dermed er representativiteten på flere måter ivaretatt.

I tillegg er det inkludert enkelte deltakere med diagnostiserbare lidelser som atferdsforstyrrelser, ADHD (attention deficit hyperactive disorder) og ASD (autism spectrum disorder) i de ulike gruppene hvor de resterende deltakerne befinner seg innenfor et normalområde. Resultatene analyseres likevel på gruppenivå, og i den grad studiene analyserer effekten av ARTpå deltakerne med diagnostiserbare lidelser er antall deltakere så lavt (N < 9) at det ikke vil være mulig å generalisere effekten til andre barn og unge med tilsvarende lidelser.

Det var også ulik fordeling mellom kjønn (25 gutter vs. 1 jente) i barnegruppen i pilotstudien. Denne kjønnsforskjellen skaper derfor noe tvil om gruppens representativitet i forhold til å generalisere resultatene til jenter. Likevel kan deler av denne forskjellen forklares ut fra at det er en høyere forekomst av gutter sammenlignet med jenter som både får ASD og ADHD diagnose (Fombonne, 2003; Gaub & Carlson, 1997).

Effekter

Effektstørrelser (Hedges g) er oppgitt i tabell 5. Ifølge Cohens (1988) kriterier beskrives tradisjonelt g = 0,2 som en typisk liten effekt, g = 0,5 som en typisk medium effekt og g  = 0,8 som en typisk stor effekt (Cohen, 1988).Vi har beregnet effektstørrelser ved å anvende pretest-standardavviket i ART-gruppa og kontroll-gruppa som grunnlag for beregning av et vektet felles [pooled] standardavvik (Carlson & Schmidt, 1999; Morris, 2008). Dersom kun standardfeil (SE) og eksakte utvalgsstørrelser som SE var basert på var oppgitt, har vi benyttet justerte utvalgsstørrelser basert på antall frihetsgrader fra F-tester oppgitt i artikkelen, gitt et proporsjonalt frafall for de ulike gruppene, for å kunne estimere standardavviket (SD) i hver gruppe.

Mellom-gruppe-effekter
I pilotstudien av ART (Moynahan & Gundersen, 2005) rapporterte de ingen signifikante forskjeller mellom intervensjons- og kontrollgruppen, verken på sosiale ferdigheter eller problematferd (se tabell 5).

I Gundersen og Svartdal (2006) oppgis en signifikant middels effekt (g = 0,39) på foreldrenes rapporteringer av barnas sosiale ferdigheter (SSRS) før og etter intervensjonen. Ingen signifikant forskjell mellom gruppene i sosiale ferdigheter ble rapportert av lærere eller ved barnas selvrapportering. Ved post-test var det ingen signifikant forskjell mellom intervensjonsgruppen og kontrollgruppen i moralsk resonnering (HiT). I denne studien ble problematferd målt ved både CADBI og CBCL. Ved bruk av CADBI ble det ikke funnet noen signifikant forskjell (p < 0,05) mellom gruppene i redusert problematferd hverken rapportert av foreldre, lærerne eller av barna selv. Reduksjon av problematferd ble målt ved CBCL og viste en signifikant middels positiv effekt (g = 0,42) rapportert av foreldrene, men ingen signifikant reduksjon rapportert av lærerne eller av barna selv. Utover dette er det ikke rapportert om signifikante forskjeller mellom gruppene, se tabell 5.

Tabell 5. Effektstørrelser for ufallsvariabler for studier med mellomgruppedesign.

		SSRS Sosiale ferdigheter	SSRS Problem-atferd	HiT Moralsk resonering	CADBI Problem-atferd	CBCL Problem-atferd
1.Moynahan og Strømgren (2005)	Barneversjon Lærer- rapportert	Ikke sig.	Ikke sig.
	Ungdomsversjonen Lærer-rapportert	Ikke sig.	Ikke sig.
2.Gundersen og Svartdal (2006)	Foreldrerapportert	g = 0,39*			Ikke sig.	g =0,42*
	Lærerrapportert	Ikke sig.			Ikke sig.	Ikke sig.
	Selv-rapportert	Ikke sig.		Ikke sig.	Ikke sig.	Ikke sig.

Note: * p < 0,05. Ikke sig. = ikke signifikant forskjell mellom ART og kontrollgruppen. SSRS = Social Skills Rating System. HiT = How I think. CADBI = The Child and adolescents disruptive behavior inventory. CBCL = Child behavior checklist.

Innen-gruppe-effekter
Moynahan og Strømgren (2005) rapporterte en signifikant forbedring fra pre- til postmåling på sosiale ferdigheter og problematferd innad i barnegruppen som mottok ART. Det var ingen tilsvarende endring fra pre- til postmåling hos kontrollgruppen, og ingen rapporterte endringer i intervensjons- eller kontrollgruppen blant ungdommene.

Gundersen og Svartdal (2010) oppga gjennomsnittskåre uten standardavvik separat for ART og kontrollgruppen. Effektstørrelser mellom gruppene er ikke rapportert, og lar seg derfor vanskelig beregne basert på informasjonen som er presentert. Resultatene fra studien indikerte at i de analysene som ble gjort, var det 14 av 19 tester i intervensjonsgruppen som hadde en signifikant endring fra pre- til posttest, sammenlignet med kontrollgruppen hvor to av 19 tester viste en signifikant endring. Disse testene innebar blant annet foreldrerapporterte målinger på sosial kompetanse og problematferd (SSRS), hvor alle underskalaene forbedret seg signifikant fra pre- til postmåling i ART-gruppen. I kontrollgruppen var det kun rapportert en signifikant reduksjon i problematferd mellom måletidspunktene. Tilsvarende var tre av fire underskalaer på SSRS lærerrapporteringer signifikant forskjellige fra første måling i ART-gruppen (mål på samarbeid var ikke signifikant). I kontrollgruppen var det én signifikant endring fra pre til post på underskalaen «selvkontroll». Problematferd rapportert ved bruk av CADBI viste til fire av fem signifikante funn i ART-gruppen, og ingen signifikante funn i kontrollgruppen basert på foreldrenes svar. Blant lærerne var det bare to signifikante endringer i ART-gruppen, og ingen i kontrollgruppen.

Internasjonale kunnskapsoppsummeringer

Gjennomgang av internasjonale databaser resulterte i én artikkel (Brännström m. fl., 2016). Denne kunnskapsoppsummering inkluderte 16 studier som evaluerte ART. Det er verdt å merke seg at et av inklusjonskriteriene var at utvalget måtte være 12 år eller eldre. Konklusjonen etter gjennomgangen var at ART har noe manglende dokumentasjon på om det er legitimt å hevde at tiltaket har en positiv innvirkning på de kjerneområdene som skal håndteres i programmet. Forfatterne anbefaler en evaluering utført av uavhengige forskere, som benytter et adekvat forskningsdesign.

Andre norske evalueringer

I søket etter andre norske evalueringer fant vi tre studier (Gundersen & Svartdal, 2005; Langeveld m. fl., 2012; Stamnes & Moe, 2007). I Gundersen og Svartdal (2005) har forfatterne gjennomført en evaluering av opplæring- og implementeringsferdigheter i videreutdanningsprogrammet «Trening i sosial kompetanse» som var tilgjengelig ved VID vitenskapelige høgskole (tidligere Diakonhjemmet Høgskole i Rogaland). Evalueringen baserte seg på informasjon fra 65 barn og unge som deltok i tilsammen 12 ART-grupper, samt 31 studenter som gjennomførte videreutdanningskurset. Resultatene var generelt sett positive, både utfallet hos deltakerne i gruppene, samt tilbakemeldingene fra studentene om programmet.

Den andre studien som ble identifisert i dette søket var en annen norsk evalueringsstudie som ble gjennomført ved en liten skole i Midt-Norge, bestående av 24 elever på mellomtrinnet. Målet med studien var å undersøke om tiltaket ledet til økt sosial kompetanse og reduserte aggressiv atferd. Studien viste til positive resultater, men de oppgir ingen tall og kommenterer selv at det foreligger mulige feilkilder knyttet til disse resultatene (Stamnes & Moe, 2007).

Den tredje studien, Langeveld m. fl., (2012), ble utført med et kvasi-eksperimentelt design med innen-gruppe-målinger (multiple-baseline), der deltagerne var randomisert til to like store grupper. Designet bestod i å introdusere programmet for to uavhengige grupper, hvilket betyr at alle gjennomgikk intervensjonen, men på ulike tidspunkt. En direkte kontrollgruppe eksisterte derfor ikke. Utvalget bestod av 112 elever fra hele landet, og utgjorde til sammen 18 ART-grupper som så ble randomisert i to like store grupper. Én gruppe gjennomførte tiltaket ved oppstart av prosjektet, mens den andre gruppen startet 4 uker senere. Hovedmålet med studien var å undersøke hvordan sosial kompetanse kunne være en medierende faktor i reduksjon av atferdsproblemer. Intervensjonsperioden varte i 12 uker. Post-måling ble utført innen to uker etter avsluttet intervensjonsperiode. Analysen indikerte en signifikant økning i sosial kompetanse og en signifikant reduksjon i problematferd innad i gruppene som mottok ART, men innen-gruppe resultatene indikerte ikke en direkte effekt av programmet.

Implementeringskvalitet

Etter at tiltaket trådte i kraft i år 2000 har det vært tatt i bruk i store deler av landet. Det foreligger dog ingen fullstendig oversikt over hvor tiltaket er i bruk i dag eller en tydelig implementeringsstrategi eller spredningsstrategi. I Gundersen m. fl. (2015) finner man et kapittel viet til implementering av ART/AART og anbefalinger knyttet til innføring av programmet. I tillegg kan man laste ned vedlegg til boken fra Universitetsforlagets hjemmeside som supplement til implementeringen, eksempelvis sjekkliste for vurdering av implementering (https://www.universitetsforlaget.no/nettbutikk/aart-uf.html). Tabell 6 viser en oversikt over skåring av implementeringskvalitet.

Implementeringsstøtte og opplæring/veiledning
I Norge er det PREPSEC Norge (http://prepsecnorge.no) og VID vitenskapelige høgskole (tidligere Diakonhjemmet høgskole i Rogaland) som er tiltakseier og ansvarlig for implementering av tiltaket. PREPSEC Norge er en nasjonal interesseorganisasjon hvor målet er å fremme forskning og utvikling av programmer om sosial kompetanse. De formidler kurs og utsteder kursbevis for de som ønsker å bli ART/AART-trenere. Målgruppen for denne opplæringen er lærere, førskolelærere, vernepleiere, barnevernspedagoger og andre som arbeider med barn og unge, men det stilles ingen formelle kvalifikasjonskrav for å delta på trenerkurs. Selve opplæringen består av et 8-dagers kurs, fordelt på 2 deler + 1 oppfølgings- og veiledningsdag. Dette koster p.t. kr 13.990,- pr. deltager (se http://prepsecnorge.no eller http://www.smart-kompetanse.no/kurs-og-tjenester/art-kurs). Ved fullføring av kurset vil man motta et sertifiseringsbevis fra PREPSEC Norge. Det gis tilbud om veiledning etter endt opplæring. I følge tiltakseier ligger kostnadene for dette omkring kr 8.000,- pr dag. Utover dette stilles det ingen vedlikeholdskrav eller kurs for å ivareta kompetansen hos utøverne.

Monitorering av fidelity/etterlevelse
ART-trenerne blir bedt om å fylle ut sjekklister for alle de tre komponentene i programmet, utover dette er det ingen systematisk oppfølging av troskap og etterlevelse til programmet (fidelity). I tillegg blir ART-trenerne filmet eller observert in-vivo for veiledningsøyemed.

Identifisering av målgrupper
Målgruppen for tiltaket er ikke nøyaktig spesifisert gjennom inklusjons- og eksklusjonskriterier. I originalversjonen var ARTutviklet for ungdommer med alvorlige atferdsvansker, men i Norge har ART/AART vært gjennomført på flere ulike målgrupper (skole, barnehage, mottak for mindreårige flyktninger og rusinstitusjoner). Dette innebærer at innholdet i programmet er fleksibelt for å tilpasses den aktuelle gruppen, men det eksisterer ingen retningslinjer eller strategier for dette. Det foreligger heller ingen anbefalte instrumenter for å identifisere målgruppen, men i universitetsforlagets vedlegg til boken finnes forskjellige sjekklister som fylles ut av foreldre, lærer og barnet selv i forhold til sosiale ferdigheter for barn og ungdom (https://www.universitetsforlaget.no/nettbutikk/aart-uf.html).

Tabell 6. Implementeringskvalitet.

Kategori	Ja	Nei	Ikke relevant
1. Implementeringsstøtte		X
2. Kvalifikasjonskrav	X
3. Opplæring	X
4. Sertifiseringsordninger	X
5. Monitorering av fidelity/etterlevelse		X
6. Veiledning	X
7. Identifisering av målgrupper		X
8. Kartleggings- og vedlikeholdsverktøy		X
9. Strategier for tilpasning		X
Samlet skåre	4/9

Diskusjon

Hovedmålet med denne artikkelen var å undersøke om ART/AART er et virksomt tiltak benyttet i normal praksis i Norge, basert på Ungsinns nye kriterier for klassifisering. Resultatene diskuteres dermed på bakgrunn av disse i påfølgende avsnitt.

Beskrivelse

ART/AART er detaljert og godt beskrevet gjennom en fagbok som også kan anvendes som manual for gjennomføring av tiltaket (Gundersen m. fl., 2015). Denne fagboken er en tilpasset variant av originalversjonen (Goldstein & Glick, 1987; Goldstein m. fl., 1998), men hovedkomponentene er de samme. I tillegg finnes det en god del materiell for utøverne på universitetsforlagets hjemmesider hvor boken er gitt ut (som vedlegg tilgjengelig for alle). Selve utformingen av tiltaket og målene er også grundig beskrevet. Målgruppen for tiltaket er ikke nøyaktig spesifisert gjennom inklusjons- og eksklusjonskriterier, men benyttes på flere arenaer, og brukes både som et universelt-, selektivt- og som indikert forebyggende tiltak i tillegg til å være et behandlende tiltak.

Teoretisk rasjonale

Den teoretiske forankringen for ART/AART er tydelig begrunnet i kjente og veldokumenterte teorier som sosial læringsteori og kognitiv teori, samt et humanistisk menneskesyn. I AART er de tre delkomponentene ytterligere beskrevet for å styrke sammenhengen mellom metodene som anvendes og virkningsmekanismene i programmet. Det kommer tydelig frem hva som anses som grunnleggende for å kunne øke barn og unges sosiale kompetanse for å erstatte aggresjon med hensiktsmessige reaksjons- og handlingsmønstre.

Studier

Tre nordiske (alle norske) effektstudier ble vurdert i denne oppsummeringen. I tillegg ble én internasjonal kunnskapsoppsummering vurdert, samt tre andre norske studier.

Forskningsdesign

De tre inkluderte effektstudiene benyttet et pre-post design hvor de sammenligner målinger før og etter gjennomføring av intervensjonen hovedsakelig innad i gruppene, mens få resultater er rapportert som en sammenligning mellom intervensjons- og kontrollgruppene. Innen-gruppe-design anses ikke som optimalt, da det blir vanskelig å vurdere om det er tiltaket eller andre faktorer som har forårsaket en eventuell effekt. Tiltakseier oppgir at undersøkelsene ble gjennomført innenfor det som rammen for videreutdanningen og dens praksisperiode tillot. Disse praktiske begrensningene har dermed ført til at de ikke kunne anvende bestemte ideelle design eller gjennomføres oppfølgingsundersøkelser.

Forskningsmetodisk kvalitet

Den forskningsmetodiske kvaliteten er delvis tilfredsstillende for de tre studiene, men innehar også noen vesentlige begrensninger hvilket ikke er optimalt for å avdekke effekter. Økt statistisk styrke og sammenligning mellom gruppene ville kunne hevet studienes metodiske kvalitet betraktelig. Frafall er i liten grad rapportert, og ikke tatt hensyn til i analysene. Det er heller ikke tatt hensyn til at gruppene var satt sammen av elever fra samme klasse eller skole, hvilket kan føre til avhengighet i datamaterialet. Det er i tillegg rekruttert deltakere som er svært ulike (f.eks. alder, arena, diagnosekriterier vs. normalpopulasjon), men som likevel analyseres på samlet gruppenivå. Dette er en begrensing i forhold til rapportering av resultater, da det også kan påvirke generaliserbarheten til programmet. Måleinstrumentene som anvendes er anerkjente og veldokumenterte internasjonalt, men ikke alle er like godt dokumentert i Norge. Studiene som foreligger presenterer i hovedsak mål på sosiale ferdigheter og problematferd. Det ville styrket studiene om utfallsmål på samtlige målsetninger ble inkludert, eksempelvis moralsk resonnering hvor det foreligger begrenset datamateriale. Ingen av de inkluderte effektstudiene har oppgitt tidsperspektivet for de ulike målingene, eller intervallet mellom målingene, hvilket er en svakhet.

I all hovedsak har man sett på innen-gruppeforskjeller i de to gruppene (intervensjon og kontroll) hvilket er en trussel mot den indre validiteten da man ikke med sikkerhet kan si om det er programmet som har påvirket utviklingen, eller andre faktorer som kan ha bidratt til en naturlig forandring. En annen trussel mot den indre validiteten som Gundersen og Svartdal selv problematiserer er at det kan ha oppstått smitteeffekter mellom gruppene (Gundersen & Svartdal 2006; 2010). I tillegg har de foretatt randomisering der det har vært mulig, men denne randomiseringen har vært gjennomført på gruppenivå fremfor individnivå som ville vært mer ideelt. Dette kan også ha påvirket den indre validiteten da deltakerne i studiene befant seg på samme skole eller institusjon.

Studiene skårer generelt godt på etterlevelse, i form av omfattende opplæring, veiledning og informasjon til utøverne underveis i programmet. Observasjonsmål ville kunne hevet nivået ytterligere. I noen tilfeller har de rapportert lengden på programmet, som også har variert fra 24-30 timer eller mellom 10-13 uker.

Effekt på sentrale mål

Det foreligger få funn på effekter mellom ART^– og kontrollgruppene fra de forskjellige studiene som er gjennomgått. Kun en av de tre inkluderte studiene i denne kunnskapsoppsummeringen viste en signifikant økning i sosiale ferdigheter, og redusert problematferd rapportert av foreldre hos de barna som mottok ART, hvilket ikke fant sted i kontrollgruppen (Gundersen & Svartdal, 2006). En svakhet er at de fleste studiene der ARTer evaluert, har flere individer i intervensjonsgruppa sammenlignet med kontrollgruppa. Dette kan favorisere signifikant endring i intervensjonsgruppa ettersom statistisk signifikans er en funksjon både av effektstørrelse og av utvalgsstørrelse. Videre foreligger det få resultater omkring forskjeller mellom gruppene, og det gjør det dermed vanskelig å hevde at det er ART som er årsaken til forbedring i skårene. Det er ikke gjennomført oppfølgingsstudier, dermed er det også vanskelig å si noe om langtidsvirkningene av tiltaket.

Implementeringskvalitet

Det finnes gode retningslinjer og beskrivelser for implementering av tiltaket, samt en fagbok med tilleggsmateriell og en omfattende opplæring. Dette er likevel kun gitt som klare anbefalinger, og en kvalitetssikring og oppfølging av disse retningslinjene ville hevet nivået på implementeringen. Opplæring og veiledning er relativt kostbart og må dekkes av deltagerne selv.

Konklusjon

ART/AART har en solid teoretisk forankring, med en manual som beskriver hovedmålene i programmet grundig. Tiltaket har beskrevet gode retningslinjer for implementering, med sterke anbefalinger om hvordan det bør utføres. Det foreligger ikke noen implementeringsstøtte utover dette. Tre nordiske studier har evaluert effekten av ART, men det foreligger ingen studier på den videreutviklede versjonen AART som benyttes i norsk praksis per i dag. Studiene som evaluerer ARTi nordisk kontekst gir indikasjoner på at tiltaket kan være virksomt. Likevel innehar studiene metodiske svakheter, samt få effekter hvilket ikke gir en tilfredsstillende dokumentasjon på effekt av programmet. For å kunne tilfredsstille kravene på nivå fire i Ungsinn måtte det foreligge effektstudier av ART/AART under ideelle betingelser, samt en bedre forskningsmetodisk kvalitet i studiene. Større studier med bedre forskningsdesign og bedre analysekvalitet trengs for at man skal kunne hevde at ART har en dokumentert effekt, samt at oppfølgingsdata vil kunne løfte dokumentasjonen på tiltaket betydelig. Det er også behov for studier som evaluerer effekten av AART som anvendes i norsk praksis.

ART/AART klassifiseres på evidensnivå 3 – Tiltak med noe dokumentasjon på effekt.

Referanser

Achenbach, T. M. & Rescorla, L. A. (2001). Manual for the ASEBA School-age forms & profiles. Burlington, VT: University of Vermont, Research Center for Children, Youth, & Families.

Andreassen, T. (2003). Behandling av ungdommer i institusjoner. Hva sier forskningen. Oslo: Kommuneforlaget.

Argyle, M. (1967). The psychology of interpersonal behavior. Harmondsworth: Penguin.

Bandura, A. (1973). Aggression: A social learning analysis. New York: Prentice Hall.

Bandura, A. (1977). Social learning theory. Englewood Cliffs, New York: Prentice Hall

Barriga, A. Q. & Gibbs, J. C. (1996). Measuring cognitive distortion in antisocial youth: Development and preliminary validation of the “how I think” questionnaire. Aggressive Behavior, 22, 333-343. doi:10.1002/(SICI)1098-2337(1996)22:5<333::AID-AB2>3.0.CO;2-K

Beck, A. T. (1976). Cognitive therapy and the emotional disorders. New York: Meridian, Penguin Books.

Beck, A. T. (1991). Cognitive therapy as integrative therapy. Journal of Psychotherapy Integration, 1, 191-198. doi:10.1037/h0101233

Beck, A. T. (1995). Cognitive therapy: Basics and beyond. New York: Guilford Press.

Brännström, L., Kaunitz, C., Andershed, A. K., South, S. & Smedslund, G. (2016). Aggression replacement training (ART) for reducing antisocial behavior in adolescents and adults: A systematic review. Aggression and Violent Behavior, 27, 30-41. doi:10.1016/j.avb.2016.02.006

Burns, G. L., Taylor, T. K. & Rusby, J. C. (2001). Child and Adolescent Disruptive Behavior Inventory 2.3. Parent version. Pullman: Washington State University, Department of Psychology.

Burns, G. L., Taylor, T. K. & Rusby, J. C. (2001). Child and Adolescent Disruptive Behavior Inventory 2.3. Teacher version. Pullman: Washington State University, Department of Psychology.

Carlson, K. D. & Schmidt, F. L. (1999). Impact of experimental design on effect size: Findings from the research literature on training. Journal of Applied Psychology, 84, 851-862. doi:10.1037/0021-9010.84.6.851

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2. utg.). Hillsdale, NJ, : Lawrence Erlbaum Associates Inc.

Domben, E., Sollid, G., Skogshagen, P. O. & Domben, E. (2005). ARTig i Larvik kommune. I L. Moynahan, B. Stromgren & K. Gundersen (Red.), Erstatt aggresjonen. Aggression replacement training og positive atferds- og støttetiltak, (s. 157-179). Oslo: Universitetsforlaget.

EFPA. (2013). EFPA review model for the description and evaluation of psychological and educational tests. Nedlastet fra: www.efpa.eu/download/650d0d4ecd407a51139ca44ee704fda4

Eisenberg, N. (2000). Empathy and sympathy. I M. Lewis & J. Haviland-Jones (Red.), Handbooks of Emotions (2. utg.), s. 677-691. New York: Guilford Press.[MM1] [MM2] 

Epstein, M. H., Mooney, P., Ryser, G. & Pierce, C. D. (2004). Validity and reliability of the behavioral and Emotional Rating Scale (2. utg.): Youth Rating Scale. Research on Social Work Practice, 14, 358-367. doi:doi:10.1177/1049731504265832

Feindler, E. L. (1995). Ideal treatment package for children and adolescents with anger disorders. Issues in Comprehensive Pediatric Nursing, 18, 233-260. doi:10.3109/01460869509087272

Feindler, E. L. & Baker, K. (2004). Anger management interventions with youth. I A. Goldstein, R. Nensèn, B. Daleflod & M. Kalt (Red.). New perspectives on aggression replacement training, (s. 31-51). New Chichester: John Wiley & Sons Ltd.

Fixsen, D., Naoom, S., Blase, K., Friedman, R. M. & Wallace, F. (2005). Implementation research: A synthesis of the literature. Tampa: University of South Florida, Louis de la Parte Florida Mental Health Institute, the National Implementation Research Network.

Fombonne, E. (2003). Epidemiological surveys of autism and other pervasive developmental disorders: An update. Journal of Autism and Developmental Disorders, 33, 365-382. doi:10.1023/a:1025054610557

Gaub, M. & Carlson, C. L. (1997). Gender differences in ADHD: A meta-analysis and critical review. Journal of the American Academy of Child and Adolescent Psychiatry, 36, 1036-1045. doi:http://dx.doi.org/10.1097/00004583-199708000-00011

Gelhorn, H. L., Stallings, M. C., Young, S. E., Corley, R. P., Rhee, S. H. & Hewitt, J. K. (2005). Genetic and environmental influences on conduct disorder: symptom, domain and full-scale analyses. Journal of Child Psychology and Psychiatry, 46, 580-591. doi:10.1111/j.1469-7610.2004.00373.x

Gibbs, J. C. (2004). Moral reasoning training: The values component. I A. Goldstein, R. Nensèn, B. Daleflod & M. Kalt (Red.), New perspectives on aggression replacment training, (s. 51-73). Chichester: Wiley.

Gibbs, J. C., Barriga, A. Q. & Potter, G. B. (2001). How I think (HIT) questionnaire. Champaign, IL: Research Press.

Gibbs, J. C., Potter, G. B. & Goldstein, A. (1995). The EQUIP program: Teaching youth to think and act responsibly Champaign, IL: Research Press.

Goldstein, A. & Glick, B. (1987). Aggression replacement training. A comprehensive interveniton for aggressive youth. Champaign, Ill.: Research Press.

Goldstein, A., Glick, B. & Gibbs, J. C. (1998). Agression replacement training. A comprehensive intervention for aggressive youth. (Revidert utg.). Champaign, Ill. : Research Press.

Gresham, M. & Elliot, S. N. (1991). Social Skills Rating System. Circle Pine, MN: American Guidance Service.

Guldbrandsson, K. (2007). Från nyhet til vardagsnytta – om implementeringens mødosamma konst – en forskningssammenstelning. Stockholm: Statens folkhälsoinstitut.

Gundersen, K., Olsen, T. M., Finne, J., Strømgren, B. & Daleflod, B. (2015). AART. En metode for trening i sosial kompetanse. Oslo: Universitetsforlaget.

Gundersen, K. & Svartdal, F. (2005). Evaluation of a Norwegian postgraduate training programme for the implementation of aggression replacement training. Psychology, Crime & Law, 11, 435-444.

Gundersen, K. & Svartdal, F. (2006). Aggression replacement training in Norway: outcome evaluation of 11 Norwegian student projects. Scandinavian Journal of Educational Research, 50, 63-81.

Gundersen, K. & Svartdal, F. (2010). Diffusion of treatment interventions: Exploration of ‘secondary’ treatment diffusion. Psychology, Crime and Law, 16, 233-249. doi:10.1080/10683160802612924

Hellerdal, S. (2005). Implementering av ART i en barnevernsinstitusjon. I L. Moynahan, B. Strømgren & K. Gundersen (Red.),  Erstatt aggresjonen. Aggression replacement training og positive atferds- og støttetiltak (s. 206-218). Oslo: Universitetsforlaget.

Keppel, G. & Wickens, T. D. (2004). Design and analysis: A researcher’s handbook (4. utg.). New Jersey: Prentice Hall.

Kjøbli, J. (2009). Beskrivelse og vurdering av ART. I M. Martinussen (Red.), Ungsinn, tiltak nr. 10. Nedlastet frå: https://www.ungsinn.no/post_tiltak/art-aggression-replacement-training/

Kohlberg, L. (1963). The development of children`s orientation toward a moral order. Human Development, 6, 11-33. doi:10.1159/000269667

Kornør, H. & Drugli, M. B. (2011). Måleegenskaper ved den norske versjonen av Teacher’s Report Form (TRF). PsykTestBarn, 1:7. Nedlastet fra: http://www.psyktestbarn.no/cms/ptb_mm.nsf/lupgraphics/TRF_nyOKK.pdf/$file/TRF_nyOKK.pdf

Kornør, H. & Jozefiak, T. (2012). Måleegenskaper ved den norske versjonen av Child Behavior Checklist (CBCL). PsykTestBarn, 1:3. Nedlastet fra: http://www.psyktestbarn.no/cms/ptb_mm.nsf/lupgraphics/CBCL_nyOK.pdf/$file/CBCL_nyOK.pdf

Langeveld, J. H., Gundersen, K. & Svartdal, F. (2012). Social competence as a mediating factor in reduction of behavioral problems. Scandinavian Journal of Educational Research, 56, 381-399. doi:10.1080/00313831.2011.594614

Martinussen, M., Reedtz, C., Eng, H., Neumer, S.-P., Patras, J. & Mørch, W. T. (2016). Kriterier for prosedyrer og vurdering og klassifisering av tiltak. Ungsinn – Tidsskrift for virksomme tiltak for barn og unge. Tromsø: RKBU Nord, Norges arktiske universitet. Nedlastet fra: http://www.ungsinn.no/wp-content/uploads/Ungsinn_kriterier_screen_2016-oppdatert-med-ISBN1.pdf

Morris, S. B. (2008). Estimating effect sizes from pretest-posttest-control group designs. Organizational Research Methods, 11, 364-386. doi:10.1177/1094428106291059

Moynahan, L. & Strømgren, B. (2005). Preliminary results of Aggression Replacement Training for Norwegian youth with aggressive behaviour and with a different diagnosis. Psychology, Crime and Law, 11, 411-419. doi:10.1080/10683160500256784

Ogden, T. (2003). The validity of teacher ratings of adolescents’ social skills. Scandinavian Journal of Educational Research, 47, 63-76. doi:10.1080/00313830308605

Olsen, T. M. & Boutera, M. (2005). Kongsberg-ART (K-ART). I L. Moynahan, B. Strømgren & K. Gundersen (Red.), Erstatt aggresjonen. Aggression replacement training og positive atferds- og støttetiltak, (s. 220-236). Oslo: Universitetsforlaget.

Rausch, J. R., Maxwell, S. E. & Kelley, K. (2003). Analytic methods for questions pertaining to a randomized pretest, posttest, follow-up design. Journal of Clinical Child & Adolescent Psychology, 32, 467-486. doi:10.1207/S15374424JCCP3203_15

Skogen, J. C. & Torvik, F. A. (2013). Atferdsforstyrrelser blant barn og unge i Norge: Beregnet forekomst og bruk av hjelpetiltak. Folkehelseinstituttet rapport 4. Nedlastet fra: https://www.fhi.no/globalassets/migrering/dokumenter/pdf/rapport-20134-pdf.pdf

Stamnes, J. H. & Moe, A. B. (2007). Aggression replacement training. Tidsskrift for norsk psykologforening, 44, 1019-1021.

Strømgren, B., Gundersen, K. & Moynahan, l. (2005). Hvorfor aggresjonserstatningstrening (ART)? I L. Moynahan, B. Strømgren & K. Gundersen (Red.), Erstatt aggresjonen. Aggression replacement training og positive atferds- og støttetiltak (s. 17-23). Oslo: Universitetsforlaget.

 

 

 

Mottatt 30.09.2016, godkjent 06.06.2017,
publisert 22.06.2017.
Redaktør: Monica Martinussen