Sammendrag

BAKGRUNN
Denne artikkelen er en kunnskapsoppsummering og klassifisering av tiltaket Cool Kids, et program med hovedmålsetting å hjelpe barn og unge i alderen 6–18 år i å håndtere angst og relaterte vansker. Programmet kan tilbys både individuelt og i gruppeformat, med ca. 10 møter. Cool Kids-programmet er teoretisk forankret i kognitiv adferdsterapi. Sentrale metoder i programmet omfatter psykoedukasjon, kognitiv restrukturering, eksponering og inkludering av foreldre. Opplæring, godkjenning av veiledere og godkjenning som Cool Kids-terapeut tilbys gratis av RKBU Vest. Programmet tilbys per i dag i Norge i kommunehelsetjenesten, skolehelsetjenesten og spesialisthelsetjenesten

METODE
Kunnskapsoppsummeringen bygger på et systematisk litteratursøk i databasene Embase, Medline og Psykinfo, NORART, Cochrane, Cristin, NORA, SCOPUS og SweMed. Det er også søkt i internasjonale kunnskapsdatabaser om evidens samt innhentet informasjon om tiltaket fra tiltakseier. Litteratursøk og annen innhentet informasjon ble gjennomgått for å identifisere nordiske effektstudier, internasjonale oppsummeringsstudier og eventuelt andre norske studier om tiltaket.

RESULTATER
Litteratursøket resulterte i 220 treff hvorav totalt 9 artikler ble inkludert, åtte nordiske effektstudier og en kunnskapsoppsummering. Cool Kids er detaljert beskrevet og er teoretisk forankret i kognitiv atferdsterapi, som har bred forskningsstøtte som behandling for angstlidelser. Studiene av Cool Kids holder god forskningsmetodisk kvalitet, med før, etter, og oppfølgingsmålinger, relevante og utprøvde måleinstrumenter og et multiinformant perspektiv i flertallet av studiene. Studiene ble gjennomført både i en klinisk gruppe og en gruppe som fikk indikert forebyggende (barn og ungdom som skårer over en terskelverdi på angst) tiltak. I flertallet av studiene var det en statistisk signifikant forskjell mellom intervensjonsgruppen (Cool Kids) og sammenligningsgruppen. Både i en klinisk og i en indikert forebyggende kontekst ble det påvist små til store effektstørrelser. Oppfølgingsstudier viser at effektnivået i stor grad opprettholdes over tid.

KONKLUSJON
Cool Kids er et evidensbasert tiltak som har et solid teoretisk fundament. Programmet er godt beskrevet. Resultater fra nordiske effektstudier tyder på at programmet kan bidra til reduksjon av angst og depresjonssymptom sammenlignet med vanlig behandling og effekten er vist å holde seg over tid for flere hoved utfallsmål. Cool Kids klassifiseres på evidensnivå 5 – Tiltak med sterk dokumentasjon på effekt.

Innledning

Bakgrunn

Frykt og engstelse, spesielt for det som er ukjent, er vanlig og normalt hos barn. Angstlidelser kjennetegnes av engstelse som er atypisk for alderen eller med unormalt høy intensitet for alderen. Vanlige symptomer er anspenthet, irritabilitet, konsentrasjonsvansker, søvnproblemer, kvalme og hodepine. Et sentralt trekk ved angstlidelser er utvikling av unngåelsesatferd, hvor man unngår situasjoner eller steder som man tror vil fremkalle angsten. Angstlidelser er en av de vanligste psykiske lidelsene i barne- og ungdomstiden, med forekomst mellom 10 og 32 % (Costello mfl., 2003; Merikangas mfl., 2010; Wichstrøm mfl., 2012). Den internasjonale forekomsten av angstlidelser blant barn og unge under 18 år i høy-inntektsland er estimert til å være 5,2 prosent (Barican mfl., 2022). Den norske befolkningsbaserte studien Barn i Bergen fant at 3,3 % av barn mellom 8–10 år hadde en angstlidelse (Heiervang mfl., 2007). De fleste angstlidelser hos barn og unge er forbigående, men assosieres med økt risiko for nye angstlidelser senere i livet (Folkehelseinstituttet, 2022).

Til tross for stort fokus på forebygging og behandling av angstlidelser har egenrapportering av psykiske helseplager hos norske ungdommer vist en relativt stor økning de siste 20–30 årene (Bakken, 2020, 2021). Andelen barn og unge diagnostisert med psykiske lidelser er imidlertid vesentlig lavere. Tall fra Folkehelseinstituttet (2022) viser at det har vært en jevn betydelig økning i angstlidelser mellom 2011 og 2020 i andelen jenter mellom 16 og 24 år. Hos jenter i aldersgruppen 16–19 år har andelen steget fra 1,4 prosent i 2011 til 2,9 prosent i 2020. Blant de i aldersgruppen 20–24 år har andelen steget fra 1,6 prosent i 2011 til 2,8 prosent i 2020. Økningen kan synes å ha flatet ut de senere årene. I aldersgruppen 12–15 år har det også vært en mindre økning i forekomst av angstlidelser. Hos gutter i alderen 16 og 24 år har det vært en beskjeden økning mellom perioden 2010–2020, men denne er betydelig mindre enn økningen man ser hos jenter. Andelen med angstlidelser hos de under 16 år har ligget stabilt de i perioden 2010–2020. For alle aldersgrupper under 14 år er forekomstene lave og det er sannsynlig med mørketall (Folkehelseinstituttet, 2022).

Årsaksforklaringer til utvikling av angstlidelser er sammensatt. Forskning peker på en rekke faktorer, for eksempel genetikk, spesielle livshendelser, traumer, mobbing og psykososiale forhold (Strawn mfl., 2021). Dette gjenspeiles også i floraen av behandlingstiltak. Tiltaksforskning omfatter ulike psykologiske behandlingsmetoder, medikamentell behandling og alternative behandlingsformer, og støtter kognitiv atferdsterapi (CBT) og selektivt serotonin reopptaks inhibitor (SSRI) som effektive behandlingsmetoder for barn og unge (Palitz & Kendall, 2020). Forebyggingsprogrammer kan muligens redusere angstsymptomer og gi en liten reduksjon i antall diagnostiserbare angstlidelser (Havinga mfl., 2021).

Til tross for at angstlidelser kan være vanskeligere for omgivelsene å oppdage enn for eksempel atferdsforstyrrelser og hyperaktivitet, kan de være alvorlig funksjonshemmende for de som rammes. Behandlingsintervensjoner er viktige både fordi at ubehandlet angst tenderer å vedvare inn i ungdomstiden. Angstlidelser i ungdommen er også assosiert med annen type problematikk, for eksempel lavere skoleprestasjoner, nedsatt psykososialt funksjonsnivå og økt forekomst av suicidale tanker (Palitz & Kendall, 2020). En nylig kunnskapsoppsummering konkluderte med at kognitiv atferdsterapi er signifikant mer effektiv enn ingen behandling og at effekten er tilvarende for gruppeterapi og individualterapi (Axelsdottir mfl., 2021; James mfl., 2020).

Cool Kids er et program rettet mot barn og unge med angst og relaterte vansker. Programmet er utviklet ved Macquarie University i Sydney, Australia og har vært prøvd ut i forskningsstudier både internasjonalt og i Norge med gode resultater (Palitz & Kendall, 2020; Rapee mfl., 2006; Haugland mfl., 2020). Seriens kjerneprogram er rettet mot barn og unge som opplever angstproblematikk. Tiltaket har vært i bruk i Norge siden 2014, først som del av et forskningsprosjekt (Haugland mfl., 2017) og deretter videreført som tilbud i kommunen, skolehelsetjenesten og spesialisthelsetjenesten.

Beskrivelse og materiell

Cool Kids-programmet er manualbasert og består av en terapeutmanual, samt arbeidsbøker til foreldre, barn og til ungdom. Programmet forutsetter at terapeutene er fagpersoner innenfor psykisk helse, at de har kunnskap om kognitiv atferdsterapi, at de har erfaring med behandling av barn og unge, samt at de har gjennomført opplæring og veiledning i Cool Kids. Det finnes ulike versjoner av Cool Kids som er tilpasset ulike typer vansker, populasjoner eller intervensjonsmåter. Cool Kids programmet slik det foreligger på norsk kan anvendes både som behandlingsprogram og som indikert forebyggende program. Programmet kan, uavhengig av om det benyttes i kommunehelsetjenesten eller spesialisthelsetjenesten, benyttes individuelt med en ungdom/barn eller hele familien eller i grupper med barn (7–12 år)/ungdom (13–18 år) eller flere familier sammen. Det er også utviklet en internettversjon («Chilled», 13–18 år) som oversatt til norsk. Den har tidligere vært prøvd ut i regi av klinikk psykisk helsevern for barn og unge, Helse-Bergen. Programmet finnes også som en selvhjelpsbok («Hjelp ditt engstelige barn») for foresatte for barn i aldersgruppen 7–12 år (Rapee, Wignall, Spence, Cobham & Lyneham, 2008). Selvhjelpsboken er tilgjengelig på norsk (Rapee, Wignall, Spence, Cobham & Lyneham, 2016). Det fins også en selektiv forebyggende versjon for førskolebarn som inkluderer 6 møter og kun omfatter foreldre (Cool Little Kids; Rapee mfl., 2010), men denne er ikke implementert i Norge.

Målsetninger og målgruppe

Hovedmålsettingen med Cool Kids er å hjelpe barn og unge med å håndtere angst og relaterte vansker. Programmets målgruppe er barn og ungdom i alderen 6–18 år, som har angst som primær diagnose, alternativt høyt nivå av angstsymptomer eller stor grad av påvirkning i dagliglivet, og deres foreldre. Ungdomsversjonen av Cool Kids (13–18 år) heter «Chilled». Eksklusjonskriterier er angitt som annen hovedvanske enn angst (for eksempel alvorlig depresjon eller opposisjonell adferd). I slike tilfeller bør barnet behandles for den primære problematikken før behandling med hjelp av Cool Kids. Derimot kan barn med komorbide vansker som er sekundære til angsten tilbys behandling (Cool Kids), eventuelt med noe tilleggsbehandling.

Gjennomføring av tiltaket og metoder som anvendes

Programmet kan tilbys både individuelt og i gruppeformat. Som regel gis programmet i form av 10 møter, med noe rom for fleksibilitet og individuell tilpasning ut fra behov. Ved bruk av den individuelle versjonen er møtene estimert til 50–60 minutters varighet, mens estimert varighet ved gruppeversjonen er ca. 2 timer. Ved både individuell- og gruppegjennomføring brukes det en kombinasjon av tid til familien/e samlet, med barnet/a alene og med foreldrene alene. Barna får øvingsoppgaver de skal øve på sammen med foreldre mellom timene, og foreldre involveres aktivt i arbeidet sammen med barnet mellom timene. For å lære barna ferdighetene i programmet benyttes ulike teknikker, som for eksempel verbale instruksjoner, øvelser, rollespill og modellering. Ved bruk av gruppeformatet bør deltakerne være på omtrent samme utviklingsnivå og med en god kjønnsbalanse. Ideell gruppestørrelse er angitt til ca. 5–7 barn. De 10 møtene har følgende mål;

  1. Psykoedukasjon, å lære om angst og årsaker til angst. Bli kjent, introdusere programmet og diskutere målsettinger, samt å introdusere bekymringsskalaen, sammenheng mellom tanker og følelser og bruk av belønning.
  2. Realistisk tenkning, å introdusere kognitiv restrukturering, samt refleksjon over opprettholdelse av angst.
  3. Introduksjon av eksponering og ulike foreldrestrategier.
  4. Eksponering, å lage barnets første trappestige, samt å diskutere flere foreldrestrategier.
  5. Eksponering og følelsesbevissthet. Utvide trappestigen til å gjelde også eksponering for konsekvenser og responsprevensjon.
  6. Å lære en forenklet tilnærming til realistiske tanker, samt å planlegge og utføre eksponeringsøvelser i timen.
  7. Å gjennomgå trappestigene, samt planlegge implementering. Gjøre eksponeringsøvelser i timen og introdusere tilleggsferdigheter.
  8. Vedvarende fremgang, å gå igjennom utfordringer som står i veien for fremgang, samt forsterking av lærte ferdigheter.
  9. Å få oversikt over fremgang så langt, samt å planlegge endelig måloppnåelse.
  10. Diskutere fremtidige planer, håndtering av tilbakefall, samt feiring av det barnet oppnådd.
Det teoretiske grunnlaget for metoden

Cool Kids-programmet er teoretisk forankret i kognitiv adferdsterapi, som har bred forskningsstøtte som behandling for angstlidelser. De sentrale kjernekomponentene i programmet omfatter:

  • Psykoedukasjon, hvor det fokuseres på hva som kjennetegner og skaper angst, og hvordan angst kan behandles. Som en del av modellen brytes angst ned i tre komponenter, kroppslige/fysiske reaksjoner, tanker/kognisjon, samt handlinger/atferd. Det fokuseres på håndtering av angst heller enn eliminering av angst.
  • Kognitiv restrukturering, hvor rasjonale er å erstatte lite hjelpsomme tanker, forventninger og oppfatninger med mer hjelpsom informasjon. Dette skjer gjennom å evaluere umiddelbare tanker, forventninger og antagelser og dermed svekke forbindelsene til kognisjonene.
  • Eksponering, der barnet gradvis utsettes for de situasjoner eller objekter som den er redd for.
  • Foreldres egen engstelse, med fokus på hvordan foreldrenes egen engstelse og atferd knyttet til dette kan bidra til å opprettholde barnets angst.
Implementeringsstrategier, kvalitetssikring og kostander

Regionalt kunnskapssenter for barn og unge (RKBU Vest), NORCE, har avtale med eierne av Cool Kids (Centre for Emotional Health, Macquarie University, Sydney, Australia) om opplæring i programmet og om salg av manualer.

Det er laget en implementeringsplan (Haugland, Bjåstad, Høye og Wergeland, 2018) med hensikt å sikre god opplæring og veiledning, god implementeringskvalitet i arbeidet, samt systematisk evaluering av arbeidet, inkludert skåring av videoopptak. Opplæring, godkjenning av veiledere og godkjenning av Cool Kids-terapeuter tilbys av RKBU Vest. Cool Kids-materialet kan kun kjøpes av fagpersoner som har gjennomført opplæringen.

Opplæringer ved RKBU Vest er gratis. Materialkostnader (terapeutmanual) samt de arbeidsbøkene man trenger til barna/ungdommene og foresatte som skal gjennomføre programmet må imidlertid dekkes av tjenestene. I tillegg kommer utgifter til obligatorisk veiledning for de som ikke har godkjent Cool Kids veileder internt på arbeidsplassen/kommunen.

Problemstilling for artikkelen

Formålet med denne artikkelen er å vurdere om Cool Kids kan være virksomt benyttet i vanlig praksis i Norge.

Metode

Litteratursøk etter studier om tiltaket ble gjennomført i databasene Embase, Medline og Psykinfo, NORART, Cochrane, Cristin, NORA, SCOPUS, SweMed, Cambell, NREPP, NICE, Blueprint og CEBC. Søkedato: 24.02.2020. I tillegg ble tiltakseier i Norge kontaktet og bedt om å sende inn dokumentasjon som ikke ble fanget opp av søket, som for eksempel manualer, veiledere, upublisert forskningsdokumentasjon, implementeringsstrategier og kvalitetssikringsrutiner.

To forskere gjennomgikk forskingsdokumentasjonen uavhengig av hverandre og identifiserte den aktuelle litteraturen for nordiske effektstudier, internasjonale kunnskapsoppsummeringer, samt andre norske evalueringer i henhold til kriteriene for klassifisering av tiltak i Ungsinn (Martinussen mfl., 2019).

Resultater

Resultater fra litteratursøk

Litteratursøket resulterte i 220 treff hvorav totalt 9 artikler ble inkludert i denne kunnskapsoppsummeringen (Figur 1). Av de 9 inkluderte artiklene var det 8 nordiske effektstudier og 1 kunnskapsoppsummeringer (Tabell 2). Etter gjennomgang av totalt 25 fulltekst-artikler, ble totalt 16 artikler ekskludert på grunn av at de ikke omhandlet effekten av Cool Kids (k = 14) og to på grunn av duplikat datasett (Husabo mfl., 2020; Stjerneklar, Hougaard, & Thastum, 2019).

Figur 1
Flytdiagram for gjennomgang av litteratur

Gjennomgang av beskrivelser

Cool Kids er gjennomgående godt beskrevet i form av en manual, en implementeringsprotokoll, samt informasjon på nettsidene til RKBU Vest. En vurdering av beskrivelsen kan ses i tabell 1. Manualen beskriver grundig gjennomføring, mål og innhold for alle samlingene, inkludert mulige tilpasninger av form og målgruppe. Det vektlegges eksplisitt i manualene at programmet må benyttes fleksibelt og tilpasses det enkelte barn (alder, problemomfang og type) og familie. I implementeringsprotokollen beskrives ytterligere detaljer rettet mot tjenester som ønsker å ta tiltaket i bruk. Dette inkluderer blant annet forutsetninger for implementering (ledelsesforankring og kontraktinngåelse, valg av målgruppe, opptak til Cool Kids utdanning og godkjenning av veiledere). I implementeringsprotokollen er også opplæringsprogrammet beskrevet, inklusive opplæring av Cool Kids ledere/terapeuter, innføringskurset, vedlikeholdsaktiviteter, erfaringssamling og Cool Kids-nettverk. Det er også beskrevet retningslinjer for evaluering av Cool Kids; endring hos barna/ungdommene og kvalitet på terapiene, veiledningen og implementeringen. For Cool Kids foreligger det skandinavisk forskning som omfatter kvalitative studier på tiltaket (Husabo mfl., 2020b, Lundkvist-Houndoumadi mfl., 2015), og studier på implementering av tiltaket (Husabo mfl., 2020a; Husabo mfl., 2021; Husabo mfl., 2020b).

Tabell 1
Vurdering av tiltakets beskrivelse

Dimensjoner i beskrivelsen Ikke beskrevet Noe beskrevet Godt beskrevet
Problembeskrivelse X
Målgruppe X
Hovedmål X
Sekundærmål X
Utforming av tiltaket X
Metoder som benyttes X
Kjerneelementer/fleksibilitet X
Utøvere av tiltaket X
Manual/veileder for mottakere av tiltaket X
Materiell for mottakere av tiltaket X
Undersøkelser som styrker beskrivelsen X
Nordiske effektstudier

Vi identifiserte 8 nordiske effektstudier, som vist i tabell 2. Kun en av de inkluderte studiene var norsk (Haugland mfl., 2020). De øvrige studiene var fra Danmark.

Kliniske utvalg

Det er gjennomført fire RCT studier (Arendt mfl., 2016; Djurhuus & Bikic, 2019; Kilburn mfl., 2020; Sjerneklar mfl., 2019) og to referansestudier (benchmark studies) (Johnsen, Arendt, & Thastum, 2019; Jónsson mfl., 2015) i kliniske utvalg (Tabell 2). I RCT studiene ble barn/unge randomisert til en behandlingsgruppe (Cool Kids) eller venteliste-gruppe (Arendt mfl., 2016; Djurhuus og Bikic, 2019; Kilburn mfl., 2020; Sjerneklar mfl., 2019). Stjerneklar mfl. (2019) sin studie er basert på en internett-basert versjon av Cool Kids. Kilburn mfl., 2020 benyttet en versjon av Cool Kids som var tilpasset barn med autismespekterdiagnoser. De to referansestudiene sammenlignet gjennomsnittsresultater av henholdsvis Cool Kids levert av student-terapeuter (Johnsen, Arendt, & Thastum (2019) og Cool Kids gjennomført i community-based centres (det vil si skolerådgivningssentre og barne- og ungdomspsykiatriske sentre) (Jónsson mfl., 2015). Begge referansestudene benyttet resultatene fra Arendt mfl. (2016) sin RCT studie som sammenligning.

Indikert forebygging

To studier har undersøkt Cool Kids i en indikert forebyggende kontekst (Tabell 2). Den norske versjonen av Cool Kids programmet ble evaluert i en randomisert kontrollert studie (Haugland mfl., 2020) og gjennomført i skolehelsetjenesten. Ungdommene ble fordelt tilfeldig på tre grupper. Ungdom med forhøyet nivå av angstsymptomer ble rekruttert til 10 ukers kognitiv atferdsterapi (KAT) gruppe intervensjoner (kort-versjon eller standard KAT) eller til en venteliste gruppe (kontroll-gruppen). Målinger ble gjennomført før og etter intervensjon, etter venteliste og ved oppfølging etter ett år. Breinholst mfl. (2021) benyttet et dansk indikert forebyggingsutvalg rekruttert via skoler. Målet var å undersøke effekten av en foreldrestyrt selvhjelpsgruppe ledet av terapeuter basert på »Cool Kids»-programmet. Evaluering ble gjort midt i behandling, etter behandling og seks måneders oppfølging. Ingen kontrollgruppe var inkludert i studien.

Tabell 2
Oversikt over inkluderte nordiske effektstudier

Studie/artikkel Forskningsdesign Deltakere Utvalget Måletidspunkter
Kliniske utvalg
Arendt mfl., 2016 RCT 109 barn/unge Danmark,
Klinisk utvalg – barn/unge med angst diagnose (7–16 år) og deres foreldre. Venteliste som kontrollgruppe.
Ved oppstart (T1), 3 måneder etter oppstart (T2) og 12 måneder etter endt behandling (T3)
Djurhuus & Bikic, 2019 Naturalistisk effektivitetsstudie 40 barn/unge Danmark,
Klinisk utvalg – barn/unge (7–13 år) og deres foreldre. Venteliste som kontroll-gruppe.
Før behandling, etter behandling og etter 3 måneder oppfølging
Kilburn mfl., 2020 RCT 49 barn/unge Danmark,
Klinisk utvalg – barn/unge diagnostisert med ASD (8–14 år). Venteliste som kontrollgruppe.
Før og etter behandling og oppfølging etter 3 måneder.
Johnsen mfl., 2019 Referansestudie (Benchmark-studie) 54 ungdommer Danmark,
Klinisk utvalg – barn/unge (7-12 år) og deres foreldre som søker hjelp for ungdommenes angst. Kontrollgruppe fra (Arendt mfl., 2016)
Før og etter behandling, og 3 måneder oppfølging
Jónsson mfl., 2015 Referansestudie (Benchmark-studie) 88 ungdommer Danmark,
Klinisk utvalg – barn/unge (7-16 år) rekruttert fra syv ulike community centers, hvorav tre var barne- og ungdomspsykiatriske sentre (CAPC) (n = 32) og fire var skolerådgivningssentre (SCC) (n = 56). Kontrollgruppe fra (Arendt mfl., 2016)
Før og etter be-handling, og 3 måneder oppfølging
Stjerneklar, Hougaard, McLellan mfl., 2019 RCT
Internett-basert versjon av Cool Kids
70 ungdommer Danmark,
Klinisk utvalg – ungdom (13–17 år), primær angst diagnose (og foreldre). Venteliste som kontrollgruppe.
Før og etter behandling og 3 og 12 måneder oppfølging
Indikert forebyggende (normal-populasjon) utvalg
Breinholst mfl., 2021 Effektivitetsstudie 117 familier med barn/unge Danmark,
Generell populasjon – rekruttert via skoler. 117 familier med barn/unge i alderen (6–12 år). Ingen kontroll gruppe
Før behandling, halvveis i behandlingen, etter behandling og 6 måneder oppfølging.
Haugland mfl., 2020 RCT 313 ungdommer Norge,
Indikert forebyggende (normal- populasjon) utvalg – barn/unge (12-16 år). To aktive KAT betingelser og en venteliste kontroll betingelse
Før og etter behandling, og 1 år oppfølging

Note. RCT = Randomized controlled study; randomisert kontrollgruppe design, ASD = Autismespekterdiagnoser

Forskningsmetodisk kvalitet

Av totalt åtte inkluderte nordiske effektstudier, hadde fire en randomisert kontrollgruppe design (RCT) (Tabell 3). RCT-studier kjennetegnes ved at metoden for valg av subjekter til gruppene som skal sammenlignes sikrer at gruppene er sammenlignbare på viktige variabler. Jónsson mfl. (2015) og Johnsen mfl. (2019) gjennomførte såkalte referansestudier (benchmark study), der de sammenlignet gjennomsnittsresultater fra det utvalgte tiltaket med resultatene fra en RCT studie (Arendt mfl., 2016). Breinholst mfl. (2021) gjennomførte en effektivitetsstudie (også kjent som pragmatisk studie), hvor intervensjonen blir undersøkt under omstendigheter lik praksis i ordinær klinisk virksomhet. Djurhuus & Bikic (2019) gjennomførte en naturalistisk effektivitetsstudie, der intervensjonen (Cool Kids) ble undersøkt i to barne- og ungdomspsykiatriske poliklinikker. Samlet sett vurderes de inkluderte nordiske effektstudiene å være av tilfredsstillende til god forskningsmetodisk kvalitet.

Tabell 3
Forskningsmetodisk kvalitet

Studie 1. Statistiske analyser 2. Måling 3. Indre validitet 4. Tro mot tiltaket 5. Ytre validitet Gj. snitt
Kliniske utvalg
Arendt mfl., 2016 3,0 3,5 3,0 2,0 3,0 2,9
Djurhuus & Bikic, 2019 2,0 2,0 2,0 2,0 3,5 2,3
Johnsen mfl., 2019 2,0 3,0 2,5 2,0 3,0 2,5
Jónsson mfl., 2015 3,0 4,0 2,5 2,0 3,0 2,9
Kilburn mfl., 2020 3,5 2,0 3,0 3,5 4,0 3,2
Stjerneklar mfl., 2019 4,0 2,5 3,0 3,5 3,0 3,2
Indikert forebyggende utvalg
Breinholst mfl.,2021 3,5 3,0 2,0 2,5 2,5 2,7
Haugland mfl., 2020 4,0 3,0 3,0 3,0 3,0 3,2

Note. Ikke rapportert eller undersøkt = 0; Dårlig/utilfredsstillende = 1; Tilfredsstillende = 2; Godt = 3; Svært godt = 4.

1. Statistiske analyser

De inkluderte studiene bruker godt dokumenterte parametriske analyser. Kji-kvadrat/t-test benyttes for sammenligning av grupper ved baseline/før behandling og ulike former av lineære blandet effekt modeller (mixed effect models) benyttes for å undersøke intervensjonseffekter. Disse metodene er godt egnet til å påvise intervensjonseffekter for gjeldende design og utvalgsstørrelser. Styrkeberegninger (power) ble rapportert i kun to av de inkluderte studiene (Haugland mfl., 2020; Stjerneklar mfl., 2019). Utvalgsstørrelsen varierer mellom studiene, fra n = 40 (Djurhuus & Bikic, 2019) til n = 313 (Haugland mfl., 2020). Det betyr at den statistiske styrken for å kunne oppdage en intervensjonseffekt varierer. En post hoc power analyse gjennomført i Johnsen mfl. (2019) sin studie indikerte at studien manglet tilstrekkelig power for å identifisere statistisk signifikante effekter. I tre artikler (Arendt mfl., 2016; Jónsson mfl., 2015; Kilburn mfl., 2020) er det ikke tatt hensyn til at individene er klustret i grupper (psykoterapi/venteliste). Cohen’s d ble benyttet i samtlige studier som mål på effektstørrelse, bortsett fra en studie (Johnsen mfl., 2019) som benyttet Hedges’ g som effektstørrelse (tolkes på samme måte som Cohen’s d). I de fleste av de inkluderte effektstudiene var det liten grad av frafall, og frafallsanalyser viste få systematiske forskjeller mellom de som var inkludert i studien og de som falt fra. Bortsett fra en studie (Djurhuus & Bikic, 2019) følger de inkluderte studiene «intention-to-treat» (ITT) prinsippet. Det vil si at analyser blir utført på alle som ble randomisert til intervensjon, ikke bare på de som fullfører intervensjonen. Når det gjelder behandling av manglende data så har Arendt mfl. (2016) og Jónsson mfl. (2015) benyttet last observation carried forward og listwise deletion. Disse regnes som enkle metoder for å fylle ut manglende verdier, og de har vesentlige svakheter (Lydersen, 2019). Haugland mfl., (2020), Johnsen mfl. (2019) og Kilburn mfl. (2020) har benyttet flernivå longitudinelle analyser som i utgangspunktet er mer fordelaktig bl.a. i måten en behandler manglende data (Full-Information Maximum). I tillegg var en svakhet ved Djurhuus og Bikic (2019) sin studie at de ikke hadde mulighet til å kontrollere for relevante konfundere. I Haugland mfl. (2020) sin studie var analysene kontrollert for skole-nivå og gruppe-nivå.

2. Målinger og måleinstrumenter

Relevant reliabilitet for de ulike måleinstrumentene basert på det aktuelle utvalget er rapportert i de fleste studiene (i form av Cronbach’s alpha) med unntak av Djurhuus & Bikic (2019) og Kilburn mfl. (2020). Reliabiliteten på sentrale utfallsvariabler er tilstrekkelig (>0,70) i de inkluderte studiene. De fleste kartleggingsinstrumentene som har vært brukt for å evaluere effektiviteten av Cool Kids er forskningsbaserte og veletablerte i klinisk praksis. Det forelå oversettelse, standardisering og normer for de primære utfallsmålene forut for studiene, bortsett fra The Child Anxiety Life Inference Scale (CALIS) som ikke er standardisert. Selvrapport fra både barn/unge og deres foresatte er benyttet i samtlige inkluderte studier.

Primære utfallsmål benyttet i de inkluderte studiene:

  • The Anxiety Disorder Interview Schedule for DSM-IV, Parent and child versions (ADIS-C/P) (Silverman & Albano, 1996) et semi-strukturert diagnostisk intervju, ble benyttet som primært utfallsmål i fem av studiene (Arendt mfl., 2016; Johnsen mfl., 2019; Jónsson mfl., 2015; Kilburn mfl., 2020; Stjerneklar, Hougaard, McLellan, mfl., 2019). Spørsmålene i de semi-strukturerte intervjuene vurderer tilstedeværelse av diagnostiske kriterier (ja/nei), og grad av funksjonssvikt som vurderes fra 0 til 8. Instrumentet kan brukes i klinikk og i forskningssammenheng. En norsk oppsummering av de psykometriske egenskapene til ADIS barneversjon i skandinaviske utvalg konkluderer med at til tross for at det i internasjonal sammenheng er et anerkjent instrument og det refereres til adekvate psykometriske resultater, er det nødvendig med flere studier knyttet til den skandinaviske populasjonen (Rasmussen & Neumer, 2015).
  • The Spence Children’s Anxiety Scale (SCAS) (Spence, 1998) var primært utfallsmål i Haugland mfl. (2020) og Stjerneklar mfl. (2019). Arendt mfl. (2016) benyttet SCAS som ett av to primære utfallsmål ved oppfølging 12 måneder etter endt behandling. SCAS er utviklet for å vurdere omfanget av angstsymptomer hos barn med grunnlag i DSM IV-klassifikasjonen. Normer fra tidligere undersøkelser er tilgjengelig fra hjemmesiden. Imidlertid er det ikke gjennomført normering basert på norske barn og foreldre. Skjemaet gir ingen diagnose, men gir indikasjon på type og grad av angst. SCAS dekker de angstformer man finner hos barn: OCD, SOP, panikkangst og agorafobi (panikk), GAD, SAD, og frykt for fysisk skade (fysisk) (Flaten & Heiervang, 2012).
  • The Child Anxiety Life Inference Scale (CALIS) (Lyneham mfl., 2013) var det eneste utfallsmålet i Djurhuus & Bikic (2019) sin studie og i Haugland mfl. (2020) var CALIS ett av to primære utfallsmål). Arendt mfl. (2016) benyttet CALIS som ett av to primære utfallsmål ved oppfølging 12 måneder etter endt behandling. Spørreskjemaet CALIS er et selvrapporteringsinstrument for barn og unge, med foreldreskjema. Det angir i hvor stor grad vansker med angst og bekymring påvirker barnets og familiens dagligliv.
  • Revised Child Anxiety and Depression Scale c/p (RCADS-c/p) (Chorpita mfl., 2005) ble benyttet som primært (og eneste) utfallsmål i Breinholst mfl. (2021). RCADS er et selvrapporteringsskjema (barn og foreldre-rapport) som måler angst- og depresjonssymsymptomer.

Sekundære utfallsmål var inkludert i de fleste av de inkluderte studiene, med unntak av to studier (Breinholst mfl., 2021; Djurhuus & Bikic, 2019). Følgende måleinstrument var inkludert som sekundærmål;

  • SCAS var ett av flere sekunære utfallsmål i Johnsen mfl., (2019) og Kilburn mfl. (2020).
  • CALIS var ett av flere sekunære utfallsmål i Arendt mfl. (2016); Johnsen mfl. (2019); Kilburn mfl. (2020); og Stjerneklar mfl. (2019).
  • Children’s Automatic Thoughts Scale (CATS) (Schniering & Rapee, 2002). CATS er et selvrapporteringsskjema som måler negative tanker knyttet til psykiske problemer blant barn og unge. Det ble brukt som ett av flere sekundære utfallsmål i (Kilburn mfl., 2020).
  • The Experience of Service Questionnaire (ESQ) (Brown mfl., 2014). ESQ er et spørreskjema som måler tilfredshet med tjenesten rettet mot barn og unges psykiske helse. Både barn (9–18 år) og foreldre kan fylle ut spørreskjemaet. ESQ ble benyttet som ett av flere utfallsmål i Johnsen mfl. (2019); Kilburn mfl., (2020) og Stjerneklar mfl. (2019).
  • The Self-Efficacy Questionnaire for Children (SEQ-C); (Muris, 2001). SEQ-C er et selvrapporteringsskjema for barn som måler faglig, sosial og emosjonell mestringsevne. SEQ-C ble brukt som ett av flere sekundærmål i Stjerneklar, Hougaard, McLellan, mfl., 2019.
  • Moods and Feelings Questionnaire (S-MFQ) (Angold & Stephen, 1995)). Spørreskjemaet MFQ er et screening instrument for depresjon og måler depressive symptomer de siste to ukene. Det har en foreldreversjon og en selvrapporterings versjon. MFQ ble brukt som ett av flere sekundærmål i Haugland mfl. (2020); og Stjerneklar mfl. (2019).
  • The Clinical Global Impression scale-Severity (CGI-S) (Guy, 1976). CGI-S er en vurdering som gjøres av kliniker – som skal vurdere alvorligheten av de psykiske plagene basert på observasjon, rapportering, atferd og fungering de siste syv dager. CGI-S ble brukt som ett av flere sekundærmål i Haugland mfl., (2020).
  • The WHO-5 Well-being index Questionnaire (WHO-5) (Topp mfl., 2015). WHO-5 er et generisk skjema om trivsel og helse (positiv livskvalitet) som passer for alle voksne. WHO-5 ble brukt som ett av flere primærutfall i Stjerneklar mfl. (2019).

I tillegg ble det i to studier utviklet spørsmål/skalaer; erfaring med datamaskiner/teknologi, program aktivitet og støtte (Stjerneklar mfl., 2019) samt brukertilfredshet (Haugland mfl., 2020).

3. Indre validitet

I utgangspunktet er det sterkeste designet et ekte eksperiment eller RCT når problemstillingen er å avdekke om tiltaket Cool Kids har en effekt (Martinussen mfl., 2019). Flertallet av de inkluderte studiene har nettopp et slikt design. Imidlertid manglet to av studiene kontrollgruppe (Breinholst mfl., 2021; Djurhuus & Bikic, 2019). To studier (Jónsson mfl., 2015; Johnsen mfl., 2019) benyttet kontrollgruppe fra en annen RCT studie (Arendt mfl., 2016). Når det gjelder faktorer som kan true den indre validiteten, som stort frafall eller svært ulikt frafall i de to gruppene, så er dette ikke utpreget i noen av studiene. En annen feilkilde er såkalt smitteeffekt/diffusjon mellom eksperiment- og kontrollbetingelsen for eksempel ved at deltakere i kontrollbetingelsen prøver å få tilgang på det samme tiltaket som intervensjonsgruppen har fått. Det vurderes at dette i liten grad er en trussel mot den indre reliabiliteten i de inkluderte studiene. Stjerneklar mfl. (2019) påpeker at blindingen for behandlingsgruppe ikke ble fullstendig overholdt, spesielt etter endt behandling og ved oppfølging. Haugland mfl. (2020) påpeker også at det kan ha vært en risiko for smitte mellom betingelsene. Dette ble undersøkt gjennom observasjon og skåring av videoer fra gruppemøtene hvor en fant at materialet (Cool Kids arbeidsbøker og Psykologisk Førstehjelpsskrin) fra programmene ikke ble benyttet om hverandre i de to betingelsene.

4. Troskap mot tiltaket

De fleste studiene vurderes å være av tilfredsstillende til god kvalitet med hensyn til troskap mot tiltaket. Tiltaket leveres i tråd med intensjonene og på relativt lik måte til alle deltakerne ved at manualer og opplæring til de som skal gjennomføre tiltaket i stor grad blir fulgt. Imidlertid oppgir Djurhuus og Bikic (2019) og Jónsson mfl. (2015) svært lite informasjon om troskap mot tiltaket. Djurhuus og Bikic (2019) skriver at terapeutene fikk en viss form for formalisert opplæring, uten å spesifisere dette ytterligere. Johnsen mfl. (2019), Jónsson mfl. (2015) og Arendt mfl. (2016) oppgir at troskap mot tiltaket ikke ble målt. Kilburn mfl. (2020) målte troskap mot tiltaket, de gjennomførte ukentlige møter og alle terapimøtene ble videofilmet, hvor prosjektleder så igjennom 20 % av opptakene. Det står imidlertid ingenting om hvordan det systematisk jobbes med monitorering av terapeuters trofasthet (sjekkliste, resertifisering osv.). Stjerneklar mfl. (2019) oppgir at terapeutene er «graduate students», og at de hadde mottatt opplæring i kognitiv atferdsterapi og en grundig introduksjon til programmet. Imidlertid er det oppgitt lite informasjon om kvalitetssikringsprosedyrer. Haugland mfl. (2020) gjennomførte opplæring, veiledning med videogjennomgang etter sjekkliste, vedlikeholdssamlinger og reskåring av 20 % av videoene.

5. Ytre validitet

I hvilken grad resultatene fra studiene på Cool Kids kan generaliseres til vanlig praksis, avhenger hvor representative deltagerne er for familier til barn/unge med angstproblematikk. Effektivitetsstudiene og referansestudiene på Cool Kids er gjennomført under betingelser som er sammenlignbart med slik tiltaket er tenkt levert i vanlig klinisk praksis. Dermed skårer de fleste av de inkluderte studiene godt på dette kriteriet. Imidlertid er det relativt små utvalg og oppfølging kun etter 3 måneder i tre studier (Kilburn mfl., 2020; Johnsen mfl., 2019; Jónsson mfl., 2015), noe som medfører at resultatene må tolkes med varsomhet. Efficacy studier er ofte den første test på om tiltaket er årsak til resultatene. Da kan den eksterne validiteten være noe lavere (generaliserbarhet). Arendt mfl. (2016) gjennomførte en såkalt «efficacy studie», det vil si at intervensjonen er gjennomført under spesielt tilrettelagte betingelser – at de ble gjennomført i universitetskontekst med spesielt trenede terapeuter og med klientutvalg med «rene diagnoser». På bakgrunn av dette fikk studien verdi 3 på kvalitet når det gjelder ytre validitet. Djurhuus og Bikic (2019) manglet informasjon om diagnoser og alder på deltakerne i studien, noe som svekker generaliserbarheten. Arendt mfl. (2016) påpeker at bruk av tre psykologistudenter i hver behandlingsgruppe kan svekke generaliserbarheten på grunn av at det kan ha ført til at familiene fikk mer hjelp enn i studier hvor det er kun en eller to terapeuter. Både Breinholst mfl. (2020) og Stjerneklar mfl. (2019) påpekte ingen formelle henvisningskrav og overrepresentasjon av familier med høy sosioøkonomisk status som en mulig svakhet ved studiene. I tillegg er en svakhet ved Breinholst mfl. (2020) sin studie at de manglet diagnostiske vurderinger av deltakerne.

Effekter

En oversikt over effektstørrelser på ulike måletidspunkt er presentert i tabell 4. Effektstørrelser som presenteres i det følgende er hovedsakelig basert på primærutfall i de inkluderte studiene. Effektstørrelser er vurdert som små når d = 0,20–0,49, medium når d = 0,50–0,79, og stor når d ≥ 0,80 (Cohen, 1988).

Kliniske utvalg

Forskjell i andel av frafall av diagnose, målt før og etter intervensjon (pre til post effekter), ble rapportert i tre studier (Arendt mfl., 2016; Kilburn mfl., 220 og Stjerneklar mfl., 2019). En statistisk signifikant større andel av barn og unge som mottok Cool Kids intervensjonen ble kvitt sin diagnose, sammenlignet med venteliste kontroll. Effektstørrelsene (mellomgruppe) i de inkluderte kliniske studiene ble rapportert til å være mellom små til store (se Tabell 4). Arendt mfl. (2016) studie indikerte at 48,2 % av gruppen som mottok Cool Kids ikke lengre fylte kriteriene for en angst-diagnose etter endt behandling, sammenlignet med 5,7 % av de som var i venteliste-gruppen. Det var store effektstørrelser på selvrapporterte mål på angst symptomer rapportert av barn, mor og far. Angst symptomene ble ytterligere redusert fra etter endt behandling til tre måneders oppfølging, og ble vedlikeholdt ved 12 måneders oppfølging (små til store mellomgruppe effektstørrelser). Deltakere som hadde sosial fobi som primær diagnose viste mindre forbedring sammenlignet med deltakere som hadde andre angst-diagnoser (Arendt mfl., 2016).

En statistisk signifikant større andel barn og unge som gjennomførte Cool Kids i en universitetsklinikk ble fri for diagnose, sammenlignet med andelen barn og unge som fikk Cool Kids i en mer naturalistisk setting (behandling via skolerådgivningssentre eller barne- og ungdomspsykiatriske sentre) (Jónsson mfl., 2015). Behandlingseffektene på selvrapportert (ungdom) angst-symptomer var statistisk signifikant større i universitetsutvalget, men behandlingseffektene i kliniske mål på angst var like i de to utvalgene. Cool Kids gjennomført av terapeuter bidro også til en større andel av barn og unge ble fri for diagnose, sammenlignet med når Cool Kids ble gjennomført av student-terapeuter (Johnsen mfl., 2019). Sistnevnte forskjell var imidlertid ikke statistisk signifikant ved oppfølging etter tre måneder.

Gjennomsnittseffekter på symptomnivå før og etter intervensjon ble rapportert i flere studier (Tabell 4). Barn/unge, mødre og fedre som deltok i intervensjonsgruppen (Cool Kids) rapporterte en statistisk signifikant større reduksjon av angst symptom sammenlignet med kontrollkroppen (venteliste), hvor de fleste effektstørrelsene spenner fra medium til stor (Tabell 4) (Djurhuus & Bikic, 2019; Johnsen mfl., 2019; Stjerneklar mfl., 2019).

Indikert forebygging (utvalg fra normal-populasjon)

Gjennomsnittseffekter på symptomnivå før og etter intervensjon ble rapportert i begge studiene som ble gjennomført i et indikert forebygging-utvalg (Haugland mfl., 2020; Breinholst mfl., 2021). Resultatene indikerte en statistisk signifikant reduksjon av både angst og depresjonssymptom. Effektstørrelsene (mellomgruppe) var små til medium (post test). Resultatene viste også at behandlingseffekten vedvarte (Tabell 4), med små til store effektstørrelser (mellomgruppe).

Samlet sett, når man ser på gjennomsnittseffekter etter endt behandling/intervensjon (follow-up) i de inkluderte studiene, viser resultatene at behandlingseffekten av ulike Cool Kids varianter stort sett opprettholdes (Tabell 4), med små til store effektstørrelser.

Tabell 4
Effektstørrelser for utfallsvariabler; primære utfallsmål og sammenlignbare utfallsmål

Studie Utfallsmål Respondent Effektstørrelse d (post-test) Effektstørrelse d (3 måneders oppfølging)c Effektstørrelse d (6 måneders oppfølging)c Effektstørrelse d (12 måneders oppfølging)c
Kliniske utvalg Wa Bb Wa Bb Wa Bb Wa Bb
Arendt mfl., 2016 ADIS primær diagnose Kliniker 1,98* 2,83
SCAS Barn 1,08* 0,66 0,46* 0,38*
Mor 1,17* 0,94 0,25* 0,29*
Far 0,98* 0,80 0,33* 0,31*
CALIS Barn 0,63* 0,45 0,66* 0,29*
Mor 0,70* 0,67 0,29* 0,35*
Far 0,37* 0,54 0,26* 0,46*
Djurhuus & Bikic, 2019b CALIS
Total skåre Barn 0,72* 0,46*e/0,34f 0,99e/0,13f
Hjemme Barn 1,11*
Utenfor hjemmet Barn 0,91*
Child life Foreldre 0,83* 0,16§e 0,33§e
Hjemme Foreldre 1,00*
Outside home Foreldre 0,46*
Parent life Foreldre 0,89* 0,70§e/0,08§f 0,86§e/0,25§f
Johnsen mfl., 2019 ADIS primær diagnose Kliniker 1,36* -0,45 1,88*d 0,10
SCAS Barn 1,08* -0,01 1,30*c -0,10
Mor 1,41>* 0,21 1,56*c 0,19
Far 1,07* 0,14 1,34*c 0,07
CALIS Barn 0,99* 0,41 0,80*c 0,06
Mor 1,06* 0,06 1,35*c 0,08
Far 0,98* 0,22 1,40*c 0,25
Jónsson mfl., 2015g,h ADIS primær diagnose Kliniker 1,06* 0,23 1,63 0,06
SCAS Barn 0,48* 0,74 0,84* 0,84
Mor 0,80* 0,71 1,06* 0,64
Far 0,58* 0,36 0,74* 0,52
CALIS Barn 0,25* 0,44 0,29* 0,68
Mor 0,65* 0,26 1,01* 0,24
Far 0,26* 0,21 0,46* 0,22
Kilburn mfl., 2020i ADIS primær diagnose Kliniker 1,05* 1,05* 0,33*c
SCAS Barn 0,33 0,55* 0,08
Foreldre 0,56* 0,55* 0,16
CALIS Barn 0,11 0,30 0,18
CALIS interference Child life Foreldre 0,47* 0,45* 0,18
CALIS interference parent life Foreldre 0,52* 0,49* 0,16
Stjerneklar mfl., 2019j ADIS primær diagnose Kliniker 1,48* 0,65* -0,02
SCAS-C Barn 0,98* 0,68* 0,20 -0,32
SCAS-P Mor 1,21* 1,12* 0,05 0,01
SCAS-P Far 0,49* 0,46* 0,25* 0,28
CALIS-C Barn 0,41* 0,21 0,22 -0,10
CALIS-P Mor 0,80* 0,93* -0,05 0,17
CALIS-P Far 0,24* 0,20 0,11 0,54*
Indikert forebyggende utvalg
Breinholst mfl., 2021 RCADS total angst skala Barn 0,53* 0,61*
Mor 1,11* 1,37*
Far 0,58* 0,68*
Haugland mfl., 2020 SCAS Barn 0,64* 0,34* 0,79*
Foreldre 0,77 0,53* 0,90*
CALIS Barn 0,41* 0,26* 0,42*
Foreldre 0,71* 0,51* 0,85*

Note: * p < 0,05. Positive effektstørrelser indikerer forbedring (dvs. reduksjon av angstsymptomer). Effektstørrelser er vurdert som små når d = 0,20–0,49, medium når d = 0,50–0,79, og stor når d ≥ 0,80 (Cohen, 1988).
Forfatternes beregning (ES = [(pre-post)gruppe1 – (pre-post)gruppe2]/pooled SD (baseline/pre)), ikke signifikanstestet. Tall som ikke er rapportert i artikkelen. § Gjennomsnitt av mor og far sine skårer
a Effektstørrelser er gjennomsnittlig endring i intervensjonsgruppen – gjennomsnittlig endring i kontrollgruppen/ pooled standardavvik (Between group). b Effektstørrelser er oppgitt for gruppen som fikk Cool Kids intervensjonen (Within group). c Fra post intervensjon til oppfølging. d Fra før (pre) behandling/intervensjon til oppfølging. e Sammenligning med Arendt et (2016) (Between group). f Sammenligning med Jónsson mfl., 2015 (Between group). g Effekt størrelse: Hedges’ g (for å kontrollere for liten utvalgsstørrelse). Tolkes tilsvarende Cohens d. h CoolKids levert av student terapeuter vs professjonelle terapeuter. i CoolKids tilpasset barn med ASD (autismespekterdiagnoser). j Internett-versjon av CoolKids (ChilledOut Online).
ADIS, Anxiety Disorder Interview Schedule for DSM-IV; CSR, Clinician Severity Rating (ADIS); SCAS, Spence Children’s Anxiety Scale; CALIS, Child Anxiety Life InterferenceScale; CALIS-P, Child Anxiety Life Interference Scale interference on parent life; RCADS, Revised Child Anxiety and Depression Scale

Internasjonale kunnskapsoppsummeringer

Den siste oppdaterte systematiske litteraturgjennomgangen og metasyntese av Cool Kids ble gjennomført av Mychailyszyn og kollegaer (2017). Søket ble gjennomført i PsycINFO og PubMed med søketermen «CoolKids». Søket ble avsluttet i juni 2015. Totalt 16 studier inngikk i metasyntesen og til sammen 1579 barn og unge i alderen 7–16 år inngikk i analysene. Tre studier var fra Danmark og de øvrige var fra Australia. Det var 11 av 16 studier som benyttet kontroll-grupper (vente-liste). Resultatene fra metasyntesen indikerte en betydelig forbedring for barn/unge som mottok Cool Kids sammenlignet med kontrollgruppene for både barn- og foreldrerapport. De konkluderer med at Cool Kids bør betraktes som et program med sterk empirisk støtte. Cool Kids/Chilled er også omtalt i vidensportalen (https://vidensportal.dk/boern-og-unge/boern-med-angst/indsatser/cool-kidschilled-angstprogram-for-boern-og-unge) og CEBC, (https://www.cebc4cw.org/program/cool-kids/). Det er viktig å være oppmerksom på at andre kunnskapsoppsummeringer kan ha andre kriterier for klassifisering av evidens.

Andre norske evalueringer

For Cool Kids foreligger det norske evalueringer som omfatter kvalitative studier på tiltaket (Husabo mfl., 2020b, Lundkvist-Houndoumadi mfl., 2015) og studier på implementering av tiltaket (Husabo mfl., 2020a; Husabo mfl., 2021b; Husabo mfl., 2020b). Elisabeth Husabo har i sin doktorgrad (2021a) undersøkt forhold som påvirker gjennomføring av Cool Kids i norsk kontekst. Hun tok utgangspunkt i den første norske effektstudien av Cool Kids gitt på ungdomsskoler. Den første artikkelen (Husabo mfl., 2020a) undersøkte om et underutvalg av ungdommene som inngikk i RCTen som deltok hadde angst og depresjon symptomer på diagnosenivå eller ikke. Funnene indikerte at majoriteten hadde angstdiagnoser, til tross for at kursene var ment som lavterskeltiltak for unge med angstsymptomer. Blant ungdommene som deltok, hadde fåtallet fått hjelp tidligere. Den andre artikkelen (Husabo mfl., 2021b) i doktorgraden undersøkte gruppeledernes etterlevelse og kompetanse i gjennomføringen av tiltaket. Det ble også undersøkt om det var en sammenheng med hvor godt ungdommene responderte på kurset og i hvilken grad dette samsvarte med gruppelederes etterlevelse og kompetanse i gjennomføringen. Resultatene tydet på at gruppelederne ga kursene på en god måte. Graden av etterlevelse og kompetanse fra gruppelederne hadde ikke betydning for bedringen ungdommene opplevde. Den tredje artikkelen (Husabo mfl., 2020b) var en kvalitativ studie som undersøkte gruppeledernes levering av indikert forebyggende tiltak gitt i skolehelsetjenesten. Gruppelederne oppga en rekke suksessfaktorer: Opplæring, veiledning, og støtte fra kollegaer ga dem opplevelse av å ha kompetanse. Flere uttrykte også at å se ungdommer oppleve bedring ga motivasjon til å fortsette og at et tett samarbeid med lærere gjorde rekruttering av ungdom enklere.

Implementeringskvalitet

Ulike aspekt ved tiltakets implementeringskvalitet er oppsummert i tabell 5.

RKBU Vest er ansvarlig for alle kategoriene som vurderes vedrørende implementeringskvalitet, det vil si implementeringsstøtte, opplæring, veiledning osv. Den obligatoriske utdanningen omfatter et tre dagers innføringsseminar, der det inngår teoretiske forelesinger om ulike emner knyttet til angst og angstbehandling, videodemonstrasjoner og eksempler på ulike tilpasninger som kan gjøres avhengig av type angstproblemer. I tillegg omfatter utdanningen 20 timers veiledet praksis der både individuelt tiltak og gruppetiltak skal gjennomføres, samt en dags erfaringssamling ett år etter gjennomført innføringsseminar. Utdanningen har opptakskrav om minimum 3-årig helse/sosialfaglig utdanning, samt minimum to års arbeid med barn og unges psykiske helse, i tillegg til direkte arbeid med barn og unges psykiske helse i opplæringsperioden. Tjenesten må også inngå avtale om å ha minst to tilgjengelige terapeuter. Monitorering av troskap / etterlevelse i gjennomføring av tiltaket blir vurdert som del av opplæringen ved at veileder skårer videoopptak av et Cool Kids møte. Veileder godkjenner en hel time som veileder skårer ved bruk av F-EKS (Etterlevelse og Kompetanse Skala; Bjåstad, mfl., 2016). Samlet skåre må være 3 eller over (skala 0–6 hvor 6 er beste skåre). Etter gjennomført erfaringssamling stilles det ingen videre krav til kvalitetssikring av tilegnede ferdigheter hos terapeutene. Når det gjelder identifisering av målgrupper og kartleggings- og vedlikeholdsverktøy, så er dette godt beskrevet i implementeringsmanualen for Cool Kids. Den samlede skåren for implementeringskvalitet utgjør derfor 8 av 9 mulige poeng.

Tabell 5
Implementeringskvalitet

Kategori Ja Nei Ikke relevant
Implementeringsstøtte X
Kvalifikasjonskrav X
Opplæring X
Sertifiseringsordninger X
Monitorering av fidelity/etterlevelse X
Veiledning X
Identifisering av målgrupper X
Kartlegging og vedlikeholdsverktøy X
Strategier for tilpasning X
Samlet skåre ∑ 8/9

Diskusjon

Hovedmålet med denne artikkelen var å undersøke om Cool Kids er et virksomt tiltak benyttet i normal praksis i Norge, basert på Ungsinns kriterier for klassifisering (Martinussen mfl., 2019). Resultatene diskuteres dermed på bakgrunn av disse i påfølgende avsnitt.

Beskrivelse og teoretisk rasjonale

Cool Kids er detaljert beskrevet og terapeutmanualen inneholder både beskrivelser av det teoretiske rasjonale og spesifikke beskrivelser av gjennomføring og fremgangsmåte møte for møte. Tiltaket er teoretisk forankret i kognitiv atferdsterapi, inkludert komponenter som kognitiv restrukturering og gradvis eksponering, som har bred forskningsstøtte som behandling for angstlidelser. Vi vurderer at Cool Kids har et velbegrunnet teoretisk rasjonale, inkludert distribusjon både individuelt og som gruppeformat.

Effektstudier, forskningsdesign og forskningsmetodisk kvalitet

Internasjonale kunnskapsoppsummeringer og metaanalyser viser at Cool Kids har dokumentert effekt ved behandling av angst. Vi har identifisert åtte publikasjoner som formidler hovedresultater fra effektstudier av Cool Kids i Norge og Norden. En norsk RCT-studie og syv danske studier (fire RCT-studier, to referansestudier, og to effektivitetsstudier) utgjør hovedbasen for disse artiklene.

RCT-studier er ansett som den beste metoden for å finne ut om en bestemt type behandling virker. For å kunne avgjøre om et tiltak virker, er det sentralt at intervensjonsgruppen, det vil si de som får Cool Kids, sammenlignes med en kontrollgruppe som ikke får Cool Kids, og at det er tilfeldig hvem i utvalget som kommer i hvilken gruppe. Totalt fire RCT-studier ble inkludert i denne litteraturgjennomgangen. Det som styrker disse studiene er at det er tilfeldig fordeling (randomisering) til Cool Kids eller sammenligningsgruppen (venteliste), slik at tredjevariabler/feilkilder så langt som mulig holdes konstant på tvers av gruppene.

RCT-studier er ressurskrevende og noen ganger umulig å gjennomføre av praktiske eller etiske hensyn. Det kan i noen tilfeller være problematisk å trekke slutninger fra RCT-studier, med høy grad av intern validitet, til effektivitet i vanlig klinisk praksis. Resultatene er ikke nødvendigvis overførbare. Det er derfor stor interesse for naturalistiske studier som effektivitetsstudier og referansestudier for å få kunnskap om behandlingseffekt i klinisk praksis. Studiene som omhandler Cool Kids inkluderer både RCT-studier og effektivitetsstudier gjennomført i både klinisk og indikert forebyggende setting, noe som i stor grad styrker dokumentasjonen på effekten av tiltaket.

Generelt så har alle de inkluderte studiene før, etter, og oppfølgingsmålinger. En styrke ved studiene var at det i stor grad ble benyttet relevante og utprøvde måleinstrumenter. Ofte er det nødvendig å skaffe til veie informasjon fra flere informanter for å få et helhetlig bilde av barns psykiske helse og psykososial fungering. Bruk av et slikt multiinformant perspektiv (barn/ungdom, mor, far, og kliniker) var gjennomgående i flertallet av de inkluderte studiene. Et flertall av studiene følger ITT prinsippet. Gruppeforskjeller mellom tiltakene er testet på adekvate måter, og det er akseptabel statistisk styrke i studiene. En svakhet med de statistiske analysene i enkelte av de inkluderte studiene er at det ikke ble tatt hensyn til de ulike nivåene i flernivåanalysene. Dette kan føre til både for store effektstørrelser ved bruk av Cohen’s d (fordi standardavviket blir for lite) samt en fare for Type I feil (en forkaster for lett nullhypotesen på grunn av for små standardfeil). Frafallet er moderat, og det er gjort adekvate analyser av dette. Oppsummert, så vurderes det at studiene av Cool Kids holder tilfredsstillende til god forskningsmetodisk kvalitet.

I flertallet av studiene var det en statistisk signifikant forskjell mellom intervensjonsgruppen (Cool Kids) og sammenligningsgruppen (venteliste eller intervensjonsgruppe i referansestudie). I studiene som er gjennomført i en klinisk kontekst, vises små til store effekter (mellomgruppe) av Cool Kids-varianter på primærutfallene – reduksjon av angstsymptom etter behandling. I studier gjennomført i indikert forebyggende utvalg ble det påvist små til moderate effektstørrelser (mellomgruppe) etter endt behandling, og små til store effektstørrelser (mellomgruppe) ved oppfølging. Jónsson mfl. (2015) sin studie viser at Cool Kids, som er opprinnelig utviklet innen en forskningsbasert kontekst, også er overførbar til kommunal helsetjeneste. Imidlertid indikerer resultatene at behandlingseffekten kan minske noe når programmet spres til kommunale tjenester. En mulig forklaring på denne forskjellen kan være den økte forekomsten av mer alvorlige symptomer og komorbiditet blant ungdommer i poliklinisk behandling, sammenlignet med ungdommer rekruttert fra den generelle populasjonen. På bakgrunn av dette bør fremtidige studier undersøke denne mulige koblingen for å kunne optimalisere implementering av Cool Kids i en klinisk og ikke-forskningsbasert setting.

Resultatene fra de inkluderte studiene viser at effektnivået i stor grad opprettholdes over tid. Imidlertid er det kun to av åtte studier som har oppfølging ett år etter endt behandling. De resterende studiene har kun ett oppfølgingstidspunkt som er tre måneder etter endt intervensjon, med unntak av en studie som har oppfølging seks måneder etter intervensjon. Fremtidige effektstudier på Cool Kids bør inkludere lengre intervall på oppfølgingstidpunkt etter endt intervensjon. Dette på grunn av at tidsperspektiv og valg av måletidspunkt kan ha stor betydning for resultatet (både størrelsen og verdien på effektene).

Noen av de inkluderte studiene har sett på overføringsverdien fra Cool Kids til ulike kontekster. Stjerneklar mfl. (2019) undersøkte en internettbasert versjon (ungdom 13 til 17 år) av Cool Kids (Chilled). Deltakere i intervensjonsgruppen hadde etter endt behandling en statistisk signifikant større reduksjon av angst-symptomer sammenlignet med venteliste-gruppen, med medium til store effektstørrelser. Kilburn mfl. (2020) gjennomførte en studie der Cool Kids var tilpasset barn/unge med autismespekterdiagnose (ASD). Kilburn mfl. (2020) sin studie indikerer at Cool Kids programmet virker lovende for å behandle angst blant barn med ASD innenfor en barnepsykiatrisk poliklinisk setting. I tillegg har Johnsen mfl. (2019) sammenlignet effekten av Cool Kids som er gitt terapeuter under utdanning («student-therapists») med ferdig utdannede terapeuter. Resultatene indikerte at utfallene etter behandling av student-terapeuter er relativt lik ferdig utdannede terapeuter.

Implementeringskvalitet

Implementeringskvaliteten for Cool Kids er i stor grad ivaretatt i form av egen implementeringsplan, tydelig identifisering av målgruppe, grundig opplæring av terapeuter og kursholdere med sertifiseringsordning samt gode verktøy for kartlegging av deltakere. Videre er det en ordning for langtidsoppfølging av sertifiserte terapeuter. Etterlevelse blir vurdert i forbindelse med opplæringen ved at veileder skårer videoopptak av en Cool Kids møte, men det er ikke systematisk vurdering av etterlevelse utover dette. Den høye implementeringskvaliteten øker sannsynligheten for at forskningsresultatene som gjengis her også kan forventes å gjenfinnes når tiltaket brukes i vanlig praksis i Norge.

Konklusjon

Cool Kids er et manualbasert program for indikert forebygging og behandling av angst hos barn og unge. Programmet har et solid teoretisk fundament, hvilket er godt beskrevet i manualen, i tillegg til gode beskrivelser av fremgangsmåte møte for møte. Resultater fra nordiske effektstudier tyder på at programmet kan bidra til reduksjon av angst og depresjonssymptom sammenlignet med venteliste, og effekten holder seg over tid for flere hoved utfallsmål. Studiene har gjennomgående tilfredsstillende til god kvalitet og den høye implementeringskvaliteten øker sannsynligheten for at tiltaket brukt i vanlig praksis i Norge er effektivt.

Cool Kids klassifiseres på evidensnivå 5: Tiltak med sterk dokumentasjon på effekt.

Interessekonflikter

Forfatterne erklærer at de ikke har kommersielle interesser i tiltaket vurdert i denne artikkelen. De har heller ikke vært involvert i utvikling, evaluering eller implementering av tiltaket.

Mottatt: 23.09.2021
Godkjent: 22.06.2023
Publisert: 09.11.2023
Redaktør: Marte Rye

Referanser

Angold, A., & Stephen, C. (1995). Development of a short questionnaire for use in epidemiological studies of depression in children and adolescents. Age (years), 6(11), 237–249.

Arendt, K., Thastum, M., & Hougaard, E. (2016). Efficacy of a Danish version of the Cool Kids program: A randomized wait-list controlled trial. Acta Psychiatrica Scandinavica, 133(2), 109–121. https://doi.org/10.1111/acps.12448

Axelsdottir, B., Borren, I., Eidet, L. M., Dahlgren, A., Hammerstrøm, K., Bjørndal, A., Sund, A. M., & Morken, I. S. (2021). Kunnskapsoppsummering: effekt av tiltak for angstlidelser hos barn og unge RBUP; 2021. https://tiltakshandboka.no/no/tilstander/tilstandsgruppe-angstlidelser

Bakken, A. (2021). Ungdata. Nasjonale resultater. NOVA rapport 8/21.

Bakken, A. (2020). Ungdata. Ung i Distrikts-Norge. NOVA rapport 3/20.

Barican, J. L., Yung, D., Schwartz, C., Zheng, Y., Georgiades, K., & Waddell, C. (2022). Prevalence of childhood mental disorders in high-income countries: A systematic review and meta-analysis to inform policymaking. Evidence-Based Mental Health, 25(1), 36–44. https://doi.org/10.1136/ebmental-2021-300277

Bjåstad, J. F., Haugland, B. & Fjermestad, K. (2016). Cool Kids Etterlevelse og Kompetanse Skala (F-EKS). Upublisert skala til bruk i LIST prosjektet, Bergen, Norge

Breinholst, S., Walczak, M., Christiansen, B., & Esbjørn, B. (2021). A therapist-guided parent-delivered self-help group for anxiety disorders in children: An effectiveness study. Journal of Behavioral and Cognitive Therapy, 31(2), 105–113

Brown, A., Ford, T., Deighton, J., & Wolpert, M. (2014). Satisfaction in child and adolescent mental health services: Translating users’ feedback into measurement. Administration and Policy in Mental Health and Mental Health Services Research, 41(4), 434–446.

Chorpita, B. F., Moffitt, C. E., & Gray, J. (2005). Psychometric properties of the Revised Child Anxiety and Depression Scale in a clinical sample. Behaviour research and therapy, 43(3), 309–322.

Costello, E. J., Mustillo, S., Erkanli, A., Keeler, G., & Angold, A. (2003). Prevalence and Development of Psychiatric Disorders in Childhood and Adolescence. Archives of General Psychiatry, 60(8), 837–844. https://doi.org/10.1001/archpsyc.60.8.837

Djurhuus, I. D., & Bikic, A. (2019). Is the cool kids programme working in outpatient psychiatric clinics? A danish naturalistic effectiveness study. Nordic Journal of Psychiatry, 73, 141–148

Flaten, K., & Heiervang, E. (2012). Program for forebygging av angst: Et pilotprosjekt gjennomført på 5. Klassetrinn. Specialpedagogikk, 10:12.

Folkehelseinstituttet. (2018). Folkehelserapporten. Psykiske plager og lidelser hos barn og unge https://www.fhi.no/nettpub/hin/psykisk-helse/psykisk-helse-hos-barn-og-unge/

Guy, W. (1976). ECDEU assessment manual for psychopharmacology. US Department of Health, Education, and Welfare, Public Health Service

Haugland, B. S. M., Raknes, S., Haaland, A. T., Wergeland, G. J. H., Bjaastad, J. F., Baste, V., Himle., J., Rapee, R., & Hoffart, A. (2017). School-based cognitive behavioural intervention for anxious youth: study protocol for a non-inferiority randomized controlled trial. Trials. Advance online publication. https://doi.org/10.1186/s13063-017-1831-9

Haugland, B. S. M., Haaland, Å. T., Baste, V., Bjaastad, J. F., Hoffart, A., Rapee, R. M., Raknes, S., Himle, J. A., Husabø, E., & Wergeland, G. J. (2020). Effectiveness of Brief and Standard School-Based Cognitive-Behavioral Interventions for Adolescents With Anxiety: A Randomized Noninferiority Study. Journal of the American Academy of Child & Adolescent Psychiatry.

Havinga, P. J., Maciejewski, D. F., Hartman, C. A., Hillegers, M. H. J., Schoevers, R. A., & Penninx, B. W. J. H. (2021). Prevention programmes for children of parents with a mood/anxiety disorder: Systematic review of existing programmes and meta-analysis of their efficacy https://doi.org/10.1111/bjc.12277  British Journal of Clinical Psychology, 60(2), 212–251. https://doi.org/10.1111/bjc.12277

Heiervang, E., Stormark, K. M., Lundervold, A.J., Heimann, M., Goodman, R., Posserud, M. B., Ullebo, A. K., Plessen, K. J., Bjelland, I., Lie, S. A. (2007). Psychiatric disorders in Norwegian 8-to 10-year-olds: an epidemiological survey of prevalence, risk factors, and service use. J Am Acad Child Adolesc Psychiatry, 46, 438–47.

Husabo, E. (2021a). Implementation of indicated anxiety prevention in schools. Doktorgradsavhandling. Universitetet i Bergen, Bergen.

Husabo, E., Haugland, B. S. M., McLeod, B. D., Ogden, T., Rapee, R. M., & Wergeland, G. J. (2020a). Does School-Based Recruitment for Anxiety Interventions Reach Youth Not Otherwise Identified? A Comparison Between a School-Based Sample and a Clinical Sample [Article]. School Mental Health. https://doi.org/10.1007/s12310-019-09357-7

Husabo, E., Haugland, B. S. M., McLeod, B. D., Baste, V., Haaland, Å. T., Bjaastad, J. F., Hoffart, A., Raknes, S., Fjermestad, K. W., Rapee, R. M., Ogden, T., & Wergeland, G. J. (2021b). Treatment Fidelity in Brief Versus Standard-Length School-Based Inter-ventions for Youth with Anxiety. School Mental Health. https://doi.org/10.1007/s12310-021-09458-2

Husabo, E., Haugland, B. S. M., Wergeland, G. J., & Maeland, S. (2020b). Providers’ Experiences with Delivering School-Based Targeted Prevention for Adolescents with Anxie-ty Symptoms: A Qualitative Study. School Mental Health, 12(4), 757–770. https://doi.org/10.1007/s12310-020-09382-x

James, A. C., Reardon, T., Soler, A., James, G., & Creswell, C. (2020). Cognitive behavioural therapy for anxiety disorders in children and adolescents. Cochrane database of systematic reviews(11).

Johnsen, D. B., Arendt, K., & Thastum, M. (2019).The efficacy of manualized Cognitive Behavior Therapy conducted by student-therapists treating Danish youths with anxiety using a benchmark comparison. Scandinavian Journal of Child and Adolescent Psychiatry and Psychology, 7, 68–80.

Jónsson, H., Thastum, M., Arendt, K., & Juul–Sørensen, M. (2015). Group cognitive behavioural treatment of youth anxiety in community based clinical practice: Clinical significance and benchmarking against efficacy. Journal of Anxiety Disorders, 35, 9–18.

Kilburn, T. R., Sørensen, M. J., Thastum, M., Rapee, R. M., Rask, C. U., Arendt, K. B., Carlsen, A. H., & Thomsen, P. H. (2020). Group Based Cognitive Behavioural Therapy for Anxiety in Children with Autism Spectrum Disorder: A Randomised Controlled Trial in a General Child Psychiatric Hospital Setting. Journal of Autism and Developmental Disorders, 1–14.

Lundkvist-Houndoumadi, I., Thastum, M., & Hougaard, E. (2015). Effectiveness of an Individualized Case Formulation-Based CBT for Non-responding Youths with Anxiety Disorders. J Child Fam Stud. https://doi.org/10.1007/s10826-015-0225-4

Lydersen, S. (2019). Fremskrivning fra siste observasjon. Tidsskrift for Den norske legeforening, 9. https://doi.org/10.4045/tidsskr.19.0061

Lyneham, H. J., Sburlati, E. S., Abbott, M. J., Rapee, R. M., Hudson, J. L., Tolin, D. F., & Carlson, S. E. (2013). Psychometric properties of the child anxiety life interference scale (CALIS). Journal of Anxiety Disorders, 27(7), 711–719.

Martinussen, M., Reedtz, C., Eng, H., Neumer, S.-P., Patras, J., & Mørch, W.-T. (2019). Ungsinn. Tidsskrift for virksomme tiltak for barn og unge. Kriterier og prosedyrer for vurdering og klassifisering av tiltak. https://ungsinn.no/wp-content/uploads/2019/07/Ungsinn_kriterier_screen_2019-V2.1.pdf

Merikangas, K. R., He, J.-p., Burstein, M., Swanson, S. A., Avenevoli, S., Cui, L., Benjet, C., Georgiades, K., & Swendsen, J. (2010). Lifetime Prevalence of Mental Disorders in U.S. Adolescents: Results from the National Comorbidity Survey Replication–Adolescent Supplement (NCS-A). Journal of the American Academy of Child & Adolescent Psychiatry, 49(10), 980–989. https://doi.org/https://doi.org/10.1016/j.jaac.2010.05.017

Muris, P. (2001). A brief questionnaire for measuring self-efficacy in youths. Journal of Psychopathology and behavioral Assessment, 23(3), 145–149.

Mychailyszyn, M. P. (2017). “Cool” youth: A systematic review and comprehensive meta-analytic synthesis of data from the Cool Kids family of intervention programs. Canadian Psychology/psychologie canadienne, 58(2), 105.

Palitz, S. A., & Kendall, P. C. (2020). Anxiety Disorders in Children. In E. Bui, M. E. Charney, & A. W. Baker (Red.), Clinical Handbook of Anxiety Disorders: From Theory to Practice (pp. 141–156). Springer International Publishing. https://doi.org/10.1007/978-3-030-30687-8_7

Rapee, R. M., Lyneham, H. J., Schniering, C. A., Wuthrich, V., Abbott, M. A., Hudson, J. L., & Wignall, A. (2006). Cool kids: child & adolescent anxiety program. Centre for Emotional Health.

Rapee, R. M., Lau, E. X., & Kennedy, S. J. (2010). The Cool Little Kids Anxiety Prevention Program – Therapist Manual. Centre for Emotional Health, Macquarie University: Sydney. Manual, Norsk versjon 2013. Oslo; RBUP Øst og Sør, & Bergen; RBKU Vest.

Rapee, R. M., Wignall, A., Spence, S. H., Cobham, V., & Hudson, J. L. (2008). Helping your anxious child. A step by step guide for parents. (2 ed.). Oakland, CA: New Harbinger Publications, Inc.

Rapee, R. M., Wignall, A., Spence, S. H., Cobham, V. & Lyneham, H. (2016). Hjelp ditt engstelige barn: en foreldreveileder. Oslo: Gyldendal Akademisk.

Rasmussen, L. M. P., & Neumer, S. P. (2015). Måleegenskaper ved den norske versjonen av Anxiety Disorders Interview Schedule for DSM IV: Barneversjonen (ADIS for DSM IV: C). PsykTestBarn, 2:4.

Schniering, C. A., & Rapee, R. M. (2002). Development and validation of a measure of children’s automatic thoughts: the children’s automatic thoughts scale. Behaviour research and therapy, 40(9), 1091–1109.

Silverman, W., & Albano, A. (1996). The anxiety disorders interview schedule for children for DSM-IV: Child and parent versions. San Antonio, TX: Psychological Corporation. Silverman, WK, & Ollendick, TH (2005). Evidence-based assessment of anxiety and its disorders in children and adolescents. Journal of the American Academy of Child and Adolescent Psychiatry, 40, 937944.

Spence, S. H. (1998). A measure of anxiety symptoms among children. Behaviour research and therapy, 36(5), 545–566.

Stjerneklar, S., Hougaard, E., McLellan, L. F., & Thastum, M. (2019). A randomized controlled trial examining the efficacy of an internet-based cognitive behavioral therapy program for adolescents with anxiety disorders [Article]. PLoS ONE, 14(9), Article e0222485. https://doi.org/10.1371/journal.pone.0222485

Stjerneklar, S., Hougaard, E., & Thastum, M. (2019). Guided internet-based cognitive behavioral therapy for adolescent anxiety: Predictors of treatment response. Internet Interventions, 15, 116–125. https://doi.org/10.1016/j.invent.2019.01.003

Strawn, J. R., Lu, L., Peris, T. S., Levine, A., & Walkup, J. T. (2021). Research Review: Pediatric anxiety disorders – what have we learnt in the last 10 years? Journal of Child Psychology and Psychiatry, 62(2), 114–139. https://doi.org/https://doi.org/10.1111/jcpp.13262

Topp, C. W., Østergaard, S. D., Søndergaard, S., & Bech, P. (2015). The WHO-5 Well-Being Index: a systematic review of the literature. Psychotherapy and psychosomatics, 84(3), 167–176.

Wichstrøm, L., Berg-Nielsen, T. S., Angold, A., Egger, H. L., Solheim, E., & Sveen, T. H. (2012). Prevalence of psychiatric disorders in preschoolers [https://doi.org/10.1111/j.1469-7610.2011.02514.x]. Journal of Child Psychology and Psychiatry, 53(6), 695–705. https://doi.org/10.1111/j.1469-7610.2011.02514.x