Evaluering af PALS på 11 pilotskoler i Danmark 2012 – et kritisk blik.


I dette indlæg vil jeg redegøre kort for en nyere evaluering af PALS, tilføje nogle få kritiske kommentarer, og rejse nogle spørgsmål. Kilden er Positiv adfærd i læring og samspil (PALS) En evaluering af en skoleomfattende intervention på 11 pilotskoler. Olsen, Peter Skov m.fl. SFI –Det Nationale Forskningscenter for velfærd. 2012.

Rapporten evaluerer de 11 første danske PALS-pilotskoler.

PALS indgår i rapporten under betegnelsen “manualbaserede behandlingsmetoder”, der er implementeret i Danmark af Socialstyrelsen. (Olsen 2012, s.13). “Overordnet har programmet PALS…til formål at modvirke antisocial adfærd hos eleverne og skabe mere inklusion blandt eleverne.” (Ibid. s. 13)

Der grund til at fremhæve at par kritiske forhold vedr. validiteten af undersøgelsen:

Der er tale om spørgeskemaundersøgelser, hvor 63% af lærerne (med gyldig e-mail) har svaret. Så er der indhentet nogle registerbaserede data.

Der er ifølge rapporten  ikke lavet sammenligninger med kontrolskoler (i forhold til de områder, som man spørger ind til i spørgeskemaerne) , hvor der ikke er indført PALS, men hvor man måske gør noget andet. John Hattie har i den forbindelse lavet en ranking over forskellige effekter (Se listen over effekter her),  i Visible Learning, 2009, s. 297 ff.  En effekt på 0.40 “sets a level where the effects of innovation enhance achievement in such a way that we can notice real-world differences….” Ibid, s. 17. Tallet fremkommer ved, at hvis man sammenligner hundredevis af tiltag, så er den gennemsnitlige effekt 0.4. Det vigtige er derfor ifølge Hattie, at vi ikke vurderer i forhold til værdien 0, men sammenligner de forskellige tiltag i relation til hinanden. (Relativ vurdering). På den måde undgår vi ifølge Hattie, at alt kan legitimeres, fordi det meste har en virkning. “Uanset hvad vi gør, så virker det!”. Perspektivet for Hattie er, at vi fokuserer på størrelsen af effekterne sammenlignet med andre effekter! Skolerne er ikke tilfældig valgt. De er med andre ord ikke nødvendigvis repræsentative for skoler i Danmark. Andre skoler ville måske opnå andre resultater.

Der er ikke lavet undersøgelser af, hvordan forholdende var før PALS blev implementeret. Man ved med andre ord ikke, hvad der var udgangspunktet. F.eks. peger undersøgelsen på, “at lærerne og det øvrige personale på skolerne oplever PALS som et godt grundlag for at forbedre læringsmiljøet, om end en del lærere angiver, at der også før PALS var tale om et godt læringsmiljø.” (Olsen 2012, s.120).

Set fra en anden vinkel, er der altså indført “manualbaserede behandlingsmetoder” med det formål at “modvirke antisocial adfærd hos eleverne og skabe mere inklusion blandt eleverne”, uden der er et klart billede af, om der i  det hele taget er behov for det?

Forfatterne udtrykker kritikken på deres egen måde: “Denne evaluering af PALS har vist foreløbige tegn på, hvordan PALS sætter sine spor på pilotskolerne, men kan ikke svare på det ultimative spørgsmål om, hvad effekterne er af PALS.” Olsen 2012, s.109 Der er altså tale om tegn, de er foreløbige, og man kan ikke svare på, hvad effekterne er!

Og videre hedder det. “PALS er fortsat på et relativt tidligt stadie i Danmark, hvorfor det er for tidligt at måle effekter, og samtidig mangler der egnede evalueringsmål. Det er for tidskrævende i forhold til denne evaluerings rammer at opbygge egnede effektmål, hvorfor rapporten har afdækket indikationer på PALS´ virkning.” Olsen 2012, s.117.

Med de forbehold kan man se på disse foreløbige tegn, og her er nogle uddrag fra rapportens resultater – konklusionen:

“Spørgeskemaundersøgelsen er i sin udformning inspireret af Sørlie & Ogdens (2007) norske PALS-evaluering og belyser pilotskole-ansattes vurderinger af, hvorvidt skoleforhold, klasseforhold og psykosocialt arbejdsmiljø er forbedret efter PALS. Resultaterne har vist følgende:

  • Skolemiljøet vurderes gennemgående for alle skoler at være forbedret. Særligt følgende er yderst positivt vurderet: 1) skolens ansatte er blevet bedre til at håndtere vanskelige elever (angives af 86 pct.), og 2) eleverne tager mere hensyn til hinanden nu end for 3 år siden (angives af 81 pct.). Til gengæld angiver en lidt mindre andel (35 pct.), at der er færre skænderier og konflikter blandt skolens ansatte, og lidt under halvdelen af deltagerne i undersøgelsen (40 pct.) angiver, at skolens ansatte sjældnere er udsat for trusler om vold fra eleverne sammenlignet med for 3 år siden.
  • Klassemiljøet vurderes ligeledes gennemgående for alle skoler at være forbedret. Hele 73 pct. af lærerne i undersøgelsen vurderer , at elevernes adfærd overfor hinanden er forbedret, og samtidig vurderer 73 pct., at læringsmiljøet på skolen alt i alt er forbedret. Et stort flertal angiver, at eleverne er blevet bedre til at gøre, som de bliver bedt om. Derimod er det kun knap hver femte lærer (19 pct.), der angiver, at eleverne har mindre ulovligt fravær end for 3 år siden, og knap en fjerdedel af lærerne (23 pct.) mener, at elevernes motivation og engagement i undervisningen er forbedret. (Min parentes: Hvad viser andre tiltag af effekter jf. Hatties 2009? Hvor vigtig er motivationen og engagement i undervisningen sammenlignet med f.eks. elevernes adfærd i forhold til at gøre, hvad de bliver bedt om? Hvad er det for en opfattelse af læring, der ligger bag angivelserne af, at læringsmiljøet er forbedret? Osv.)
  • Psykosocialt arbejdsmiljø angives overordnet af de ansatte som værende enten forbedret eller uændret. Mest positivt har de ansatte besvaret spørgsmålet om, hvorvidt “det alt i alt er blevet en bedre arbejdsplads” (58 pct. har tilkendegivet dette). Men samtidig har henholdsvis 17 og 26 pct. angivet, at forholdene “indflydelse på dit arbejde” og “arbejdspres” er forværret inden for de sidste 3 år.

Overordnet set peger …undersøgelsen på, at lærerne og det øvrige personale på skolerne oplever PALS som et godt grundlag for at forbedre læringsmiljøet, om end en del lærere angiver, at der også før PALS var tale om et godt læringsmiljø, og at det er blevet lettere at håndtere elever i adfærdsvanskeligheder. Det skal dog understreges, at der er markante forskelle på besvarelserne pilotskolerne imellem, mens der ingen nævneværdige forskelle er på besvarelserne set i forhold til køn, alder og anciennitet.” Olsen 2012. S. 119 f.

Så er der indsamlet nogle registerbaserede data, og her er konklusionen meget klar!:

  • Der kan ved skolernes andet implementeringsår ikke spores nævneværdige forskelle på udviklingen i antallet af elever, der modtager specialundervisning i specialklasser blandt elever på PALS-pilotskolerne og de respektive kommuners skoler i øvrigt.
  • Der kan ved skolernes andet implementeringsår ikke ses forskelle i afgangselevernes karakterer i fagene dansk og matematik
  • Der kan ved skolernes andet implementeringsår ikke ses forskelle på PALS-pilotskolerne med hensyn til at nedbringe det ulovlige fravær.” Olsen 2012, s. 120

Der er altså INGEN nævneværdige effekter ifølge undersøgelsen, men indikationer og tegn på, at eleverne er blevet bedre til at gøre, hvad de bliver bedt om, at læringsmiljøet er blevet bedre – uden vi ved, hvad der så ligger i det – at under en fjerdedel af lærerne mener, at elevernes motivation og engagement i undervisningen er forbedret Osv..  Det kunne være rigtig spændende, om SFI eller andre forskningsinstitutioner fik lavet nogle systematiske sammenligninger af koncepter, så vi kunne se om tiltagene er værd at bruge energi og kræfter på. Og det kunne ligefrem være perspektivrigt, hvis man fra politisk hold understøttede nogle tiltag, der var lidt bredere end “manualbaserede behandlingsmetoder” som PALS, og som havde nogle lidt mere ambitiøse mål end “at modvirke antisocial adfærd hos eleverne og skabe mere inklusion blandt eleverne” – det er jo trods alt folkeskolen, vi taler om.

Læs en kritisk artikel om PALS her.

One thought on “Evaluering af PALS på 11 pilotskoler i Danmark 2012 – et kritisk blik.

  1. Hilmar Dyrborg Laursen Post author

    I Socialstyrelsens Social Fokus juni 2012, s. 15 -17 kan du læse om nogle positive erfaringer med forældre og PALS på Mejrup skole i Holstebro, hvor PALS ifølge Bent Østergaard, Forvaltningschef, er blevet indført fordi “mængden af opgaver og økonomi (i kommunen) ikke længere kunne følges af.” s. 15.
    Læs artiklerne her: http://shop.socialstyrelsen.dk/products/social-fokus-born-og-unge-juni-2012

    Det er eksempler på, hvordan forældrene former børnenes positive adfærd (det forældrene og skolen ønsker) gennem ydre belønning, og forældrene i eksemplet oplever, at det virker. “Vi havde lært, at vi skulle give gode beskeder, og vi ikke skulle argumentere så meget,… og så virkede det bare!”, som en forælder skriver.
    Jeg er selv kritisk overfor en tilgang til opdragelse, hvor det at argumentere bliver et problem, fordi jeg tror, at det er gennem samtale og argumenter, at vi kan lære at forstå hinanden, at eleverne lærer at blive selvstændige og kritiske osv. Jeg er også kritisk over for en tilgang, hvor f.eks. legen med børnene bliver en del en belønningsstrategi, (Jeg leger med dig, hvis du hænger din jakke op), fordi jeg dels tror, det kan fremme et strategisk og økonomisk syn i relationer mellem mennesker (jeg lærer jo barnet, at vi gør noget for hinanden, når vi får en belønning for det, og ikke at vi kan gøre noget, hvis der er gode argumenter for det (for de kommer slet ikke frem), eller hvis vi holder af hinanden eller tager ansvar osv.). At der kan være situationer, hvor adfærdsregulering kan være nødvendig, fordi der er massive adfærdsmæssige problemer eller lign. betyder vel ikke, at adfærdsregulering gennem ydre belønning er en god idé i forhold til børn og forældre, der ikke er nærheden af adfærdsmæssige problemer?

    Svar

Skriv et svar

Udfyld dine oplysninger nedenfor eller klik på et ikon for at logge ind:

WordPress.com Logo

Du kommenterer med din WordPress.com konto. Log Out / Skift )

Twitter picture

Du kommenterer med din Twitter konto. Log Out / Skift )

Facebook photo

Du kommenterer med din Facebook konto. Log Out / Skift )

Google+ photo

Du kommenterer med din Google+ konto. Log Out / Skift )

Connecting to %s