Hvad er evidens? DPU


Ved udgangen af 2008 har 7 udenlandske og internationale institutioner produceret systematiske reviews på uddannelsesområdet. Skemaet herunder giver en kort systematisk præsentation af de 7 institutioner.

  

Hvad er evidens?

“It is a judgement or a conclusion reached on the basis of the best presently available knowledge.” 

Evidens er noget, der ledes efter og (måske) findes. Det er fremgangsmåder anvendt hertil, der er i fokus her. Processen frem mod evidens i samfundsvidenskab kan alment og kort karakteriseres med disse tre spørgsmål:

1. Hvad er det der spørges efter?

2. Hvilke metoder er anvendelige og pålidelige til at finde svar?

3. Hvilke primærundersøgelser er til rådighed for belysning af det undersøgte spørgsmål?

(Michael Søgaard Larsen, Lektor, Dansk Clearinghouse for Uddannelsesforskning, DPU, Aarhus Universitet). http://www.dpu.dk/everest/Publications/Udgivelser/Clearinghouse/20100503141148/CurrentVersion/veje_til_evidens.pdf 

  “Evidens er det rationelle grundlag, som en dom fældes på med baggrund  i den aktuelt tilgængelige information. At en dom fældes på baggrund af evidens betyder, at den er baseret på de bedste 

  – mest relevante og pålidelige

– tilgængelige 

informationer. Det vil sige, at evidens er en dynamisk størrelse – hvis der kommer ny viden til, som overtrumfer den gamle, må der fældes en ny dom. “ 

 

Ved udgangen af 2008 har syv internationale institutioner produceret 275 systematiske reviews på uddannelsesområdet. De syv institutioner kan betragtes som pionerer på evidensområdet. Artiklens forfatter lektor Michael Søgaard Larsen fra DPU, Aarhus Universitet ser nærmere på de 275 systematiske reviews, som disse institutioner har udgivet.

Voldsom vækst og øget mangfoldighed i den pædagogiske forskning
Michael Søgaard Larsen skriver, at den pædagogiske forskning er vokset voldsomt. I dag er der i fagets største internationale database, ERIC, en datamængde, der er mere end 24 gange så stor, som den, der var til rådighed sidst i 1960?erne. Dertil kommer, at pædagogisk forskning i forskningsmetodisk henseende er præget af stigende mangfoldighed. Endelig er selve den pædagogiske forsknings genstandsfelt voldsomt udvidet, idet det pædagogiske både er blevet livslangt og livsbredt.

At finde og få sammenhængende mening ud af denne mangfoldighed er blevet en opgave med intellektuelle udfordringer. Dette gælder ikke kun for den pædagogiske forskning og for den sags skyld forskerne selv, men også for andres anvendelse af forskningen. Derfor er idéen om, på systematisk vis at finde frem til, hvad den eksisterende forskning giver af svar på et givet spørgsmål, væsentlig. Et af midlerne er at producere såkaldte systematiske reviews. Man kan ifølge Michael Søgaard Larsen sige, at de systematiske reviews er evidensbevægelsens primære produkt. 

Hvad handler de systematiske reviews om?
Effekt eller effektivitet dominerer emnemæssigt, men faktisk er der en meget bred vifte af spørgsmål, der behandles. To tredjedele af de systematiske reviews handler om forhold i primær- og sekundærskole. Andre uddannelsesniveauer fylder ikke så meget i de systematiske reviews. Fagdidaktiske tilgange er hovedemnet for lidt over en tredjedel, medens almene pædagogiske emner er indholdet i lidt under halvdelen af de systematiske review. Emnemæssigt er der tale om en meget stor bredde: en elev- eller børn/unge vinkel ses i ca. halvdelen af alle reviews.
 
Forskningsdesign passer ikke med forskningsemne
Analysen af de systematiske reviews har vist, at der er flere måder at gennemføre de systematiske reviews på, men den anglo-amerikanske dominans i forskningen har betydet, at det er blevet nødvendigt at se på om processen frem mod evidens finder sted på tilfredsstillende vis. Diskussionen retter sig mod, hvilke former for undersøgelsesdesign, der kan inkluderes i det systematiske review,? siger Michael Søgaard Larsen, der forklarer, at det metodiske grundlag kaldes evidensstigebetragtningen. Det betyder, at man kan rangordne forskningsdesign ud fra en prioriteret systematik, hvor det højeste trin på evidensstigen er den kontrollerede randomiserede undersøgelse. Ifølge Michael Søgaard Larsen har denne evidensstigebetragtning vist sig at have en begrænset værdi, fordi en større del af de systematiske reviews, der sigter mod at skabe syntese ofte må opgive. Det skyldes, at der ikke er randomiserede studier nok inden for pædagogik- og uddannelsesforskning. Forskningsfeltets design passer med andre ord ikke godt til dette, så derfor anbefaler Michael Søgaard Larsen et stærkere internationalt samarbejde med for eksempel et internationalt forum til åben drøftelse og udvikling af de metodiske aspekter forbundet med evidens i pædagogik og uddannelse.
 
Læs hele artiklen (pdf)

Se mere på Evidens debat: http://www.dpu.dk/site.aspx?p=10596

Lidt om de organisationer der overvåges i øjeblikket af Dansk Clearingshouse for Uddannelsesforskning.

 

  • EPPI-Centeret (Evidence for Policy and Practice Information and Co-ordinating Centre) ved Institute of Education, London University. Følger mange af de samme principper som Dansk Clearinghouse for Uddannelsesforskning med hensyn til åbenhed og systematik.
  • Myndigheten för Skolutveckling, den svenske regerings enhed for støtte til den lokale udvikling af uddannelsessystemet. Udgiver state-of-the-art reviews, der typisk skrives af en enkelt forsker med indblik i et felt.
  • Campbell Collaboration er et internationalt netværk af forskere, der arbejder med systematiske reviews af effektstudier indenfor socialområdet, kriminologi og uddannelse. Campbell følger en nøje fastlagt metode med fokus på blindforsøg designet til at give svar på spørgsmål om effekt af interventioner.
  • What Works Clearinghouse, finansieret af det amerikanske undervisningsministerium, vurderer konkrete interventioner som for eksempel lærebogssystemer på basis af blindforsøg.
  • Education Counts i New Zealand er et videnscenter, der samler national statistik og forskning om uddannelse og producerer systematiske reviews.
  • Canadian Council on Learning har ligesom Education Counts en bred portefølje af opgaver med fokus på viden om det nationale uddannelsessystem.
  • The British Educational Research Association, BERA, er den forening, som organiserer pædagogik- og uddannelsesforskere i Storbritannien. Det er den største af sin art i Europa. Foreningen udgiver blandt andet reviewserien “Academic Reviews”, som opsummerer udviklingen på forskellige forskningsfelter.
  • Futurelab er en Britisk forskningsinstitution, der arbejder med pædagogik, uddannelse og ny teknologi i samarbejde med industri, politik og praksis. De udgiver blandt andet “Literature reviews”, der ikke bare analyserer, hvad der vides, men også sætter fokus på grænserne for vor aktuelle viden.

Hvordan finder jeg evidensen?

Når du søger i evidensbasen, får du hits fra ovenstående organisationer.http://www.dpu.dk/site.aspx?p=10594.

Du kan også finde informationer under linket Evidens her på siden, hvor der er linket til de forskellige organisationer. 

4 thoughts on “Hvad er evidens? DPU

  1. Hilmar Laursen Post author

    Efter at have sammensat lidt om evidens kommer jeg til at tænke på, at et godt projekt kunne være, at en gruppe lærerstuderende f.eks. undersøgte, hvad der findes om PALS eller andre tiltag. Hvad ved vi om lektier? Om samarbejdet mellem skole og hjem? Om pædagogiske forskning? osv. Det ville give mulighed god indsigt i, hvad evidens er, hvad der findes af evidens osv. Jeg tænker, at det må være meget relevant i en tid, hvor der er dømt evidensbaseret pædagogik, og mange råber, “det virker” i munden på hinanden, hvilket stiller store krav til vores kritiske evner. For mig er nogle vigtige spørgsmål derfor:
    – Hvad vil det sige, at det virker?
    – Virker det på en etisk forsvarlig måde?
    – For hvem virker det?
    – I hvilken retning?
    – Hvordan virker det på lang sigt?
    – Hvordan har man fundet ud af det? Hvad er det spurgt til? Hvordan er der spurgt?

    Så skal det understreges at evidens ikke er sikker viden – den kan vise sig at være forkert! Evidens må derfor altid forholdes til dømmekraft og ansvar.

    Et eksempel fra debatten om PALS: PALS virker men på bekostning af hvad??
    http://www.aoib.dk/artikel/pals-virker%E2%80%A6-men-paa-bekostning-af-hvad

    Se desuden min side om PALS skoler og forskning: https://peadagogikogdidaktik.wordpress.com/laererens-side/pals-skoler/

    Svar
  2. Nanna Holmgaard Andersen

    Evidens om PALS og nationale test

    Min studiegruppe gik sidste år i dybden med den påståede evidensbaserede baggrund for PALS. Alle danske kilder inkl. sevicestyrelsen lægger vægt på, at PALS er evidensbaseret og at det er netop dette, der berettiger en bred indførelse på danske skoler. Ingen af dem kan dog henvise til den forskning, der har frembragt evidensen. Det nærmeste er et foreløbigt studie i Norge, hvor forskernes konklusion er, at der skal flere og længerevarende undersøgelser til, før man kan afgøre effekten. Følger man tråden tilbage til USA, er der adskillelige også afsluttede forskningsprojekter på et lignende system, men her er det i forhold til det amerikanske skolesystem og dets tungeste problemer såsom våben i skolen og kriminelle unge. Jeg håber, der er nogen i Servicestyrelsen, der har røde ører…

    Så har Dansk Celaringhouse jo begået et særdeles interessant review om effekten af nationale test. Det mest interessante er måske konklusionernes antal og forskernes egen vurdering af resultaterne. Det er nemlig balancegang på højt niveau at udvælge projekter, der både handler om relevante emner, baseres på pålidelige metoder og kan sammenlignes med danske skoleforhold, og resultaterne er derfor forholdsvist fragmenterede. Som jeg ser det, er faren herved, at enhver kan drage noget ud af rapporten, som passer bedst i dennes perspektiv. Og det er meget nemt at negligere forskernes forbehold i forhold til evidensens styrke.

    Evidens giver altså nogle forholdsvist tynde resultater, som i løbet af kort tid kan blive væltet af anden evidens. Derfor mener jeg også at læreres og i særdeleshed politikeres dømmekraft er strengt nødvendig.

    Svar
  3. Peter Sandbøl

    Det er godt nok en ordentlig mundfuld spørgsmål på en gang.🙂
    Dem agter jeg ikke, at forsøge at besvare enkeltvis, da der er et utal of interfererende parametre.
    In min optik, gælder det først og fremmest om, at kunne forholde sig kritisk til det publicerede materiale.
    Det vil i de fleste tilfælde sige, at man er nødt til, at gå bag om de forskellige reviews og i et rimeligt omfang gennemgå noget af primærlitteraturen for, at få en fornødent grundlag at forholde sig kritisk ud fra.
    Reviewproducenter kan jo også have en egen eller opdragsgiver betonet politisk indfaldsvinkel.
    Desværre, er det oftest sådan med reviews, at de langt hen ad vejen bliver taget for gode varer og især i det politiske cirkus tages til indtægt som den endegyldige sandhed.
    Dette formidles til samfundet og alle ender med, at være snot forvirrede, når nogen på et senere tidspunkt melder anderledes ud.
    Her er Best presently Available Knowledge en nøglefaktor (som jeg ser det). Lad mig lige indskyde, at jeg ikke kan se hvad ordet presently laver i denne sammenhæng, da det jo ligger implicit i definitionen på BAK, tilsvarende BAT som er Best Available Techonology, der bl.a. bruges i forbindelse med miljøregulerende tiltag.
    Jeg mener, at der helt klart mangler en tydelig udmelding på, at alle tiltag altid foretages på baggrund af den aktuelt tilgængelige viden. Dette er desværre ikke så evident –🙂 – da det i mange tilfælde er mere opportunt, at gribe tingene ude af sammenhæng, når det drejer sig om, at anvende dem i et politisk øjemål.
    En sidste kommentar er til det generelle problem der er med både reviews og de anvendte og de kasserede artikler.
    Mange af de parametre, der undersøges i en pædagogisk, psykologis og læringsmæssig sammenhæng er kvalitative. Ergo er den evidens, der ligger i mindre undersøgelser svær, at drage generelle informationer fra og den vil typisk blive udelukket fra et review. Følgelig bliver reviews kun baseret på større undersøgelser med en vis stringens i tilgangen til det undersøgte og dette er ofte undersøgelse, der nærmer sig en kvantitativ beskrivelse af de kvalitative observationer.
    En måde, at forsøge at undgå dilemmaet med de kvalitative undersøgelser på, er – som det forekommer i USA – at lave standardiserede beskrivelser af kvalitative observationer, således at de kan omskrives til kvantitative data og dermed behandles statistisk.
    Det giver videnskabeligt dokumenteret evidens – eller gør det?

    Svar

Skriv et svar

Udfyld dine oplysninger nedenfor eller klik på et ikon for at logge ind:

WordPress.com Logo

Du kommenterer med din WordPress.com konto. Log Out / Skift )

Twitter picture

Du kommenterer med din Twitter konto. Log Out / Skift )

Facebook photo

Du kommenterer med din Facebook konto. Log Out / Skift )

Google+ photo

Du kommenterer med din Google+ konto. Log Out / Skift )

Connecting to %s