Tag Archives: Evidens

Seks publikationer med viden om undervisning med fokus på læring og trivsel

Undervisningsministeriet har fået udarbejdet en række praksisrettede publikationer inden for seks temaer, for “at sikre, at viden fra uddannelsesforskningen er til rådighed for praktikerne i deres daglige arbejde på skolerne, så undervisningen tilrettelægges ud fra den bedst tilgængelige viden. Ikke sådan at der er en løsning, der kan bruges af alle, men det er afgørende, at aktørerne finder ud af, hvad der virker på netop deres skole ud fra en systematisk reflekteret praksis.”

Man skal jo altid være lidt på vagt, når nogen påstår noget om, hvad der virker i pædagogisk praksis, fordi det altid også er forbundet med normative spørgsmål, og fordi de kilder der er valgt, også er foretaget ud fra normative kriterier. Dertil kommer så, at pædagogisk praksis med dannelse som mål aldrig kan virke som effekter af tiltag, men de kan måske give mening i kraft af deltagernes fortolkninger. Mennesker reagerer ikke blot på stimuli, tiltag, interventioner –  de forholder sig til dem – som vi også kommer til at se det med disse publikationer.

De seks emner er:

Du kan læse mere om dem her. 

Jeg  ser på den ene side positivt på ideen om, at formidle forskningsresultater til praksis, som lærerne så kan drøfte kritisk og lade sig inspirere, men jeg er tvivlende overfor mulighederne for, at dette kommer til at ske set i konteksten af nye arbejdstidsregler. Hvornår skal lærerne drøfte og lade sig inspirere til forbedring af praksis? Der virker som om – nærmest lidt komisk – at der kører en reformdiskurs løsrevet fra den virkelighed, som reformen skal virkeliggøres i.  Se f.eks. mit tidligere indlæg om Knaster i den nye reform. I inspirationsmaterialet ovenfor kan man således under emnet Pædagogisk ledelse læse om en masse spændende ideer til pædagogisk udvikling. Klasseobservation af en anden lærer eller skolelederen; Microteaching, hvor den enkelte lærer optager sin egen undervisning på video og reflekterer over den bagefter; At skolelederen skal skabe rum for lærernes professionelle udvikling osv. Isoleret set lyder det meget spændende, men samtidig ser vi at mange kommuner vil spare på skoleområdet igen næste år, og at der er en lang række udfordringer, som lærerne knokler med at få fundet løsninger på i forvejen. Hmmm….

 

 

Til kritikken af den politiske uddannelsesdiskurs der er koblet fra baglandet og kulturens værdier.

For nylig så vi, at Venstre havde problemer med baglandet. Det har en del politiske partier været beskyldt for, og måske er det en generel sygdom i systemet, at politikken og altså også uddannelsespoltikken har koblet sig fra baglandet og værdierne i kulturen?

Det er jo fantastisk vigtigt ,at børn udvikler kompetencer, og for aktionærerne er det sikkert vigtigt, at de finder på nye dimser, som vi kan sælge til kineserne osv., men det begynder altså et helt andet sted! Politikere er optaget af økonomi og pædagoger og lærere er optaget af børn, og hvad ville der ske, hvis de byttede roller en enkelt valgperiode? Hvad ville der ske, hvis viden om kompetencer og økonomi blev befrugtet af viden om læring, dannelse og børn?

For det første ville politikerne opdage, at livet slet ikke foregår på Christiansborg. De ville opdage, at mennesker ikke er tal i kolonner, og meget mere end kompetence-aggregater. De ville blive mindet om, hvorfor de sidder i folkestyret, og hvad deres ansvar er. Det handler nemlig slet ikke om jakkesæt og spin – det er vi for længst blevet trætte af at se på –  men om mennesker der har valgt politikerne til at skabe et godt samfund, hvor man kan skabe et godt liv og herunder altså også en god skole, for de mennesker, der lever en del af deres liv der.

For det andet ville de opdage, at pædagogisk virksomhed ikke kan bygge på forskning i årsager og deres virkninger, fordi pædagogiske virksomhed er symbolsk formidlet interaktion (Gert Biesta). Eleverne fortolker det, som de medvirker i. Bl.a. derfor afhænger effekten af en metode eller et indhold ikke af metoden i sig selv, men af elevernes fortolkning af det, som de oplever. Mon ikke det bl.a. er derfor, at så meget af den gode og kloge pædagogik bygger på et dialogisk grundsyn?

Men lad os dvæle lidt ved elevernes fortolkninger, for hvis de er afgørende for udbyttet af pædagogisk intervention, hvad er det så, der gør, at de vælger at koble sig på undervisningen? Hvad er det, der gør, at eleverne opfatter det som meningsfuldt at bruge energi på at fordybe sig i indholdet?

Er det anerkendelse (Honneth) af eleverne og deres ret til at blive værdsat, der gør eleverne åbner sig i tillid?

Er det lærerens troværdighed i form af egen dannelse, så hun så at sige inkarnerer budskabet i sig (Den autentiske lærer) og kan fremstå som selvobjekt, som eleverne kan vælge at orientere sig efter? (Selvpsykologien, Kohut, Tønnesvang)

Er det eksemplarisk indholdsvalg (Klafki), hvor eleverne kan se meningen med indholdet i deres nutid og fremtid?

Er det sang, dansk, musik, kreativ virksomhed, leg og sjov?

Er det venlighed?

Er det relationskompetencerne?

Eller er det Ove Kaj Pedersens forslag om, at de skal være soldater i konkurrencestaten? Undervisningseksperten/ teknikeren, der vælger den mest effektive metode til at nå et mål, som andre har fastsat?

For det tredje ville de måske opdage, at der ikke er findes nogen opskrift på pædagogisk praksis….det er en måde at tænke på, som det handler om. Jf Hattie, der siden Visible learning er blevet det store ikon på området, der bl.a. understøtter dette.

Det ville måske også betyde, at man ville genoverveje, hvordan fordelingen af midlerne til henholdsvis forskning og undervisning skal være i vores samfund.

 

(Det er sådan ikke fordi, at vi ikke har fået overlevet gode indsigter, der burde minde om os, at pædagogiske virksomhed aldrig kan blive et teknisk anliggende, hvor det blot handler om, at vælge de mest effektive midler til at nå nogle samfundsbestemte mål med.  (Aristoteles talte om forskellige praksisbegreber – poiesis og praxis – knyttet til forskellige typer af virksomhed. Habermas om strategisk og kommunikativ handlen og systemets kolonialisering af livsverdenen, der bl.a. består af kulturen og dermed også dannelsen. Biesta og hans kritik af evidensbaseret undervisning og accountabilitylogikken. Peter Kemp der med henvisning til Adorno taler om halvdannelse i forbindelse med et interview om den nye skolereform. Mange andre kunne nævnes. Det er mere fordi, den politiske diskurs har glemt disse indsigter om uddannelse, og at den afkoblet den pædagogiske virkelighed og de værdier, som vi har i folkeskolens formål).

 

 

 

 

 

 

 

 

 

 

 

 

 

Undervisningskvalitet. Andreas Helmke 2013.

I bogen Undervisningskvalitet og lærerprofessionalitet, Dafolo 2013, skitseres ti almen didaktiske kvalitetsområder.

  • Klasseledelse.
  • Klarhed og struktur.
  • Konsolidering og sikring af det lærte.
  • Aktivering.
  • Motivation.
  • Læringsfremmende miljø.
  • Elevorientering.
  • Kompetenceorientering.
  • Håndtering af heterogenitet.
  • Mangfoldighed.

Andreas Helmke. Undervisningskvalitet og lærerprofessionalitet, Dafolo 2013, s. 123.

Helmke har et par sider med forbehold, hvor han bl.a. skriver: “En  kompetent omsætning af disse principper til undervisningsplanlægning og -refleksion er nødvendig, og det omfatter tilsvarende styring, koordinering og monitorering og megen kreativitet i håndteringen af usikkerhed og overraskelser.” Ibid. s. 124.

Og videre…””God undervisning” er ikke identisk med en optimal og slet ikke med en maksimal forekomst af alle kendetegn alene af den grund, at der findes vidt forskellige mønstre for vellykket undervisning, og at styrker på et område kan kompensere for mangler på et andet….Desuden…afhænger vurdering af undervisningen af det pågældende fag, klassesammensætningen og især af de mål, undervisningen retter sig imod.”

Kendetegnene er “at betragte som et skema til at orientere sig efter, som fra tid til anden kan være grundlag for en undervisningsrelateret selvrefleksion…” s. 125

Helmke henter det empiriske grundlag for kvalitetsområderne mange steder. Studier fra uddannelsesforskning som TIMMS og PISA. Litteratur om temaet som Handbook on Reseach on Teaching og Handbook of Educational Psychology. Metanalyser, hvor de nyeste der nævnes er:

1) “Teaching Effectiveness Research in the Past decade af Seidel, T. & Shavelson, R. J. (2007). IReview of Educational Research, nr. 77.

2) Visible Learning af John Hattie 2009 suppleret med Synlig læring – for lærere. (2013).

Læs mere om Visible Learning her.

Se oversigt over forskning i god undervisning her.

Evidenssynteser fra diverse evidensbaser.

Her under er der eksempler på link, der omhandler synteser og praktiske guides på baggrund af evidens, hvilket ser ud til at blive mere udbredt som et forsøg på at besvare spørgsmålet om, hvordan forskningen indenfor uddannelse kommer praktikeren til gode.

EVIDENS SYNTESER

Linksamlingen bliver opdateret, når jeg finder inspirerende synteser, og findes i højre side af skærmbilledet under Link her på bloggen. Du kan evt. selv gå på jagt i de forskellige evidensbaser:

EVIDENS

Jeg vil i den sammenhæng genkalde Biestas (2011) kritik af evidensbaseret pædagogik fra bogen God Uddannelse i målingens tidsalder:

“at uddannelse ikke kan forstås som en intervention eller ‘behandling’ på grund af uddannelsespraksissens ikke-kausale og normative natur og på grund af den kendsgerning, at uddannelsens midler og mål er internt forbundet med hinanden. Dette indebærer, at uddannelsesområdets fagfolk må foretage vurderinger af, hvad der er uddannelsesmæssigt ansvarligt.” s. 58

“at forskning ikke kan forsyne os med regler for handling, men kun med hypoteser for intelligent problemløsning. Forskning kan kun fortælle os, hvad der har virket i en bestemt situation, ikke hvad der vil virke i en fremtidig situation.” s. 58 (Dewey syn på erkendelse og handling bruges som teoretisk ramme her) (Se evt. Mere under ‘Hvad er praksis?’ på Bloggen).

“at det omfang, hvormed forskning kan spille en teknisk og/eller kulturel rolle, kan anskues som en indikation af et samfunds demokratiske kvalitet.” s. 59 (“Et demokratisk samfund er med andre ord karakteriseret ved eksistensen af en åben og oplyst diskussion om problemdefinitioner og vores uddannelsesmæssige bestræbelsers mål og formål. Den kendsgerning at hele diskussionen om evidensbaseret praksis kun synes at have tekniske forventninger til forskningens praktiske rolle, er derfor et bekymrende tegn set fra et demokratisk perspektiv.” s. 57).

“at vi altid er nødt til at stille det spørgsmål, hvorvidt vores mål er ønskværdige i relation til den måde, hvorpå vi måske er i stand til at opnå dem. Når vi taler uddannelse, handler det yderligere spørgsmål, der altid må stilles, om den uddannelsesmæssige kvalitet af vores mål, dvs om, hvad elever og studerende vil lære gennem vores brug af bestemte midler og strategier.” s. 59f.

Indenfor forskningen i effektiv undervisning findes ligeledes kraftige forbehold. Som eksempel siger John Hattie følgende om Visible Learning (2009), der vel må siges at være den mest omfattende undersøgelse af, hvad der virker: “Budskaberne i Visible Learning er ikke endnu en opskrift på succes, endnu en jagt på sikkerhed, endnu en afsløring af sandheden. Der findes ingen opskrift, intet sæt arbejdsark til professionel udvikling, ingen ny undervisningsmetode og ingen fiks og færdig udvej. Det handler om en måde at tænke på, nemlig: “Min rolle som lærer er at evaluere den effekt, jag har på mine elever.” (Synlig Læring. John Hattie. Dafolo 2013, s. 47).

Gert Biesta – Video (2013)- God uddannelse i målingens tidsalder.

<p><a href=”http://vimeo.com/32803752″>Gert Biesta Asterisk TV</a> from <a href=”http://vimeo.com/fremtidensau”>Aarhus Universitet</a> on <a href=”http://vimeo.com”>Vimeo</a&gt;.</p>

Gert Biesta: Good Education in an Age of Measurement

21 February 2013
Gert Biesta, University of Luxembourg
Good Education in an Age of Measurement

Læs udvalgte noter fra God uddannelse i målingens tidsalder her på bloggen. Søg på Biesta i søgefeltet.

Evaluering af PALS på 11 pilotskoler i Danmark 2012 – et kritisk blik.

I dette indlæg vil jeg redegøre kort for en nyere evaluering af PALS, tilføje nogle få kritiske kommentarer, og rejse nogle spørgsmål. Kilden er Positiv adfærd i læring og samspil (PALS) En evaluering af en skoleomfattende intervention på 11 pilotskoler. Olsen, Peter Skov m.fl. SFI –Det Nationale Forskningscenter for velfærd. 2012.

Rapporten evaluerer de 11 første danske PALS-pilotskoler.

PALS indgår i rapporten under betegnelsen “manualbaserede behandlingsmetoder”, der er implementeret i Danmark af Socialstyrelsen. (Olsen 2012, s.13). “Overordnet har programmet PALS…til formål at modvirke antisocial adfærd hos eleverne og skabe mere inklusion blandt eleverne.” (Ibid. s. 13)

Der grund til at fremhæve at par kritiske forhold vedr. validiteten af undersøgelsen:

Der er tale om spørgeskemaundersøgelser, hvor 63% af lærerne (med gyldig e-mail) har svaret. Så er der indhentet nogle registerbaserede data.

Der er ifølge rapporten  ikke lavet sammenligninger med kontrolskoler (i forhold til de områder, som man spørger ind til i spørgeskemaerne) , hvor der ikke er indført PALS, men hvor man måske gør noget andet. John Hattie har i den forbindelse lavet en ranking over forskellige effekter (Se listen over effekter her),  i Visible Learning, 2009, s. 297 ff.  En effekt på 0.40 “sets a level where the effects of innovation enhance achievement in such a way that we can notice real-world differences….” Ibid, s. 17. Tallet fremkommer ved, at hvis man sammenligner hundredevis af tiltag, så er den gennemsnitlige effekt 0.4. Det vigtige er derfor ifølge Hattie, at vi ikke vurderer i forhold til værdien 0, men sammenligner de forskellige tiltag i relation til hinanden. (Relativ vurdering). På den måde undgår vi ifølge Hattie, at alt kan legitimeres, fordi det meste har en virkning. “Uanset hvad vi gør, så virker det!”. Perspektivet for Hattie er, at vi fokuserer på størrelsen af effekterne sammenlignet med andre effekter! Skolerne er ikke tilfældig valgt. De er med andre ord ikke nødvendigvis repræsentative for skoler i Danmark. Andre skoler ville måske opnå andre resultater.

Der er ikke lavet undersøgelser af, hvordan forholdende var før PALS blev implementeret. Man ved med andre ord ikke, hvad der var udgangspunktet. F.eks. peger undersøgelsen på, “at lærerne og det øvrige personale på skolerne oplever PALS som et godt grundlag for at forbedre læringsmiljøet, om end en del lærere angiver, at der også før PALS var tale om et godt læringsmiljø.” (Olsen 2012, s.120).

Set fra en anden vinkel, er der altså indført “manualbaserede behandlingsmetoder” med det formål at “modvirke antisocial adfærd hos eleverne og skabe mere inklusion blandt eleverne”, uden der er et klart billede af, om der i  det hele taget er behov for det?

Forfatterne udtrykker kritikken på deres egen måde: “Denne evaluering af PALS har vist foreløbige tegn på, hvordan PALS sætter sine spor på pilotskolerne, men kan ikke svare på det ultimative spørgsmål om, hvad effekterne er af PALS.” Olsen 2012, s.109 Der er altså tale om tegn, de er foreløbige, og man kan ikke svare på, hvad effekterne er!

Og videre hedder det. “PALS er fortsat på et relativt tidligt stadie i Danmark, hvorfor det er for tidligt at måle effekter, og samtidig mangler der egnede evalueringsmål. Det er for tidskrævende i forhold til denne evaluerings rammer at opbygge egnede effektmål, hvorfor rapporten har afdækket indikationer på PALS´ virkning.” Olsen 2012, s.117.

Med de forbehold kan man se på disse foreløbige tegn, og her er nogle uddrag fra rapportens resultater – konklusionen:

“Spørgeskemaundersøgelsen er i sin udformning inspireret af Sørlie & Ogdens (2007) norske PALS-evaluering og belyser pilotskole-ansattes vurderinger af, hvorvidt skoleforhold, klasseforhold og psykosocialt arbejdsmiljø er forbedret efter PALS. Resultaterne har vist følgende:

  • Skolemiljøet vurderes gennemgående for alle skoler at være forbedret. Særligt følgende er yderst positivt vurderet: 1) skolens ansatte er blevet bedre til at håndtere vanskelige elever (angives af 86 pct.), og 2) eleverne tager mere hensyn til hinanden nu end for 3 år siden (angives af 81 pct.). Til gengæld angiver en lidt mindre andel (35 pct.), at der er færre skænderier og konflikter blandt skolens ansatte, og lidt under halvdelen af deltagerne i undersøgelsen (40 pct.) angiver, at skolens ansatte sjældnere er udsat for trusler om vold fra eleverne sammenlignet med for 3 år siden.
  • Klassemiljøet vurderes ligeledes gennemgående for alle skoler at være forbedret. Hele 73 pct. af lærerne i undersøgelsen vurderer , at elevernes adfærd overfor hinanden er forbedret, og samtidig vurderer 73 pct., at læringsmiljøet på skolen alt i alt er forbedret. Et stort flertal angiver, at eleverne er blevet bedre til at gøre, som de bliver bedt om. Derimod er det kun knap hver femte lærer (19 pct.), der angiver, at eleverne har mindre ulovligt fravær end for 3 år siden, og knap en fjerdedel af lærerne (23 pct.) mener, at elevernes motivation og engagement i undervisningen er forbedret. (Min parentes: Hvad viser andre tiltag af effekter jf. Hatties 2009? Hvor vigtig er motivationen og engagement i undervisningen sammenlignet med f.eks. elevernes adfærd i forhold til at gøre, hvad de bliver bedt om? Hvad er det for en opfattelse af læring, der ligger bag angivelserne af, at læringsmiljøet er forbedret? Osv.)
  • Psykosocialt arbejdsmiljø angives overordnet af de ansatte som værende enten forbedret eller uændret. Mest positivt har de ansatte besvaret spørgsmålet om, hvorvidt “det alt i alt er blevet en bedre arbejdsplads” (58 pct. har tilkendegivet dette). Men samtidig har henholdsvis 17 og 26 pct. angivet, at forholdene “indflydelse på dit arbejde” og “arbejdspres” er forværret inden for de sidste 3 år.

Overordnet set peger …undersøgelsen på, at lærerne og det øvrige personale på skolerne oplever PALS som et godt grundlag for at forbedre læringsmiljøet, om end en del lærere angiver, at der også før PALS var tale om et godt læringsmiljø, og at det er blevet lettere at håndtere elever i adfærdsvanskeligheder. Det skal dog understreges, at der er markante forskelle på besvarelserne pilotskolerne imellem, mens der ingen nævneværdige forskelle er på besvarelserne set i forhold til køn, alder og anciennitet.” Olsen 2012. S. 119 f.

Så er der indsamlet nogle registerbaserede data, og her er konklusionen meget klar!:

  • Der kan ved skolernes andet implementeringsår ikke spores nævneværdige forskelle på udviklingen i antallet af elever, der modtager specialundervisning i specialklasser blandt elever på PALS-pilotskolerne og de respektive kommuners skoler i øvrigt.
  • Der kan ved skolernes andet implementeringsår ikke ses forskelle i afgangselevernes karakterer i fagene dansk og matematik
  • Der kan ved skolernes andet implementeringsår ikke ses forskelle på PALS-pilotskolerne med hensyn til at nedbringe det ulovlige fravær.” Olsen 2012, s. 120

Der er altså INGEN nævneværdige effekter ifølge undersøgelsen, men indikationer og tegn på, at eleverne er blevet bedre til at gøre, hvad de bliver bedt om, at læringsmiljøet er blevet bedre – uden vi ved, hvad der så ligger i det – at under en fjerdedel af lærerne mener, at elevernes motivation og engagement i undervisningen er forbedret Osv..  Det kunne være rigtig spændende, om SFI eller andre forskningsinstitutioner fik lavet nogle systematiske sammenligninger af koncepter, så vi kunne se om tiltagene er værd at bruge energi og kræfter på. Og det kunne ligefrem være perspektivrigt, hvis man fra politisk hold understøttede nogle tiltag, der var lidt bredere end “manualbaserede behandlingsmetoder” som PALS, og som havde nogle lidt mere ambitiøse mål end “at modvirke antisocial adfærd hos eleverne og skabe mere inklusion blandt eleverne” – det er jo trods alt folkeskolen, vi taler om.

Læs en kritisk artikel om PALS her.

Undervisningens hellige gral? John Hattie 2009. Hvad viser undersøgelsen?

Hatties undersøgelse Visible Learning har været omtalt mange steder siden den udkom i 2009. På Videnskab.dk kan vi f.eks. læse, at undersøgelsen peger på, at dygtige lærere er det vigtigste i forhold til elevernes udbytte af undervisningen. http://videnskab.dk/kultur-samfund/dygtige-laerere-er-vigtigst-undervisningen.

Per Fibæk Laursen hævder, at Hatties undersøgelse viser, at meget af det vi drøfter i den offentlige debat om skolen, kun er af symbolsk betydning : “Computere er nr. 71, hyppig testning af eleverne nr. 79, niveaudeling af hensyn til højtbegavede elever nr. 87, flere penge nr. 99 og lavere klassekvotient nr. 106. Sagt lidt mere firkantet
med mine egne ord: Meget af, hvad der diskuteres i den offentlige
og politiske debat om skolen, er uden større virkning på elevernes udbytte. Mange computere, hyppig testning og særlige programmer for talentfulde osv. – alt dette er stort set kun af symbolsk betydning.” KvaN 84, 2009, s. 10f. http://samples.pubhub.dk/9788792871008.pdf

Man hvad viser undersøgelsen egentlig?

Hør Hattie fortælle om det her:

Du kan finde bogen Visible learning på Google Books, hvor du kan se de første 205 sider. Klik her.

Hattie kaldte undersøgelsen Visible Learning, fordi han mener, at det afgørende er at gøre læringen synlig for lærerne! Hvordan vi gør det, synes at være en af de store udfordringer, set i lyset af undersøgelsen?

Hatties svar er:

Her følger en oversigt over den ranking, der findes i Visible Learning, John Hattie, 2009, s. 297 ff. En effekt på 0.40 “sets a level where the effects of innovation enhance achievement in such a way that we can notice real-world differences….” Ibid, s. 17. Tallet fremkommer ved, at hvis man sammenligner hundredevis af tiltag, så er den gennemsnitlige effekt 0.4. Det vigtige er derfor ifølge Hattie, at vi ikke vurderer i forhold til værdien 0, men sammenligner de forskellige tiltag i relation til hinanden. (Relativ vurdering). På den måde undgår vi ifølge Hattie, at alt kan legitimeres, fordi det meste har en virkning. “Uanset hvad vi gør, så virker det!” (10.30). Perspektivet for Hattie er, at vi fokuserer på størrelsen af effekterne! Vi skal i stedet se på, hvad der har størst effekt på elevernes udbytte af undervisningen.

Undersøgelsen fokuserer på seks faktorer: Barnet, hjemmet, skolen, læseplanen, læreren og undervisningen.

(Rank  Domain Influence d)

1 Student Self-report grades 1.44

(Elevens forventninger til sit eget standpunkt)

2 Student Piagetian programs 1.28

(Elevens cognitive udvikling – især i matematik kan måles en afgørende betydning. 0.73. (0.40 i læsning).  Ibid. s. 43)

3 Teaching Providing formative evaluation 0.90

4 Teacher Micro teaching 0.88

(Videooptagelser af undervisningen med henblik på refleksion og udvikling)

5 School Acceleration 0.88

6 School Classroom behavioral 0.80

7 Teaching Comprehensive interventions for learning disabled students 0.77

8 Teacher Teacher clarity 0.75

9 Teaching Reciprocal teaching 0.74

10 Teaching Feedback 0.73

11 Teacher Teacher-student relationships 0.72

12 Teaching Spaced vs. mass practice 0.71

13 Teaching Meta-cognitive strategies 0.69

14 Student Prior achievement 0.67

15 Curricula Vocabulary programs 0.67

16 Curricula Repeated reading programs 0.67

17 Curricula Creativity programs 0.65

18 Teaching Self-verbalization/self-questioning 0.64

19 Teacher Professional development 0.62

20 Teaching Problem-solving teaching 0.61

21 Teacher Not Labeling students 0.61

22 Curricula Phonics instruction 0.60

23 Teaching Teaching strategies 0.60

24 Teaching Cooperative vs. individualistic learning 0.59

25 Teaching Study skills 0.59

26 Teaching Direct Instruction 0.59

27 Curricula Tactile stimulation programs 0.58

28 Curricula Comprehension programs 0.58

29 Teaching Mastery learning 0.58

30 Teaching Worked examples 0.57

31 Home Home environment 0.57

32 Home Socioeconomic status 0.57

33 Teaching Concept mapping 0.57

34 Teaching Goals 0.56

35 Curricula Visual-perception programs 0.55

36 Teaching Peer tutoring 0.55

37 Teaching Cooperative vs. competitive learning 0.54

38 Student Pre-term birth weight 0.54

39 School Classroom cohesion 0.53

40 Teaching Keller’s PIS 0.53

41 School Peer influences 0.53

42 School Classroom management 0.52

43 Curricula Outdoor/adventure programs 0.52

44 Teaching Interactive video methods 0.52

45 Home Parental involvement 0.51

The meta-analyses by rank order

Appendix B

46 Curricula Play programs 0.50

47 Curricula Second/third chance programs 0.50

48 School Small group learning 0.49

49 Student Concentration/persistence/engagement 0.48

50 School School effects 0.48

51 Student Motivation 0.48

52 Student Early intervention 0.47

53 Teaching Questioning 0.46

54 Curricula Mathematics 0.45

55 Student Preschool programs 0.45

56 Teacher Quality of Teaching 0.44

57 Curricula Writing Programs 0.44

58 Teacher Expectations 0.43

59 School School size 0.43

60 Student Self-concept 0.43

61 Teaching Behavioral organizers/Adjunct questions 0.41

62 Teaching Matching style of learning 0.41

63 Teaching Cooperative learning 0.41

64 Curricula Science 0.40

65 Curricula Social skills programs 0.40

66 Student Reducing anxiety 0.40

67 Curricula Intergrated Curriculum Programs 0.39

68 School Enrichment 0.39

69 Curricula Career Interventions 0.38

70 Teaching Time on Task 0.38

71 Teaching Computer assisted instruction 0.37

72 Teaching Adjunct aids 0.37

73 Curricula Bilingual programs 0.37

74 School Principals/school leaders 0.36

75 Student Attitude to mathematics/science 0.36

76 Curricula Exposure to reading 0.36

77 Curricula Drama/Arts programs 0.35

78 Student Creativity 0.35

79 Teaching Frequent/effects of testing 0.34

80 School Decreasing disruptive behavior 0.34

81 Student Drugs 0.33

82 Teaching Simulations 0.33

83 Teaching Inductive teaching 0.33

84 Student Positive view of own ethnicity 0.32

85 Teacher Teacher effects 0.32

86 Teaching Inquiry based teaching 0.31

87 School Ability grouping for gifted Students 0.30

88 Teaching Homework 0.29

89 Home Home visiting 0.29

90 Student Exercise/relaxation 0.28

91 School Desegregation 0.28

92 School Mainstreaming 0.28

93 Curricula Use of calculators 0.27

94 Curricula Values/moral education programs 0.24

95 Teaching Programmed instruction 0.24

96 Teaching Special college programs 0.24

97 Teaching Competitive vs. individualistic learning 0.24

98 School Summer school 0.23

99 School Finances 0.23

100 Teaching Individualized instruction 0.23

101 School Religious Schools 0.23

102 Student Lack of Illness 0.23

103 Teaching Teaching test taking 0.22

104 Teaching Visual/audio-visual methods 0.22

105 Teaching Comprehensive teaching reforms 0.22

106 School Class size 0.21

107 School Charter Schools 0.20

108 Teaching Aptitude/treatment interactions 0.19

109 Student Personality 0.19

110 Teaching Learning hierarchies 0.19

111 Teaching Co-/team teaching 0.19

112 Teaching Web-based learning 0.18

113 Home Family structure 0.17

114 Curricula Extra-curricular programs 0.17

115 Teaching Teacher immediacy 0.16

116 School Within class grouping 0.16

117 Teaching Home-school programs 0.16

118 Teaching Problem-based learning 0.15

119 Curricula Sentence combining programs 0.15

120 Teaching Mentoring 0.15

121 School Ability grouping 0.12

122 Student Gender 0.12

123 Student Diet 0.12

124 Teacher Teacher training 0.11

125 Teacher Teacher subject matter knowledge 0.09

126 Teaching Distance Education 0.09

127 School Out of school curricula experiences 0.09

128 Curricula Perceptual-Motor programs 0.08

129 Curricula Whole language 0.06

130 School College halls of residence 0.05

131 School Multi-grade/age classes 0.04

132 Teaching Student control over learning 0.04

133 School Open vs. traditional 0.01

134 School Summer vacation -0.09

135 Home Welfare policies -0.12

136 School Retention -0.16

137 Home Television -0.18

138 School Mobility -0.34