Hattie – slutsatser, tolkningar och metodologiska problem

visible-learning-meta-study-by-john-hattie-

En forskare som är i ropet bland lärarutbildningar och fortbildningar i Sverige är John Hattie. Jag tänker nedan redogöra för det väsentliga i hans studie Synligt lärande (Natur och Kultur har också tryckt boken i svensk översättning) samt komma med kritik och beröm.

Hatties studie är en meta-metasyntes baserad på mer än 50 000 studier med 80 miljoner deltagande elever. Studierna Hattie sammanför tittar på faktorer som påverkar elevers studieprestationer. Genom studien utvecklas en metod som kan visa och rangordna positiva och negativa effekter på elevers resultat. Sammantaget analyseras 138 faktorer och rangordnas efter sina effektstorlekar. Faktorerna delas in i sex kategorier – eleven, hemmet, skolan, läraren, läroplanen/utvecklingsprogram och undervisningen. Hatties syfte är att få fram en sammanhållen idé om vad som är viktigt för att tydliggöra och påverka elevers studieresultat. Hattie har dessutom ett tydligt forskningssyfte, hans resultat ska enligt honom själv ses som en ingång till vidare forskning och bör kompletteras med kvalitativ forskning. Utifrån de effekter som får hög positiv effekt har han utformat en punktlista för vad som ger bra skola:

  • Det läraren vet, kan och gör är en av de starkaste påverkansfaktorerna på lärande.

  • Lärare behöver vara instruktiva, påverkande, omhändertagande, aktivt och passionerat engagerade i undervisning och lärande.

  • Lärare behöver vara medvetna om vad varje elev tänker och kan för att skapa meningsfulla erfarenheter i ljuset av detta, samt själv ha goda kunskaper om sitt ämne för att kunna erbjuda meningsfull återkoppling till stöd för elevens progression.

  • Lärare behöver kunna lärandemålen och kriterierna för måluppfyllelse för sina lektioner och veta hur bra de når dessa kriterier för alla sina elever, samt veta vad som är nästa steg, i ljuset av skillnaden mellan elevernas nuvarande kunskap och kriterierna för måluppfyllelse.

  • Lärare behöver röra sig från de enskilda idéerna till mångfalden av idéer, relatera till dessa och sedan erbjuda dem så att eleverna konstruerar och rekonstruerar kunskap och idéer. Det är inte kunskapen eller idéerna, utan elevernas konstruktion av denna kunskap och dessa idéer som är det kritiska

  • Skolledare och lärare behöver skapa skolor, personalrum och klassrumsmiljöer där misstag välkomnas som en möjlighet för lärande, där förkastad felaktig kunskap och förståelse är välkommen och där deltagarna kan känna trygghet i att lära och lära igen och utforska kunskap och förståelse

Sammantaget är alltså lärarens betydelse fundamental. Av 30 faktorer som har högst positiv effekt är 19 stycken kopplade till läraren, undervisningen och uppföljning av undervisningen.

Vid en närmare blick på kategorin läraren i studien ser man att variablerna lärarutbildning och ämneskunskaper hamnar långt ner på listan över effekter (se bild nedan).

tabell hattie lärareBilden är hämtad från sida 29

Innan man drar slutsatser utifrån detta bör man läsa det finstilta om dessa variabler: Lärarutbildingsvariabelns effekt är inte utifrån en jämförelser mellan icke-utbildade och lärarutbildade utan mellan olika typer av lärarutbildningar, det kan alltså handla om skillnader i kvalitet på utbildningarna som påverkar utfallet. Och ämneskunskaper ger hög effekt om det kompletteras med  andra förmågor, exempelvis tydlighet i undervisningen. Slutsatsen att lärarutbildning eller ämneskunskaper är oviktiga utifrån Hatties resultat blir dock märklig. Däremot så skulle resultatet kunna berättiga att vissa delar är bättre än andra i utbildningen av lärare och lärarstudenter. Förmodligen kan vissa av variablerna här  förklara variationen i andra (läs ett längre resonemang om dessa metodologiska frågorna här och här), på vilket sätt och hur mycket skulle kunna vara en fråga för svensk skolforskning.

Exemplet ovan visar att Hattie bör studeras närmare för att man ska förstå studien och dess syften. Den svenska Hattie-debatten har präglats av att man har plockat ut russinen ur kakan och använt dem för sina syften, läs ett längre resonemang kring denna kritik här. Till exempel har Sveriges kommuner och landsting (SKL) glatt hävdat att Hattie ger bevis för att resurser är oviktigt och att IT i undervisning alltid är bra. Men för elever med låg socioekonomisk bakgrund spelar resurser roll och IT-metoden en-till-en har inte direkt positiv effekt i jämförelse med andra faktorer. Hattie stora mängd data har svårt att ta dessa nyanser i beaktande och detta bör man vara medveten om. Hattie har själv vädjat till beslutsfattare att inte fastna i en fixering vid att rangordna ett antal faktorer. Hattie kan inte svara på alla frågor – däremot skapa nya frågor.

Jonas Vlachos, nationalekonom och skolforskare, påpekar (sida 19) Hatties metodologiska problem. En framgångsfaktor för höga resultat är till exempel att en elevs skolgång snabbas på medan en variabel som har mest negativ effekt är att gå om en klass – kan man då utifrån detta dra slutsatsen att mindre tid i skolan är bra och mer tid är dåligt? Vlachos hävdar att man knappast  kan dra denna slutsats. Studien saknar således verktyg för att hantera att de elever som går om en klass ofta är svagpresterande och de elever som går upp en klass ofta är högpresterande. Studier som däremot kan hanterar denna så kallade elevselektion visar istället det motsatta – mer tid i skolan indikerar högre resultat. För att förstå Hattie på rätt sätt så behöver man alltså vara medveten om att de studier han sammanfört har olika kvalitet.

Efter ha gett Hattie och hans tolkar en del ris är det så dags för ros. Länge har svensk skolforskning präglats av kvalitativa studier, ofta teoretiserade utifrån hermeneutiska angreppssätt med intervjuer som metod och med lite empiri som grund. Hatties studie är något nytt i svensk skolforskningskontext – en evidensbaserad studie. Denna typ av studier kommer från början från medicinsk forskning. Forskningen utgår från metoden randomiserade försök, det vill säga att man har ett slumpmässigt urval av personer som har en viss åkomma gemensamt och som behandlingsmetoden (intervention) sedan testas på, i skolans värld kan det till exempel vara att läraren har fått utbildning i en specifik undervisningsmetod. Parallellt har man sedan också en kontrollgrupp av personer som inte mottar interventionen. Utifrån resultatet av studien kan man således ”finna evidens” för att den undersökta metoden (interventionen) har haft effekt. Om Hattie kan bidra till att skolforskningen får mer av denna forskning – som visar vad som faktiskt fungerar – är det positivt. Framtiden för evidensbaserade studier ser ljus ut, även fast den givetvis också ska problematiserar – exempelvis är det kanske inte önskvärt att den direkt ska fungera som inom medicinen. Hattie kan ändock vara en start på ett paradigmskifte i svensk skolforskning.

/Elias Dietrichson

Annonser

FLS är en fristående ämneslärarförening. Vi vill vara en samlande kraft för samhällslärarkollegiet. Här kan du finna inspiration, gemenskap & fortbildning

Tagged with: , , , , , , ,
Publicerat i Forskning, Fortbildning, Internationellt, Skolpolitik, Utbildningsvetenskap och pedagogik
8 comments on “Hattie – slutsatser, tolkningar och metodologiska problem
  1. Kristofer Eriksson skriver:

    ”För att förstå Hattie på rätt sätt så behöver man alltså vara medveten om att de studier han sammanfört har olika kvalitet.”.

    Nej det behöver man inte. Om man har tillräckligt många studier spelar det ingen roll om många eller några är bra eller dåliga.
    http://sv.wikipedia.org/wiki/Centrala_gr%C3%A4nsv%C3%A4rdessatsen

    På samma sätt pekar PISA på att svenska elever tappar kunskaper. Vi behöver inte ta hänsyn till att proven eleverna skriver har olika kvalitet. Har vi tillräckligt många elever spelar det ingen roll, ty summan av många likfördelade stokastiska variabler är normalfördelade. Elegant bevisat av Pierre-Simon Laplace.

    Det enda man behöver förstå är att effekterna som mäter detta är mätta före och innan och de är enskilt separerade med hjälp av matematik. Att enskilt direkt mäta hur det är att gå om ett år i skolan är omöjligt eftersom det också innebär att man går ett extra år i skolan. Det är omöjligt att utföra, men med hjälp av matematik kan man räkna ut effekten av att gå om ett år i skolan borträknat att man faktiskt går ett år extra i skolan.

    Samma exempel kan vi tillämpa på klasstorlek, att det inte spelar någon roll. Vilket Hattie verkar skapa starka indikationer på att så är fallet. Men i verkligheten förändras fler faktorer än bara klasstorlek t.ex. lärartäthet, tid för varje elev och lärares arbetsbörda. Men om dessa faktorer hålls konstant och vi bara ändrar klasstorleken så påverkar det ingenting, vilket kan verka icke intuitivt, men det är också det som är meningen med vetenskap, att den kan uppenbara saker som vi aldrig trodde var sant. Vetenskap ger oss ett sinne som vi tidigare inte hade. Det kan alltså vara rimligare att tro att en effektivare metod är att istället för att fokusera på klasstorleken fokusera på att öka storleken på varje klass och minska lärares arbetsbörda. Detta kostar lika mycket, men verkar ge bättre resultat. Av den enkla anledningen att storleken på klassen inte verkar spela någon roll, däremot gör lärartätheten (och därmed även) lärares arbetsbörda.

    Summan av kardemumman kan alltså vara att den enskilda effekten av att gå om ett år i skolan är negativ för kunskapsutvecklingen. Det betyder inte att man tappar kunskap av att gå om ett år i skolan, utan kan dra slutsatsen (bland annat) att det året är mindre effektivt än andra skolår. Men som sagt kan man inte gå om ett skolår utan att gå ett extra år i skolan.

    • flsriks skriver:

      Tack för dina kommentarer Kristofer. Dina statistikkunskaper briljerar mina (kanske säger något om min lärarutbildning). Jag kan alltså inte fullt ut svara på denna kritik. Både när det gäller lärarutbildningsvariabeln och det om olika kvalitet kan jag bara säga så här: jag har utifrån studien och den kritik (Kornhall och Vlachos) jag har läst skrivit sammanfattande och dragit vissa slutsatser. Möjligen ligger problemet hos SKLs översättning som kanske missar detta.. Observera att jag tycker att man kan dra slutsatser utifrån Hattie och generaliteten är styrkan med hans studie men som Vlachos skriver elevselektionen gör att slutsatserna blir svårare att rättfärdiga när det kommer till vissa saker. Skulle dock vara intressant och höra vad Vlachos skulle säga om detta. /Elias

  2. Kristofer Eriksson skriver:

    ”Lärarutbildingsvariabelns effekt är inte utifrån en jämförelser mellan icke-utbildade och lärarutbildade utan mellan olika typer av lärarutbildningar, det kan alltså handla om skillnader i kvalitet på utbildningarna som påverkar utfallet.”
    Nej jag förstår det inte alls så. Utan mellan att ha gått en lärarutbildning jämfört med att inte ha gjort det. Eller snarare man mäter effekten innan lärarutbildningen och sedan efter lärarutbildningen.

    Hatties studie mäter den enskilda effekten av vad lärarutbildningen åstadkommer. Räknar bort alla andra egenskaper som man har mätt och som man tror påverkar resultat, t.ex. ämneskunskaper.

    Om man däremot tittar på den sammansatta effekten av att gå en lärarutbildning, med allt var det innebär, man får praktik, ämneskunskaper och allt annat möjligt som påverkar resultatet så är det extremt viktigt att gå utbildningen (kan vi i alla fall tro!). Men att bara genomgå utbildningen påverkar nästan ingenting, precis som klassrumsstorleken inte påverkar något nämnvärt heller.

    Det viktiga är alltså att alla andra effekter som man mätte har reducerats bort med hjälp av matematik. Att i verkligheten mäta effekten av att gå lärarutbildningen går inte, bland annat för att läraren som utsattes för utbildningen har gått i ”skola” och fått mer ämneskunskaper.

    Lärare säger ju ofta att en mindre klass hade varit så mycket bättre. Ja för läraren, men det beror främst på att arbetsbördan minskar. Uppenbarligen lär sig eleverna inte mer eller mindre om klassens storlek ökar eller minskar i intervallet cirka 10 till 40 elever. Men om detta påverkar lärares arbetsbörda och eller lärartätheten ja då kan det spela större roll. Men då är det ju som sagt inte storleken på klassen som spelar roll.

    Mvh

  3. Pär Engström skriver:

    En sak som jag funderar är begreppet ”måluppfyllelse”. Som jag tolkar Hattie har han undersökt vad som påverkar elevers måluppfyllse. Men vilken betydelse har själva målet, vad händer om vi istället för att variera förklaringsvariabler varierar det som kan förklaras. Vad jag kan se har han inte definierat själva målet. Detta kan jämföras med t.ex. PISA där målet/elevernas resultat är definierat och mätt.

    Vad påverkar att en elev, t.ex. springer 100 meter på en viss tid, t.ex. 12 sek., löser tredjegradekvationer på en viss säkerhet etc. etc

    För att ta löpning som exempel. Elev A har vid en termins början en bästa tid på 100 meter på 16 sek. och elev B har 12,5 sek. De får en ny idrottslärare och vid terminens slut har elev A
    som bästa tid 13,5 sek och elev B 12.3 sek. Vad är elev A och Bs måluppfyllelse? Vilka faktorer kan förklara denna måluppfyllse?

  4. Pär Engström skriver:

    En sak till som jag har funderat över är de faktorer som Hattie undersöker. Där läraren och elever hamnar i centrum. Lärare och elever har funnits så länge skolan har funnits. Men hur kan vi förstå variationer i tid och rum vad gäller lärar-elevinteraktioner? Vilken betydelse får dessa variationer för elevers måluppfyllelser?

    För att Hatties evidensbaserade teori om synligt lärande ska bli bestående bör väl det också finnas en länk i teori och empiri mellan lärare-elevinteraktioner och omgivande samhälle! För skolan finns ju inte i ett vakuum isolerat från omgivande samhälle.

    Denna länk behövs eftersom omgivande samhällen har genomgått och genomgår förändringar. En sammanfattning av den senaste tidens samhällsförändringar kan t.ex. vara begreppen globalisering och individualisering. Vad är skolans uppdrag i relation till nämnda samhällsförändringar? Hur påverkar nämnda samhällsförändringar såväl skolans mål som lärar-elevinteraktioner och elevers måluppfyllelse?

  5. Pär Engström skriver:

    Jo, en sak till. Hattie påpekar i sin bok Visible Learning (2009, sid. 4) att det är få studier som bygger på randomisering enligt konceptet för medicinsk forskning. Istället framhåller han att ”that there are many ‘evidence-informed* arguments in this book” (s. 4).

    Ovanstående menar jag är centralt för att förstå såväl Hattie som utbildningsvetenskaplig forskning. Forskning som syftar till att läsa av effekter av ett visst medicinsk preparat genom evidensbaserad forskning utgår från vissa antaganden om människan som inte utbildningsvetenskaplig forskning utgår ifrån. De medicinska antagandena bygger främst på människan som biologisk varelse, medan den utbildningsvetenskapliga och samhällsvetenskapliga forskningen i huvudsak utgår från människan som social varelse. I det sistnämnda ingår bl.a. sociala interaktioner mellan människor, där person A påverkar person B som i sin tur påverkar person A.

    Motsvarande interaktion saknas vid t.ex. utprovning av mediciner. Medicin A påverkar eller påverkar inte person A, men person A påverkar inte medicin A.

    Hur skall vi då tolka den evidensbaserade forskningen inom sociala vetenskaper? Ett sätt kan vara att det helt enkelt handlar om kopplingen mellan teori och empiri. Att det finns, eller hävdas att det finns, empiriskt stöd för en teori. Är det inte det det handlar om?

    Och här återstår problemet med bredd och djup. Hur många sociala interaktioner ska en utbildningsvetenskaplig teori täcka in för att den skall bedömas som evidensbaserad? Vilket djup i teorin, dvs. hur många aspekter och kvaliteter i nämnda sociala interaktioner ska ingå för att teorin ska bli meningsfull?

Kommentera

Fyll i dina uppgifter nedan eller klicka på en ikon för att logga in:

WordPress.com Logo

Du kommenterar med ditt WordPress.com-konto. Logga ut / Ändra )

Twitter-bild

Du kommenterar med ditt Twitter-konto. Logga ut / Ändra )

Facebook-foto

Du kommenterar med ditt Facebook-konto. Logga ut / Ändra )

Google+ photo

Du kommenterar med ditt Google+-konto. Logga ut / Ändra )

Ansluter till %s

Följ FLS på Twitter!
%d bloggare gillar detta: