Observerer vi det vi er ute etter å observere på en pålitelig måte?

Publisert første gang 01.03.2018

Artikkelen «A preliminary validity of the Classroom Assessment Scoring System-Secondary» (CLASS-S) presenterer en studie som validerer observasjonsinstrumentet CLASS-S for bruk i Norge.

Fortsatt behov for målrettet opplæring innen klasseledelse

Det er stor enighet om at læreres kompetanse innen klasseledelse har stor betydning for elevenes faglige og sosiale læringsutbytte (Emmer & Sabornie, 2014; Evertson og Weinstein, 2006; Hattie, 2009). I Norge har en hatt en langsiktig nasjonal satsing over flere år på å utvikle læreres kompetanse innen klasseledelse. Forskning i CIESL-prosjektet (Ertesvåg & Westergård, 2017) viser til at lærere som gruppe i hovedsak er gode klasseledere. En finner likevel stor variasjon i praksis som utøves mellom klasserom, noe som indikerer at det fremdeles er behov for en målrettet opplæring innen klasseledelse. Det er også noen områder som det tyder på kan være nyttig å vektlegge sterkere for alle, for eksempel i hvilken grad lærere tar hensyn til elevenes livsverden, og flere av områdene som retter seg mot å støtte elevene faglig. 

Standardiserte observasjonsverktøy kan være nyttige

Et sentralt redskap i dette arbeidet har vist seg å være bruk av standardiserte observasjonsverktøy (f.eks. CLASS, PLATO og ISTOF) for å vurdere læreres klasseromspraksis/-ledelse for deretter sette inn tiltak der kompetansebehovet synes å være til stede.

Med bakgrunn i det teoretiske rammeverket Teaching through Interactions (TTI) har Hamre og Pianta (Hamre og Pianta, 2007) utviklet det standardisert observasjonsverktøyet «Classroom Assessment Scoring System» (CLASS) på flere alderstrinn med det formål å evaluere kvaliteten på klasseromsinteraksjonene mellom lærer og elever. CLASS er blant annet velegnet som utgangspunkt for veiledning av lærere i videreutvikling av relasjoner til elevene, faglig og sosialt.

CLASS

CLASS består av de tre domenene Emosjonell støtte, Klasseromsorganisering og Læringsstøtte. Under hvert domene er det beskrevet tre til fem spesifikke dimensjoner som beskriver hvilken læreratferd som er relatert til elevenes læring. Dimensjonene skåres fra 1-7 som indikerer lav (1-2), middels (3-5) og høy (6-7) undervisningskvalitet. Eksempler på slike dimensjoner og indikatorer på læreratferd kan en lese i en tidligere fagartikkel i CIESL. Studien har validert CLASS for ungdomstrinnet (CLASS-S) i sin vurdering av læreres klasseromspraksis. Det er denne versjonen av CLASS som er benyttet i CIESL.

Standardiserte klasseromsobservasjons systemer gjør det mulig for forskere å observere store utvalg av lærere og klasserom. Observasjoner kan imidlertid være følsomme for subjektive vurderinger som kan påvirke observasjonenes reliabilitet (pålitelighet). Det er derfor viktig å sikre at ulike observatører skårer de ulike dimensjonene tilstrekkelig likt. Dette kalles inter-rater reliabilitet.  I studien til Westergård et al. (2018) har et av forskningsspørsmålene derfor vært 

• å undersøke i hvilken grad det er mulig å trene observatører til å skåre interaksjonene mellom lærere og elever reliabelt.

Fra utviklernes side er det forventet at CLASS skal identifisere visse kvalitetsindikatorer ved klasseromsinteraksjoner uavhengig av hvilken kontekst de gjennomføres i. Dette kan vi ikke uten videre gå ut ifra stemmer. Majoriteten av forskningen på CLASS er utført innen ulike kontekster i USA (Hamre et al. 2014), men vi finner også studier som har validert og brukt CLASS i andre Europeiske land (Malmberg et al. 2010; Virtanen et al. 2017;). Derimot var det ingen tidligere studier som har brukt CLASS-S i Norge. Det neste forskningsspørsmålet var derfor

• å undersøke om faktorstrukturen til CLASS-S passer inn i en norsk kontekst

Her vil vi altså undersøke om det er begrepsmessig og statistisk støtte for å bruke CLASS-S i Norge på samme måte som i USA. Dette er en forutsetning for at observasjonene skal bli pålitelige og vi skal kunne sammenligne resultat fra Norge med resultat fra andre land.  Det er også en forutsetning for å kunne benytte CLASS-S på en pålitelig måte som del av lærerutdanning eller kompetanseutvikling for lærere.

Forskningsdesign

Utvalget bestod av videoobservasjoner av 54 lærere som ble videoobservert/filmet fire ganger i løpet av et skoleår. Åtte observatører skåret videoobservasjonene i henhold til CLASS-S manualen. Observatørene var på forhånd sertifisert i bruk av CLASS-S. Det ble også foretatt kalibreringsøvelser blant observatørene underveis for å sikre reliable skåringer. 20 prosent av observasjonene ble skåret av to uavhengige observatører og grad av enighet (inter-rater reliabilitet) mellom disse ble så beregnet. Det ble brukt samme prosedyre som utviklerne av CLASS til å analysere reliabiliteten (PWO).

Ved valideringen av CLASS-S ble faktorstrukturen undersøkt i tråd med tidligere tilnærminger til ulike CLASS versjoner (Bell, et al. 2012). På bakgrunn av disse analysene, kan en oppsummert si at det er mulig å trene observatører til å skåre interaksjoner mellom lærere og elever reliabelt. Vi ser også at denne faktoranalysene av CLASS-S denne studien i det store og hele støtter den tre-faktor strukturen som foreslåes av Pianta, Hamre og Mintz (2012) også i Norge, selv om vi anbefaler å foreta ytterligere validering av CLASS-S i et større utvalg før en endelig kan konkludere at CLASS- kan brukes på tvers av kulturer. Med dette forbeholdet er det støtte for at CLASS-S er et universelt observasjonsinstrument som kan brukes til å vurdere klasseromsinteraksjonene mellom lærere og elver i Norge. Dette innebærer også støtte for at CLASS-S kan brukes som et redskap i faglige kompetanseutviklingen av lærere i Norge.

Resultatene er utdypet  i  Westergård, E., Ertesvåg, S.E. & Rafaelsen, F. (2018) A Preliminary Validity of the Classroom Assessment Scoring System in Norwegian Lower-Secondary Schools. Scandinavian Journal of Educational Research, https://doi.org/10.1080/00313831.2017.1415964

Tekst: Førsteamanuensis Elsa Westergård

Referanser

Bell, C. A., Gitomer, D. H., McCaffrey, D. F., Hamre, B. K., Pianta, R. C., & Qi, Y. (2012). An argument approach to observation protocol validity. Educational Assessment, 17(2-3), 62–87.

Emmer, E.T. & Sabornie, E.J. (2014). Handbook of classroom management. Taylor & Francis, LTD.

Ertesvåg, S. & Westergård, E. (2017). Observert klasseromsinteraksjon som grunnlag for profesjonell utvikling. Psykologi i kommunen, (6), s. 49-69. http://www.fpkf.no/wp-content/uploads/2017/12/Ertesvag-Westergard-6-2017.pdf

Evertson, C.M. & C.S. Weinstein (2006): Handbook of Classroom Management: Research, Practice and Contemporary Issues. Mahwah, N.J.: Lawrence Erlbaum.

Hattie, J. (2009). Visible learning: A synthesis of over 800 Meta-Analysis relating to achievement. New York, Routledge.

Hamre, B. K., Hatfield, B., Pianta, R., & Jamil, F. (2014). Evidence for general and domain-specific elements of teacher child interactions: Associations with preschool children’s development. Child Development, 85(3), 1257–1274.

Hamre, B. & Pianta, R. (2007). Learning opportunities in preschool and early elementary classrooms. In R.C. Pianta, M.J. Cox, & K.L. Snow (Eds.), School readiness and the transition to school (pp.49-84). Baltimore, MD: Brookes.

Malmberg, L.-E., Hagger, H., & Burn, K. (2010). Observed classroom quality during teacher education and Two years of professional practice. Journal of Educational Psychology, 102(4), 916–932.

Pianta, R. C., Hamre, B. K., & Mintz, S. (2012). Secondary CLASS: Classroom assessment scoring system. Charlottesville, Virginia: University of Virginia.

Virtanen, T., Pakarinen, E., Lerkkanen, M.-K., Poikkous, A.M., Siekkienen, M., & Nurmi, J.E. (2017). A validation study of classroom assessment scoring system-secondary in the Finnish school context. Journal of Early Adolescence. doi: 10.1177/0272431617699944

Westergård, E., Ertesvåg, S.E. & Rafaelsen, F. (2018) A Preliminary Validity of the Classroom Assessment Scoring System in Norwegian Lower-Secondary Schools. Scandinavian Journal of Educational Research, https://doi.org/10.1080/00313831.2017.1415964