PISA, TIMSS og norske læreplaner

Svein Sjøberg, Universitetet i Oslo. svein.sjoberg@ils.uio.no

Publisert i Bedre Skole, nr 1 2005

 

(Ingress)

PISA og TIMSS er viktige studier som må tas alvorlig av alle. Men de tester ikke "kvaliteten på den norske skolen". På hver sin måte tester de noen (viktige) sider ved noen (viktige) fag for noen klassetrinn, men selv i disse fagene tester de i liten grad ut fra de norske læreplanene som er det mandat samfunnet har gitt norsk skole.

 

Viktige avgrensninger

I desember 2004 fikk kom resultatene fra PISA2003 og TIMSS2003 på bordet. Mediestormen var stor og sterk, og slett ikke uten grunn. Slik var enkelte overskrifter i landets største aviser: Norsk skole stryker igjen (Aftenposten), En svak 3-er til norsk skole (Dagbladet) Norske elever gjør det stadig dårligere (VG), Skolen får strykkarakter (Dagsavisen) osv.

 

Det største problemet med slike oppslag er at man overgeneraliserer. Man lar PISA og TIMSS-resultatene stå fram som totale dommer over kvaliteten i norsk skole som helhet, gjeldende for alle fag, alle nivåer og omtrent alle sider ved skolen. Det er ikke forskerne bak studiene som sier slike ting, men bildet skapes av de som formidler, forenkler og fortolker resultatene for offentligheten. Dette elendighetsbildet av hele den norske skolen fester seg hos folk flest. Også blant våre politikere.

 

PISA og TIMSS-resultatene er i sannhet alvorlige og gir god grunn til bekymring når det gjelder de saksforhold man faktisk har undersøkt. Stort sett har de fleste nå akseptert at vi her har å gjøre med solide studier av svært høy metodisk grundighet. Mange, spesielt de som ikke liker de funn som blir presentert, vil gjerne så tvil om kvaliteten i disse studiene. Før man reiser slik kritikk bør man så absolutt ta seg tid til å studere de norske rapportene om PISA2003 (Kjærnsli mfl. 2004) og om TIMSS2003 (Grønmo mfl. 2004). Er man interessert i enda flere detaljer, kan man finne alt man ønsker på de to internasjonale hjemmesidene, hhv. http://www.pisa.oecd.org/ og http://timss.bc.edu/ 

 

Hvis man går til slike kilder, vil man se at mye kritikken mot metoder, utvalg av elever osv. er basert på misforståelser. I rapportene vil man også se at (i alle fall de norske) forskerne selv er forsiktige med sine konklusjoner, og at de neppe går ut over det det de har dekning for å si. Men de har altså ikke kontroll med mediedekningen, og ut over de grundige (men selvsagt nokså tykke) bøkene har de selv har i liten grad skrevet populariseringer eller deltatt i offentlig debatt for å dempe de groveste misforståelsene og over-fortolkningene.

 

Men det er all grunn til å reise andre typer kritikk enn den som retter seg mot metode og statistikk. Ikke for å slå beina under undersøkelsene, men for å få et realistisk forhold til hva disse studiene måler og hva de ikke måler. Det er imidlertid vanskelig å fremme kritikk uten å framstå som negativ.

 

Det er mange spørsmål som bør reises rundt studier som TIMSS og PISA. Man bør starte med noen helt overordnede spørsmål: Hvorfor har man nå fått slike studier, og hvorfor ser de ut til å få stadig større betydning? Hvem er det som står bak? Hva er det som er mål og hensikt? Hvordan vil man bruke resultatene? Hvordan vil alt dette virke inn på utdanning i de enkelte land, for den enkelte skole, lærer og elev? Det er viktig med noen slike overordnede perspektiver for å kunne plassere disse studiene i den store samfunnsmessige de hører hjemme. I denne artikkelen vil jeg bare indirekte berøre dette. Det jeg vil ta opp i litt detalj er hva disse studiene måler, hva de ikke måler, og spesielt hvordan studiene skal forstås i forhold til norske læreplaner.

 

Både PISA og TIMSS tar for seg kvaliteten i elevers læring i et internasjonalt, komparativt perspektiv. Begge studiene tar for seg visse fagfelt. Det dreier seg om realfagene, altså matematikk og naturfag (både PISA og TIMSS) og om leseferdighet, en svært viktig del av morsmålsopplæringen (PISA). PISA tar også for seg et interessant tverrfaglig tema som de kaller problemløsning, men det skal jeg ikke omtale i det følgende. En umiddelbar første viktig begrensning er altså at begge studiene bare tar for seg noen av skolens fag. De andre fagene er ikke undersøkt. Dessuten må man huske at man bare har tatt for seg elever i grunnskolen. TIMSS har sett på 9- og 13-åringer, PISA har sett på 15-åringer.

 

Den neste begrensningen, og den er like viktig, er at studiene bare tar for seg visse sider ved de nevnte fagene. Det dreier seg primært om elevenes kunnskaper eller kompetanser, noe som selvsagt kan sies å være det mest sentrale i de fleste fag! Man ser i svært liten grad på andre mål som disse skolefagene har i norsk skole, så som holdninger, interesser etc. Ta en kort titt på de mål for skolens natur- og miljøfag for en konkretisering av dette poenget. De er gjengitt i egen ramme.

 

Media (og følgelig offentligheten og politikerne) framstiller som nevnt resultatene som om man har undersøkt den totale kvaliteten av norsk skole. Det har man altså ikke, og en slik overgeneralisering er faglig uriktig og politisk destruktiv.

PISA/TIMSS og norske læreplaner

Hva er målestokken på om norsk skole 'gjør jobben sin'? Svaret er enkelt: Norske skoler og lærere er forpliktet på norske læreplaner. Dette er det mandat som samfunnet har gitt dem. Det er i hvilken grad man lever opp til de mål som der er formulert at man kan si noe om i hvilken grad man lykkes. Da blir det av avgjørende betydning å vurdere i hvilken grad det faktisk er samsvar mellom de planer skolen er forpliktet på, og det som blir målt gjennom PISA og TIMSS.

 

Her er det store (og selvsagt bevisste) ulikheter mellom TIMSS og PISA: TIMSS sier at de måler etter læreplanene, mens PISA sier tvert i mot at de ikke gjør det, men at de måler ut fra kriterier som de selv har utviklet. La oss ta det litt i detalj. Jeg vil begrense meg til å se på skolens Natur- og miljøfag, men tilsvarende analyse kan gjennomføres for andre fagområder som omfattes av TIMSS og PISA. Målene for Natur- og miljøfag i norsk skole under L97 er mange og varierte. I egen ramme gjengis de i derfor i sin helhet. La oss deretter sammenholde dette med TIMSS og PISA.

 

Natur- og miljøfag i L97

 

Først i denne planen er det to sider INNLEIING.

Her er noen viktige stikkord fra denne:
"ansvar for naturen og det felles livsmiljøet vårt"

"vekt på opplevingar og røynsler i nærmiljøet og i kvardagen til elevane", 

"samanhengen mellom natur, samfunn og teknologi",

"helse og livsstil",

"eigne meiningar og holdningar",

"planlegging og gjennomføring av aktivitetar og forsøk",

 "formidle resultat",

 "drøfte interessemotsetnader, etiske sider og/eller miljøsider"

(L97, s 206, 207)

 

Deretter kommer

FELLES MÅL FOR FAGET:

Opplæringa i faget har som har som mål

 

  • at jenter og gutar utviklar kunnskap om, dugleik i og holdningar til alle sider av faget. Opplæringa skal hjelpe elevane til å få glede av naturopplevingar og gi dei høve til å utvikle fantasi, skaparevne og interesse for å forske ut omgivnadene
  • at elevane utviklar kunnskap om ulike stoff og om eigenskapane og bruksmåtane deira, slik at dei kan sjå samanhengar og gjere miljøvennlege val i den kjemiske kvardagen. Dei skal utvikle kunnskap om og innsikt i teknologi, i ulike fysiske fenomen og i det fysiske verdsbiletet, slik at dei kan bruke det i dagleglivet og i samfunnslivet
  • at elevane utviklar innsikt om samanhengane i naturen og samspelet mellom menneska og naturen, slik at dei kan medverke til ei berekraftig utvikling. Dei skal utvikle kunnskap og holdningar, slik at dei kan ta vare på sin eigen kropp og si eiga helse og vise omsorg og respekt for andre
  • at elevane kjenner til og har øving i naturvitskapleg tenkjemåte og arbeidsmåte. Elevane skal få innsikt i at vitskapen utviklar seg. Dei skal lære om nokre store forskarar og oppfinnarar og bli kjende med kva naturvitskap og teknologi har hatt å seie for samfunnsutviklinga. Dei skal òg lære at naturvitskapen er ein viktig del av kulturarven vår
  • at elevane får øving i å bruke reiskapar, eksperimentelt utstyr og elektroniske hjelpemiddel gjennom eit breitt spekter av aktivitetar og samarbeidsformer. Dei skal utvikle innsikt i å søkje, omarbeide og formidle informasjon. Dei skal kunne bruke kunnskapen sin i faget til praktiske gjeremål og øve opp evna til å bruke og vurdere informasjon, tekniske hjelpemiddel, forbruksvarer og nye produkt
    (L97, s 208)

 

 

TIMSS og norsk læreplan

TIMSS retter seg mot elever i 4. og 8. kasse, altså mot 9-åringer og 13-åringer. TIMSS prøver i størst mulig grad å holde elevene opp læreplanene i deltakerlandene. De sier selv at "TIMSS kan karakteriseres som en læreplanbasert undersøkelse. [….]  Det er altså det som kan betegnes som "skolekunnskap" man ønsker å måle." (http://www.timss.no)

 

Men hvordan kan man lage en undersøkelse i 50 land fra hele verden der oppgavene skal være identisk de samme, men samtidig ligge nær opp til læreplanene i alle disse landene? Er virkelig læreplanene for grunnskolens naturfag for 9-åringer og 13-åringer så pass like i for eksempel Egypt, Ghana, USA, Iran, Indonesia og Norge? Det lyder i utgangspunktet ikke bare utenkelig, men også direkte uønsket at slike land skal ha nesten de samme fagplanene, og så kunne måles med de samme testene. Jeg skal komme tilbake til dette viktige poenget.

 

Tilbake til analysen av hva som testes i TIMSS. Et uttalt premiss er at lærestoffet skal være "inkludert i læreplanen i majoriteten av deltakerlandene" (Grønmo mfl. 2004 s 25). De sier også, med en smule selvironi: "Målet er at utvalget av emner og oppgavetyper framstår som "like urettferdig for all land" (i følge et vanlig men uoffisielt slagord.)" (ibid s 29)

 

Nå er selvsagt de ulike landenes læreplaner (i svært ulik grad) preget av egen kultur, natur og samfunnsmessige prioriteringer og utfordringer. I mange land, og i alle fall i Norge, er læreplanen for grunnskolen sterkt preget av det som er konkret, lokalt, nært og aktuelt. Men her oppstår selvsagt et uløselig problem: TIMSS-oppgavene skal kunne brukes over alt, de skal ikke være lokalt tilpasset! Om dette sier TIMSS-rapporten: "Det må imidlertid påpekes at svært lokalt preget kunnskap vanskelig kan inngå i en internasjonal studie som TIMSS. Dette kan for eksempel gjelde enkelte typer artskunnskap." (Grønmo mfl. 2004, s 92)

 

Deretter sammenlikner de L97 med TIMSS. De konstaterer at det sentrale fagstoffet i L97, spesielt for barnetrinnet, nettopp handler om elevenes eget nærmiljø. De konkluderer med at "det er påfallende forskjeller mellom L97 og TIMSS." (ibid, s 92) De konstaterer også at en rekke andre fagmål i L97 ikke blir testet i TIMSS.

 

TIMSS-rapporten er ærlig: Det er "påfallende forskjeller" mellom TIMSS og L97, og testen er ikke er i samsvar med norsk læreplan. Klarere kan det ikke sies.

TIMSS-læreplanen: En fossil konsensus-plan?

TIMSS har utviklet et svært detaljert rammeverk for sin testing. TIMSS2003 bygget videre på de rammene som var utviklet for de foregående studiene, TIMSS1995 og TIMSS1999. Det er et panel med dyktige eksperter fra en rekke land som gjennom lange forhandlinger har kommet fram til både struktur og innhold på dette rammeverket, som går i stor detalj inn i den faglige substansen i naturfagene (Martin mfl. 2004). Dette rammeverket må oppfattes som en internasjonal læreplan, og de omtaler det også selv som The TIMSS Curriculum Modell, altså som TIMSS-læreplanen. Hele planen er presentert i Mullis mfl. (2001), og deler av den er gjengitt i den norske TIMSS-rapporten (Grønmo mfl. 2004 s 89 ff.).

 

Ingen må være i tvil om grundigheten i dette arbeidet, som altså har strukket seg over en tiårs periode. Den tekniske rapporten lister opp utallige internasjonale arbeidsmøter og milepæler i dette arbeidet. I rapporten heter det da også at "Developing and implementing TIMSS 2003 was an extremely ambitious and truly collaborative effort involving hundreds of individuals around the world." (Martin mfl. 2004, s 327)

 

Men målet og premissene for dette omfattende samarbeidet har altså hele tiden vært å lage en felles læreplan, og deretter å lage testoppgaver som er tilpasset denne planen. I det endelige resultatet er alt innhold nøyaktig spesifisert, og det opereres med en prosentvis angivelse av hvor stor andel oppgaver som skal tilhøre de ulike faglige stikkordene.

 

Hvordan kan man lage en felles plan for 50 land fra svært ulike kulturer? Den resulterende TIMSS-læreplanen er basert på det som er felles og akseptabelt i læreplanene slik de ser ut i dag i de 50 deltakerlandene. Men man har som nevnt unngått alt fagstoff som er knyttet til de nære omgivelser og som er lokalt eller regionalt orientert. Man har dessuten utvilsomt måttet unngå alt stoff som i ett eller flere land kan oppfattes som kulturelt eller politisk uakseptabelt.

 

Man kan uten overdrivelse antyde at det her utvilsomt har foregått internasjonale forhandlinger der man har måttet inngå en god del kompromisser! Et eksempel: I den nevnte 507 siders tekniske rapporten (Martin mfl. 2004) forekommer ikke ordet 'evolution', heller ikke 'sexuality' eller beslektede ord. Dette er fagstoff som antakelig er uakseptabelt i så vel USA som i enkelte muslimske land. Også Iran deltar i TIMSS2003, så her aner man kanskje en ellers uvanlig koalisjon.…   De fleste fagfolk vil hevde at hvis man fjerner både evolusjon og seksualitet fra biologien, så blir det ikke så veldig mye igjen! Men alle kompromisser har sin pris. 

 

Rammeverket og oppgavene for TIMSS2003 må gjennom sine kompromisser og forhandlinger sies å representere en type læreplan som er faglig sett svært konservativ. Enda verre er at den også vil fungere konserverende, ved at planen for mange land vil utgjøre en slags 'mønsterplan' for fagenes innhold. Den er jo utviklet over en tiårs periode av et internasjonalt panel av anerkjente eksperter! Vi vet også at for eksempel Verdensbanken nå bruker 'TIMSS-like' tester som en forutsetning for å gi støtte til utdanning i utviklingsland. (Verdensbanken er for øvrig med og finansierer TIMSS.) Derved vil TIMSS-planen fungere som en norm eller ideal verden rundt, også for de landene som ikke deltar. Mange land, deriblant tidligere kolonier, har slitt med å frigjøre seg fra læreplaner, bøker, tester og idealer til sine tidligere koloniherrer. Disse var ofte knyttet til kolonimaktens natur, kultur og annen kontekst. Nå får de presentert en fagplan og dertil hørende tester der all kontekst er fjernet. 

 

De uheldige konsekvensene av TIMSS i en internasjonal sammenheng kan være tema for en annen artikkel. Her vil jeg bare konstatere at TIMSS innebærer et uheldig press i retning av å innføre en universell, internasjonal læreplan som går på tvers av ønsket om at en god skole skal være forberede elever til å forstå sin egen hverdag og å møte lokale utfordringer. Og dette står som man ser sentralt i for eksempel L97 (og i tidligere norske læreplaner, for den saks skyld.)

 

En internasjonal læreplan basert på konsensus og kompromisser som framforhandles av eksperter blir av nødvendighet apolitisk og blottet for idealer og verdier, (unntatt rent internt vitenskapelige idealer som kontroll av variable, respekt for evidens og lignende). Planen blir også, som TIMSS selv sier, blottet for mål som dreier seg om interesse, følelser og holdninger. Jeg vil anta at det i Norge ikke er stemning for å ha en slik skole eller slike læreplaner.

 

Svært mange av TIMSS-oppgavene er offentlig tilgjengelige. Man får der bekreftet at det dreier seg om nokså tradisjonelle fagoppgaver (de fleste i flervalgsformat) hentet fra etablert og tradisjonelt naturfag, men løsrevet fra sammenhenger eller kontekster. De aller fleste oppgavene kunne ha vært gitt for minst 50-60 år siden. Mange av oppgavene ble da også benyttet ved de første IEA-undersøkelsene rundt 1960. Selv er jeg fysiker, og på dette området tror jeg nok at de aller fleste oppgaver er basert på den fysikken som var godt etablert for nesten 100 år siden. Oppgavene er i og for seg 'helt greie' til å teste i hvilken grad elevene har tilegnet seg det godt etablerte lærestoffet som er satt opp i TIMSS-læreplanen.

 

Både TIMSS-planen og -oppgavene bidrar til å understreke de trekk som lenge har vært en svøpe for skolens naturfag: at faget framstilles som evig, autoritært, uforanderlig og avsluttet. Her hersker ingen tvil og ingen utvikling. Her finnes intet rom for fantasi og kreativitet og intet rom for tvil eller undring. Alle oppgaver har ett og bare ett riktig svar. Naturfagene vil etter TIMSS-planen også framstå som løsrevet fra verdier, holdninger, kultur, filosofi og samfunnsutvikling.

 

Konklusjonen så langt er å konstatere at TIMSS-planen og norsk læreplan ikke er i samsvar, og at TIMSS-oppgavene ikke tester de fleste av de mål som norsk skole er forpliktet på. Innføring av en TIMSS-læreplan vil i Norge og alle andre land innebære at man skrur klokka tilbake atskillige tiår.

PISA og norsk læreplan

For PISA er analysen på sett og vis mye enklere, og konklusjonen er egentlig gitt allerede i utgangspunktet: PISA forholder seg ikke til de enkelte lands læreplaner! Dette er rene ord for pengene, men det gjør jo selvsagt ikke at studien er lite interessant! OECD har gjennom PISA satt seg som djervt mål å beskrive grunnleggende ferdigheter eller kompetanser ('literacies') som man trenger for å kunne fungere godt i det moderne samfunn. Som aktuelle fagfelt har man valgt morsmål (leseferdighet), matematikk, naturfag og det tverrfaglige området 'problemløsning'. (Dette valget er selvsagt ingen tilfeldighet, noe man i en annen sammenheng kan ta opp til debatt.) Oppgavene er ment å være virkelighetsnære, knyttet til mest mulige konkrete, aktuelle og reelle situasjoner i dagens moderne samfunn. På den norske hjemmesiden finner først denne overordnede formuleringen om PISA: "Setter skolen elevene godt nok i stand til å bli morgendagens arbeidstakere og til å fortsette å lære, tenke og vurdere informasjon på en formålstjenlig måte?  (http://www.pisa.no) . De presiserer dette slik:

Hovedmålsetningen er å fokusere på et langt bredere og mer integrert spektrum av kunnskaper, ferdigheter og holdninger enn det som har vært vanlig gjennom slike tester til nå. Derfor vil det bli lagt vekt på elevenes evne til å tolke informasjon og trekke slutninger på basis av allerede ervervede kunnskaper og på hvordan elevene bruker sine kunnskaper og ferdigheter i en sammenheng. (http://www.pisa.no)

 

Deretter har man søkt å presisere en slik positiv og dristig hovedmålsetting til de komponentene som inngår i PISA. I det følgende holder jeg meg til naturfaget, som jeg kjenner best. I PISA er 'scientific literacy' (eller 'science literacy') definert slik i 'engelsk original' (den finnes i noe ulike varianter):

 

Scientific literacy is the capacity to use scientific knowledge, to identify questions and to draw evidence-based conclusions in order to understand and help make decisions about the natural world and the changes made to it through human activity.
(http://www.pisa.oecd.org)

 

I PISA2000 ble 'science literacy' oversatt til 'naturfaglig allmenndannelse' (Lie mfl. 2001, s 64 ff). I PISA2003 har de til dels gått bort fra begrepet naturfaglig allmenndannelse. I boktittelen heter det kort og godt "Norske elevers prestasjoner i naturfag…" (Kjærnsli mfl. 2004) De gir også en enkel og grei norsk versjon av hva "Scientific literacy" dreier seg om:

 

Naturfagkompetanse vil si at man legger vekt på hvordan naturfaglig kunnskap brukes i praksis og i møte fra for eksempel aviser og tidsskrifter. Oppgavene krever at elevene har naturfaglige kunnskaper, og at de kan forholde seg til og resonnere ut fra konkrete situasjoner beskrevet i teksten. (Kjærnsli m.fl. 2004, s 14)

 

Her har man som nevnt gått bort fra å bruke begreper som dannelse og allmenndannelse, og sier selv at en slik oversettelse kan være "uheldig og upraktisk" (ibid s. 108) Nå sier PISA at de tester faglige prestasjoner, kunnskaper og kompetanser. Dette er gode intensjoner, og det legger vekt på helt sentrale deler ved faget. For egen del mener jeg imidlertid på at 'naturfaglig allmenndannelse' er et mye videre begrep enn dette, som bl.a. innebærer at man kan forholde seg kritisk til naturvitenskapen og dens rolle i dagens samfunn. Jeg vil ikke utdype dette viktige spørsmålet her, men jeg tror det er viktig å ta det opp i en annen sammenheng.

 

Oppgavene i PISA følger et rammeverk som er utviklet av fageksperter. Detaljer og øvrige referanser finnes i den internasjonale PISA2003-rapporten (PISA 2004). Oppgavene er sydd over omtrent samme lest. Man får presentert en tekst (fra avis, tidsskrift, brosjyre el. l.) og skal så svare på en del spørsmål om denne teksten. Noen oppgaver er lukkede, andre åpne.

 

PISA-oppgavene: Reelle og virkelighetsnære?

Viktige spørsmålene blir altså: Hvordan klarer man å realisere de viktige intensjonene bak PISA? Hvordan blir de oppgavene som skal måle så naturfaglige kompetanser i "konkrete, aktuelle og virkelighetsnære situasjoner"?

 

Det er ikke lett å svare på dette. Hovedgrunnen er at oppgavene i hovedsak er hemmelige! Fra PISA2000 ble det bare frigitt 2 oppgaveenheter i naturfag. Det samme skjedde med PISA2003. Nå har vi altså sett til sammen fire oppgaver. De norske versjonen av disse fire oppgavene, samt tilsvarende for de andre fagområdene finnes på http://www.pisa.no/  Det er for øvrig frigjort flere oppgave i lesing og i matematikk, siden disse fagene var 'fokusfag' i henholdsvis 2000 og 2003.

 

I praksis er det altså vanskelig å titte PISA skikkelig i kortene. Man får rett og slett ikke tilgang til grunnlaget for de data som blir analysert og senere presentert i form av statistikker, analyser og konklusjoner. I vanlig forskning er denne typen hemmelighold helt utillatelig, og slik forskning ville ikke en gang ha oppnådd å bli publisert, langt mindre tatt alvorlig. Det betyr altså at vi er nødt til å ta mange konklusjoner for god fisk, vi må stole på at ekspertene har grunnlag for sine konklusjoner! Årsaken til hemmeligholdet er antakelig i første rekke at man vil bruke de samme oppgavene på nytt senere, og vil unngå at de blir kjent og derved kan brukes til å forberede seg til neste PISA-runde.

 

Desto viktigere blir det da å se skikkelig på de få oppgavene som er frigitt. Det er vel grunn til å tro at dette er oppgaver som PISA selv mener kan tjene som gode eksempler. De to frigitte naturfagoppgavene fra PISA2000 er blitt møtt med til dels hard kritikk av både språklig og rent faglig karakter. Nå foreligger to nye oppgaver, og jeg tror de vil vekke tilsvarende kritikk. Dette er ikke stedet for å gå i detaljert kritikk, verken på de gamle eller de nye oppgavene. Men la meg antyde ett eksempel:

 

Det ene frigitte naturfagspørsmålet i PISA2003 er knyttet til kloning av sauen Dolly. Det eneste 'korrekte' svaret i dette spørsmålet er at sauen Dolly er identisk med den sauen som genene er hentet fra. Selv har jeg problemer med å akseptere at to sauer av ulik alder er identisk samme sau!

 

Som nevnt, det foreligger noen få frigitte oppgaver fra de ulike fagområdene, og jeg vil anbefale at alle interesserte tar seg tid til å vurdere disse på egen hånd. (Selv synes jeg for øvrig at oppgavene i matematikk virker langt bedre enn de fire vi har sett i naturfag.)

 

Ut over den rent faglige kritikken av oppgavene synes jeg at man bør se kritisk på selve testformatet. Mange oppgaver er svært tekst-tunge. Det blir svært mye lesing før man kommer til oppgavenes spørsmål. De lange tekstene favoriserer selvsagt de som er gode til å lese. Dette er uten tvil jentene. Dette vet man kanskje fra før, men det er også ett av de mest overbevisende resultatene fra PISA! Det er god grunn til å anta at jentenes overlegne leseferdighet kompenserer for at de kan være noe svakere enn guttene i det rent realfaglige innholdet. Kanskje er dette forklaringen på at gutter og jenter skårer omtrent likt på både naturfag- og matematikk-testen?

 

Valget av oppgaver som er rike på tekst er selvsagt et bevisst valg fra PISA. Det kan føres mange gode argumenter for at dette ligner på mange reelle situasjoner i det virkelige liv. Utenfor skolen møter ikke elevene matematikk som 'rene' regneoppgaver! Eller naturfag som isolerte fagspørsmål. Men det er i alle fall viktig å være klar over at 'PISA-oppgaver' skiller seg fra vanlige skoleoppgaver.

 

PISA-oppgavene krever at eleven er villig til å lese de lange tekstene. Jeg har sett på de frigitte oppgavene, og må medgi jeg synes at til tider både lange, kjedelige og til dels merkelige. Språkføring virker også uvanlig og til dels klossete, antakelig en konsekvens av at man krever omtrent identiske formuleringer i ulike land, nesten ord for ord. Og da blir språket merkelig. Jeg tror neppe at mange av disse 'aktuelle' tekstene ville ha kommet i vanlige norske medier. Noe engasjement ved lesingen er det ikke lett å oppdrive. Jeg vil anta at mange 15-åringer ikke vil orke å plage seg gjennom en stor mengde slike oppgaver. Jeg vil rett og slett tvile på 15-åringer i Norge og en god del andre land rett og slett gidder å yte sitt beste på slike oppgaver. Og hvorfor skulle de det? Ikke får de karakter, og det å redde 'nasjonens ære' i en internasjonal olympiade er neppe noe de tenker på – kanskje i motsetning til situasjonen i en hel del andre land? Vi vet at i enkelte land har elevene marsjert inn til slik testing etter å være oppildnet av rektor. Utenfor har foreldrene ventet i spenning.

 

Jeg tillater meg med andre ord å ha en liten tvil om hvorvidt norske (og for eksempel danske og svenske) elever er lydige og tålmodige nok til å yte sitt beste og kjempe seg gjennom disse lange, merkelige og språklig klossete testene. Jeg anbefaler igjen lesere om selv å se på oppgavene, slik at enhver kan vurdere dette – for de få oppgavene som er frigitt.

 

PISA er som nevnt et OECD-prosjekt. OECD er i hovedsak en organisasjon for relativt rike industriland. OECDs mål at å fremme økonomisk utvikling og øket levestandard. Deres interesse for utdanning springer selvsagt ut av en forståelse for at en godt utdannet arbeidskraft er grunnlaget for en slik utvikling. I dagens høyteknologiske og vitenskapsbaserte samfunn oppfattes naturvitenskap og matematikk som sentrale kunnskapsområder, ut over gode ferdigheter i eget morsmål. Dette forklarer i stor grad valget av fagfelt i PISA-undersøkelsen.

 

Men til tross for de store felles utfordringer som finnes i OECD-landene, er det selvsagt også store ulikheter knyttet til natur, kultur, politikk og samfunnsdebatt. Da oppstår omtrent de samme problemene som for TIMSS: Hvordan skal man lage oppgaver som kan oppleves som like konkrete og virkelighetsnære av 15-åringer i Korea, Mexico, USA og Norge? Man trenger ikke mye fantasi for å innse at det her er duket for den samme type forhandlinger og kompromisser som man har i TIMSS. Idealet om å benytte aktuelle og 'livsnære' eksempler fra presse og tidsskrifter kan bli umulig å realisere i praksis. Også her kan man ende opp med et slags minste felles multiplum og tannløse kompromisser.

Oppsummering: Gode, men umulige ambisjoner!

Verken PISA eller TIMSS er i samsvar med norske læreplaner, og er følgelig svært uegnet til å si noe om hvordan norsk skole lever opp til det mandat samfunnet har pålagt skolens folk.

Likevel har både PISA og TIMSS gode og viktige ambisjoner, og vi trenger å sette vår skole i et internasjonalt og kritisk lys. Men ambisjonen om å foreta gyldige internasjonale sammenlikninger i svært ulike land uten at visse land eller kulturer favoriseres, gjør at man tvinges til å gå på kompromiss med de djerve ambisjonene. I korthet får vi disse spenningene mellom intensjon og virkelighet:

 

PISA

Intensjonen er å teste viktige kompetanser for framtidas samfunn i livs-nære og konkrete situasjoner.

I praksis tvinges man over til felles, universelle problemstillinger. Ingen kontekster skal favoriseres, derfor blir det ikke noen kontekst. Eller 'konteksten' blir en historisk og ikke-kontroversiell kontekst. Alle oppgaver er tekst-tunge, og forutsetter (og favoriserer) gode leseferdigheter. Oppgavene tester ikke elevenes evne til å hanskes med utfordringer som ikke er tekst-baserte, for eksempel teknisk, praktisk.

 

For øvrig er detaljkritikk av PISA vanskelig fordi bare noen få oppgaver er offentliggjort.

 

TIMSS

Intensjonen er testing nær opp til læreplanen i de enkelte land

Realiteten blir testing i forhold til en fremforhandlet felles TIMSS-læreplan, som blir "like urettferdig for alle land". I plan og oppgaver unngås alt lokalt preget lærestoff. Tilbake står det universelle og kontekstfrie faglige innholdet. Sentrale fagmål i L97 blir ikke testet: Man unngår å teste holdninger og andre affektive mål. Heller ikke eksperimentelle eller andre ferdigheter blir testet.

TIMSS-planen planen er en høyst tradisjonell og 'tidløs' læreplan. I praksis er dette en kanonisering av en konservativ læreplan, som lett kan oppfattes som en anbefalt internasjonal læreplan, både for deltakerlandene og for alle andre.

 

For både PISA og TIMSS gjelder at må man må

  • Unngå innhold som er nært og lokalt
  • Unngå innhold som 'favoriserer' bestemte land, altså problemstillinger som er aktuelle
  • Unngå innhold stoff som kontroversielt, i alle fall i viktige land.
  • Unngå alt som er knyttet til idealer, verdier eller holdninger

Ris og ros: Den vanskelige balansen

Jeg har her fremmet mange former for kritikk. Slikt må på bordet i en tid da man nesten opphøyer resultatlistene til sannheter og endelige dommer over norsk skole. Men det kritiske må veies mot det positive. Til tross for svakheter, måler både PISA og TIMSS sentrale deler av det som må være viktig i norsk skole, nemlig det som dreier seg om faglig forståelse og mestring, altså det som folk flest mener er det sentrale for skolen. Og det gjør de på måter som er langt mer metodisk gjennomtenkt enn de prøver og tester som man til vanlig bruker i skolen. Jeg har pekt på at mange sentrale fagmål i L97 ikke blir målt i TIMSS eller PISA, men det blir de stort sett heller ikke i normal undervisning eller karaktersetting i skolen. Elever blir neppe vurdert etter i hvilken grad de opplever naturglede (og bra er det!). De blir heller neppe vurdert etter i hvilken grad de utvikler fantasi og skaperglede.

 

Et viktig ankepunkt er at både TIMSS og PISA er skriftlige tester som besvares med papir og blyant. Naturfagene er eksperimentelle fag, der gjennomføring av forsøk, ekskursjoner og håndtering av utstyr står helt sentralt, også i planene. Slikt testes ikke i PISA eller TIMSS. Men det er nokså optimistisk og naivt å tro at vi i Norge er så mye bedre på alle de tingene som ikke blir målt gjennom PISA og TIMSS! Det kan, tvert i mot, være grunn til å tro at vi hadde gjort det enda svakere hvis testene hadde vært eksperimentelle: I TIMSS-rapporten ser vi at data fra både elever og lærere viser at det drives mye mindre eksperimentell undervisning i norske klasserom enn i naturfag i de fleste andre land (Grønmo mfl. 2004, s 167ff.)

 

Det er mye vi kan lære av de internasjonale studiene. Jeg håper at jeg i denne artikkelen har fått fram viktig kritikk uten å være negativ. En slik balanse er ikke enkel. Det er alt for lett å havne i en av ytterposisjonene. Total avvisning av studiene er farlig og dumt. Men like dumt er det å tro at vi her har fått den endelige dommen over kvaliteten i norsk skole.

 

Jeg mener å ha påvist at verken TIMSS eller PISA er i samsvar med L97 (eller tidligere norske læreplaner, for den saks skyld). Hvis kvaliteten i norsk skole skal måles med TIMSS og PISA, blir spørsmålet for norske lærere: Er det overhodet noen grunn til å bry seg om mål og intensjoner i norske fagplaner? Med andre ord: Vil PISA og TIMSS overstyre eller overkjøre de norske fagplanene? Vil norske fagplaner bare være vakre ord uten mening?

Referanser

Kjærnsli, Marit mfl. (2004) Rett spor eller ville veier? Norske elevers prestasjoner i matematikk, naturfag og lesing i PISA 2003, Oslo, Universitetsforlaget

 

Grønmo, Liv Sissel mfl. (2004) Hva i all verden har skjedd med realfagene? Norske elevers prestasjoner i matematikk og naturfag i TIMSS 2003. ILS, Universitetet i Oslo, Acta Didactica. - 5/2004

 

OECD (2004). Learning for Tomorrow's World  -- First Results from PISA 2003 Paris, OECD (I sin helhet tilgjengelig fra http://www.pisa.oecd.org/ )

 

Lie S. mfl. (2001) Godt rustet for framtida? Norske 15-åringers kompetanse i lesing og realfag i et internasjonalt perspektiv. ILS, Universitetet i Oslo, Acta Didactica. – 4/2001

 

Martin, M.O., Mullis, I.V.S., & Chrostowski, S.J. (Eds.) (2004). TIMSS 2003 Technical Report Chestnut Hill, MA: TIMSS & PIRLS International Study Center, Boston College. (også tilgjengelig fra http://timss.bc.edu/)

 

Mullis I. V. S. m.fl. (2003) TIMSS 2003 Assessment Frameworks and Specifications The International Association for the Evaluation of Educational Achievement (tilgjengelig også fra http://www.timss.no/