Realistisk Evaluering -Effekt/Virkning

Den teoretiske baggrund for projektet:
Projektet tog teoretisk afsæt i en ’Realistic Evaluation Model’ (Pawsen og Tilley 1997) samt en dansk bearbejdning af modellen ”virkningsevaluering ”(Dahler-Larsen 2006: 96). Pawsen og Tilley er professorer i socialt arbejde ved Leeds University. Begge arbejder ud fra det empirisk-analytiske evalueringsparadigme, og begge arbejder ud fra en kritisk realistisk tradition; hvilket vil sige, at de er optaget af at finde lokale kausalitetsforhold i empiriske data. Kritiske realister arbejder ud fra den betragtning, at ethvert kausalitetsforhold nødvendigvis må betragtes som lokalt, og, at der ikke kan være tale om universelle kausalitetsforhold i forhold til evaluering af sociale praksisformer. Et lokalt kausalitets forhold er med andre ord et kontekstbundet årsag-virknings forhold. Endvidere arbejder kritiske realister ud fra den betragtning, at lokale årsagsforklaringer altid udsættes for forandringer i takt med fremkomsten af nye variabler i konteksten. Lokale kausalitetsforhold, der kontinuerligt udsættes for forandring, kræver en evalueringsoptik, der kan rumme stor empirisk kompleksitet. Kritisk realisme er spændende i denne forbindelse, da den åbner for evalueringsmetoder som forsøger at rumme denne kompleksitet.

Kritisk realisme er en forholdsvis ny videnskabsteoretisk position, grundlagt i 1970’erne af den engelske filosof Roy Bhaskar. Bhaskar vil gøre op med det han anså for subjekt/objekt dikotomier i socialvidenskab. Hans ærinde var at finde en alternativ position til positivisme og hermeneutik i socialvidenskab, en position der ville kunne overskride positivismens ensidige fiksering på objektivitet og hermeneutikkens ensidige fiksering på subjektivitet. For Bhaskars vedkommende skulle socialvidenskab arbejde ud fra en grundantagelse om, at der nødvendigvis måtte ligge ” reelle årsagssammenhænge”, men at disse i princippet skulle eksistere hinsides menneskelig bevidsthed og observation. Den kritisk realistiske tradition har ikke været optaget af at nå frem til absolutte sandheder, eller endegyldige årsagsforklaringer. Der er snarere tale om en metodisk bestræbelse på at nå frem til midlertidige antagelser om ”hvad der måtte ligge bagved” observerede begivenheder. Til dette formål arbejder kritiske realister med en stratificeret virkelighed, hvori de deler den sociale verden op i tre lag: Det empiriske, det faktiske og det reale (Andersen 2007: 27-29). Metoden går ud på at arbejde fra det empiriske til det faktiske for at slutte af på det reale. Det reales domæne kan ikke iagttages, og må derfor antages i form af realistiske hypoteser.

Metode:
Metoden gik ud på, at dokumentere hvilke virkninger deltagelse i modulets undervisning havde på kursisterne. Hvad angår evaluering af kursisternes udbytte, skelnes der metodisk mellem modulets ”effekter” og modulets ”virkninger”. Effekter er kursisternes umiddelbare oplevelser af modulet, virkninger er målt over længere tid og antages af at være kursisternes reelle udbytte. Virkninger er med andre ord de effekter, der varer ved. Projektet begyndte med at registrere de af kursisterne forventede effekter, derefter arbejdede vi hen imod et sæt hypoteser omkring de reale virkninger. Projektets metodiske mål var at formulere en ”programteori”, forstået som et sæt kvalificerede antagelser omkring reelle virkninger af kursisternes deltagelse på modulet. Der skulle udvikles et ”flowchart”, hvori der skulle registreres indsats, komponenter, effekter og virkninger. Programteoriens antagelser over virkningerne er ikke endegyldige, og betragtes derfor som et udgangspunkt for et efterfølgende evalueringsforløb.

Vi vil indsamle empiri ved at anvende kvalitative interviews. Til at begynde med lavede projektgruppen fokusgruppeinterviews. Formålet var at danne os et billede af kursisternes forventede effekter, dvs. hvad de mente de vil få ud af modulet. Derefter blev de 3 kursister interviewet individuelt med henblik på det samme. Projektgruppen udviklede herefter en observationsguide, dvs. et sæt opstillet hypoteser over de forventede effekter.

Projektgruppen mødtes 7 gange af 2 til 4 timers varighed, herunder 3 gange i foråret 2007 (28. marts, 14. maj og 8. juni), og 3 gange i efteråret 2007 (15. august, 1. oktober og 6. november), og 1 gang foråret 2008 (28. maj). Derudover har projektgruppen gennemført:
• et orienteringsmøde med studerende på Naturfagsmodulet.
• et fokusgruppeinterview med tre kursister
• observation og interview på to skoler

Projektgruppen dokumenterede sit arbejde på følgende måde:
• Spørgeskema til alle studerende på Naturfagsmodulet
• Spørgeguide til fokusgruppeinterview
• Spørgeguide til individuelle interviews
• Analyse af fokusgruppeinterview
• Observationsguiden (en analyse af affekter fra de individuelle interviews)
• Analyse af interviewene på skolerne
• Der er lavet interne referater af samtlige møder

-At deltagernes forventede virkninger af efteruddannelse (diplom i naturfags-didaktik) blev indfriet