Slagsíðan, heilinn og kennslukannanir

Nú stendur til að stytta nám til stúdentsprófs í þrjú ár. Það þýðir minnkaða vinnu hjá framhaldsskólakennurum landsins og líkur á uppsögnum. Til hvers munu skólameistarar horfa ef til uppsagna kemur?

Við treystum tölum. Vegna þarfar okkar til að skilja heiminn þá viljum gjarnan geta sett allt undir mælistiku, skoðað það og skilið.

Í flestum framhalds- og háskólum heimsins fer fram einu sinni á önn kennslumat þar sem nemendur fá tækifæri til að leggja mat á kennsluaðferðir og frammistöðu kennarans. Slíkt mat getur verið ákaflega gagnlegt. En það er ekki hafið yfir gagnrýni frekar en önnur mannanna verk.

Líklega hefur kennslumat hafist upp úr 1920 í Bandaríkjunum og hefur síðan verið umdeilt.  Frekar hefur notkun þess þó aukist heldur en hitt.

Þar sem líklegt má telja að skólameistarar muni, m.a., líta til kennslumats í ákvörðunum sínum þykir mér rétt að benda á gagnrýni sem slíkt kennslumat hefur hlotið. Mun ég fjalla um greinina Bias, The Brain, and Student Evaluations of Teaching eftir Deborah J. Merritt. Ég fer ekki mikið út fyrir hennar heimildir og biðst afsökunar á annars stigs heimildanotkun. Margt að því sem hún vitnar í er hins vegar ekki opið á netinu svo ég hef ekki aðgang að þeim gögnum.

Rétt er að benda á að ég tel alls ekki að gagnrýnin sé yfir gagnrýni hafin frekar en annað. Þá vil ég ítreka að ég er ekki, fremur en greinin sjálf, að dæma né gagnrýna þá er ákveða matið, þá sem leggja það fyrir né heldur þá er meta. Fyrir mér vakir það eitt að benda á þær hættur sem geta fylgt slíku mati án þess að fullyrða á nokkurn hátt að svo sé.

Slagsíðan, heilinn og kennslukannanir.

Grein Merritt fjallar um kennslu í lögum við háskóla í Bandaríkjunum. Það breytir þó engu um að margt af því sem þar kemur fram á við almennt. Einhverra hluta vegna  hafa margar rannsóknir verið gerðar á kennslukönnunum hjá lagadeildum í Bandaríkjunum og auðvelt að nálgast á netinu.

Meritt byrjar að benda á að ekki-hvítir kennarar koma almennt verr út úr kennslukönnunum en hvítir:

Professors of color have published poignant accounts of harshly negative student evaluations.2 The few empirical studies examining instructor race and student ratings confirm that minority faculty receive significantly lower evaluations than their White colleagues. (bls. 3)

Erfitt sé að hafna því að fordómar spili rullu í þessu mati. Hins vegar upplifi hvítir kennarar einnig ákveðna fordóma sem byggi þá helst á kyni þeirra ‚ útliti og pólitískum skoðunum. (bls.4) Í framhaldi er spurt:

In an increasingly diverse and competitive workplace, can we rely upon conventional teaching evaluations to tell us what we want to know about a professor’s classroom success? Or do these evaluations reflect—and perhaps reinforce—biases based on race, sex, and other unwelcome characteristics?

Það eru þó á engan hátt hreinar línur í þessu. Margir kvenkennarar, ekki-hvítir kennarar og óhefðbundnir kennarar skori oft hátt á slíkum könnunum. Þá er það ekki ávísun á hátt skor að vera miðaldra, hvítur karl.

Rannsóknir sýni hins vegar alveg klárlega halla. En sá halli byggist á orðlausri framkomu kennarans (e. nonverbal behaviors).

 Conventional student evaluations strongly mirror the professor’s smiles, gestures, and other mannerisms, rather than the professor’s knowledge, clarity, organization, or other qualities more clearly associated with good teaching. The way in which a professor walks into the room or smiles at the class can affect student ratings much more substantially than what the professor says or writes on the blackboard. (bls. 5-6)

Dr. Fox.

Eitt af því sem Merritt kemur inn á er tilraun sem gerð var 1970. Þá var fenginn aðlaðandi, virðulegur og orðlipur leikari til að flytja fyrirlestur fyrir vel menntað, fullorðið fólk. Samkvæmt fyrirmælum rannsakenda var fyrirlesturinn  fullur af þversögnum, tilbúnum orðum og rökleysu. Einn hópur var á fyrirlestrinum og tveir aðrir horfðu svo á upptöku af honum. Niðurstaðan var nokkuð einróma:

Fox fooled, not just one, but three separate audiences of professionals and graduate students.25 Fifty-five psychiatrists, psychologists, educators, graduate students, and other professionals viewed Fox’s lecture; not one identified its emptiness.26 On the contrary, Fox received extremely favorable ratings from his audiences. In addition to awarding him strong numerical scores, audience members praised him for an “[e]xcellent presentation,” “warm manner,” “[g]ood flow,” “[l]ively examples,” “relaxed manner,” and “[g]ood analysis ofsubject.”27 (bls. 9-10)

Hægt er að finna talsvert um þessa tilraun á netinu. Er iðulega talað um Dr. Fox Effect.

 

Í beinu framhaldi spyr Merritt:

The disturbing feature of the Dr. Fox study, as the experimenters noted, is that Fox’s nonverbal behaviors so completely masked a meaningless, jargon-filled, and confused presentation. If style can trump substance so easily, even in the minds of a trained, professional audience, then what role do nonverbal behaviors play in more routine student evaluations? (bls. 10)

Ytra byrði.

Það virðist því á öllu að framkoma kennarans hafi mest að segja um það hvernig hann er metinn. Margt í framkomu fólks er algjörlega ómeðvitað en hægt að breyta og „laga“ þegar á það hefur verið bent. En ekki öllu:

Many of the behaviors that substantially shape student evaluations, however, are gestures, expressions, tones of voice, and other characteristics that stem from an instructor’s physiology, culture, habit, and personality. These aspects of classroom behavior are “unintended,” “unconscious,” and largely immutable.81 Professors who manifest these behaviors or appearances will never raise their evaluations beyond a pre-set ceiling, no matter how diligently they work at effective and engaging classroom presentations.82 (bls. 21)

Útlit kennarans , andlitsfall og rödd skiptir líka máli. Rannsóknir sýna, þó ekki í beinu sambandi við kennslu, að fólk upplifir blökkumenn t.d. sem meira ógnandi en hvítingja. Þá horfa blökkumenn almennt síður í augu fólks en nemendur upplifa slíkt sem áhugaleysi í fari kennara. (bls. 24)

Svipuð framkoma er metin á mismundandi hátt eftir því hvort kynið á í hlut. (bls 32)

Þá getur félags- og fjárhagsleg staða kennarans skipt máli sem og kynhneigð hans. (bls. 34)

Sú hætta virðist því vera til staðar að nemendur dæmi kennara eftir staðallímyndum og oft algjörlega ómeðvitaðri framkomu. Þetta býður heim hættunni á vítahring:

Acquaintance does not necessarily reduce these perceptual distortions; instead, the

differences may grow through self-reinforcing cycles. If students perceive hostility in the

ambiguous expression of a Black professor, coerciveness in the eye contact of a woman, or obstructive behavior in a professor from an underprivileged background, they will respond to those impressions with heightened hostility of their own. The faculty member, in turn, confronts negative reactions that have no apparent source; he or she has engaged in neutral (or even positive) behaviors that appear to have provoked an angry response. Faced with this seemingly irrational hostility, the Black, female, or low-status faculty member may display subtle signs of their own discomfort and anxiety. Students will perceive those behaviors, reinforcing their initial, negative images. False impressions generated by stereotypes, in other words, create a cycle of mutually reinforcing behavior.139 By the semester’s end, students may feel quite justified in rating the Black, female, or low-status professor as hostile and uncaring. (bls. 35)

Nú hefði mátt ætla að kennari sem kemur vel fyrir og nær vel til nemenda sé þrátt fyrir allt sem á undan er sagt betri kennari en einhver sem skorar lægra á könnunum. Nemendur læra jú hjá þeim kennara sem þeir kunna að meta. En það er alls ekki gefið.

The most recent study, in fact, suggests a negative correlation between evaluations and learning. In a particularly well designed investigation, two business professors gathered eight full years of data on students who completed two sequential accounting courses at a Midwestern university.143 After controlling for ACT scores, overall GPA, and grade in the first course, the researchers discovered that students who completed the first course with highly rated professors achieved significantly lower grades in the second course.144 The professors with top evaluations, in other words, did not prepare students for the more advanced course as well as lower rated faculty did. (bls. 36)

Hættan er þessi:

The results of this analysis lend support to speculation that a desire for better teaching evaluations may pressure faculty to “dumb down” the material they present to students.146 (bls. 37)

Að lokum.

Merritt og aðrir gagnrýnendur eru ekki að gagnrýna kennslukannanir sem slíkar. Gagnrýnin snýr ekki að hugmyndafræðinni heldur aðferðafræðinni. Nafnlausar skyndikannanir, iðulega í gegnum netið, skili yfirborðskenndum niðurstöðum. Betra sé að leggja meira í kannanirnar. T.d. með jafningjamati, þ.e. að kennarar meti hverja aðra. Með því að metandi sitji í kennslustund og ræði svo við nemendur án kennarans.

Sjálf er ég hlynnt kennslukönnunum og finnst gott að fá svörun á kennsluhætti.

Greinin kemur inn á marga mjög forvitnilega þætti og hvet ég áhugasama/r að lesa hana. Þessi bloggfærsla er hins vegar orðin talsvert lengri en góðu hófi gegnir og tímabært að slá botninn í.