Till startsida

Ensidig mätning hotar forskningen

I 2015 års sista nummer (nr 7) av GU Journalen handlar en av artiklarna om bibliometri och om bibliometriska mätningsmetoder inom forskningsvärlden (Tikkanen 2015). I artikeln diskuteras både för- och nackdelar med att kvantifiera, räkna och poängsätta forskningsprestationer. Min avsikt med den här texten är emellertid inte att väga för och emot, utan istället att lyfta fram några av de problem som blir följden när man låter en så komplex verksamhet som forskning värderas utifrån kvantitativa mått. Först lite bakgrund.

Kvantifieringen av forskares verksamhet, i antal publiceringar och citeringar (oftast i rangordnade tidskrifter), är en del av den ledningsmodell, New Public Management (NPM), som introducerades vid svenska universitet på 1990-talet och som innebär att även offentlig verksamhet ska marknadsanpassas och konkurrensutsättas. Verksamheten dokumenteras, utvärderas och kvalitetssäkras. I 2015 års nummer av facktidskriften Språk och stil ringar språk- och kommunikationsforskarna Per Ledin och David Machin in NPM-svenskan, dvs. det språk som bär managementmodellen (och som t.ex. de ord jag kursiverat ovan är en del av). Med utgångspunkt i visions- och styrdokument från Örebro universitet visar de hur språket ”tränger in i vardagsarbetet, i forskning och undervisning” (s. 5) och reducerar t.ex. komplex och mångfacetterad forskningsverksamhet till siffror, uträknade enligt särskilda, utvalda index och presenterade i tabeller. Det är publiceringar och citeringar, via ett begränsat antal utvalda kanaler, som räknas. Av den enskilda forskaren syns nästan ingenting och viktiga delar av forskningsverksamheten som att ”göra fältarbete, läsa in sig på teori, ta en paus när man kört fast ligger utanför systemets logik och kan inte räknas som aktiviteter” (s. 28) (Undersökningen refereras även av Olle Josepson i Svenska Dagbladets språkspalt den 3 januari 2016.

I en rapport från Högskolan i Borås går Gustaf Nelhans och Pieta Eklund (2015) systematiskt igenom de bibliometriskt grundade resursfördelningsmodeller som används vid svenska universitet och högskolor. Att värdera forskning utifrån sådana modeller är, menar Nelhans och Eklund, ofta till men både för den som utvärderas (forskaren) och den som utvärderar (lednings- och styrningsfunktionerna). Forskaren försöker ”maximera sin prestation i den bibliometriska modellen som därmed blir performativ” (s. 51) medan stöd- och ledningsfunktionerna ofta hamnar i ”en kontrollerande revisorsfunktion” (ibid.). Nelhans och Eklund ställer sig tveksamma till om en modell som styr forskarna mot ett fåtal utvalda publiceringskanaler verkligen kan gynna forskningskvaliteten och frågar sig om de automatiserade granskningssystemen inte riskerar att rentav hämma forskningens utveckling och universitetens möjlighet att t.ex. utveckla egna nya profilområden. Risken finns att systemet blir styrande istället för de styrande, dvs. att forskning anpassas för att passa systemet och ge gott utfall enligt de parametrar som används. På så vis blir systemen rentav ett hot mot forskningens frihet. (s. 51–52).

De bibliometriskt grundade bedömningsmodellerna utsätts idag för kritik från många håll och det kan lätt konstateras att effekterna av dem i många fall blir både märkliga, orättvisa och, i förlängningen, till och med, skadliga. Exempel följer strax, men först ska sägas att dessa modeller vid just Göteborgs universitet spelar en ganska marginell roll vid fördelningen av fakultetsanslagen. Endast 10 procent av anslaget baseras på de bibliometriska poängen, medan 10 procent avgörs av storleken på de externa anslagen. Resten fördelas på vad som kallas historiska grunder (se Tikkanen 2015:12). Vid vissa andra universitet och högskolor fördelas en större del av anslagen på bibliometriska grunder (för mer information se Nelhans och Eklund).

Argumentationen nedan är inriktad på bedömnings- och utvärderingstypen generellt sett, trots att den då den används på det sätt den är menad, det vill säga på t.ex. fakultetsnivå, relativt sällan får någon stor inverkan på fördelningen av den s.k. ”konkurrensutsatta delen av fakultetsmedlen”. Att den ändå är värd att diskutera beror på att själva synsättet, med kvantifiering och poängsättning av publikationer, får betydelse i helt andra sammanhang, på lägre nivåer i organisationen, t.ex. vid utvärderingsmöten på institutionsnivå. Där jämförs inte sällan institutioner - den egna och andra – med utgångspunkt i publiceringspoängen i avsikt att se vem som är bra och vem som är dålig. Ofta tas även ett mer allmänt grepp på publikationsfrekvensen, och tabellerna som visas upp kompletteras med publikationstyper som ska föras upp i bibliotekets publiceringsdatabas trots att de inte är poänggivande enligt de bibliometriska modellerna. Poängen, eller avsaknaden av poäng, tas ibland också upp vid lönesättningssamtal och kan då utgöra grunden för den enskilda forskarens lönepåslag. Så är modellerna inte tänkta att användas men det görs, och egendomligheter, orättvisor och inneboende felaktigheter i dem kan ge kännbart utfall för den enskilda forskaren inte bara ekonomiskt utan även med avseende på självkänsla och psykiskt välmående. I det som följer ges några exempel på hur modellerna kan fungera i praktiken (samtliga exempel behandlar publiceringskriteriet, medan citeringskriteriet här lämnas utanför).

Något som redan berörts ovan är att forskares verksamhet, p.g.a. modellernas fokus på publicering, värderas utifrån mängden publikationer. Det ska publiceras mycket och helst i kanaler som ger nivåpoäng. Hög publiceringspoäng ger i viss mån utdelning på institutionsnivå tack vare högre fakultetsanslag, men också på individnivå vid t.ex. löneförhandling. Hellre många små publikationer, än färre mera omfattande. Och mycket hellre ofta än mera sällan. I Nelhans och Ekelunds genomgång noterades att detta synsätt kan leda till en publiceringsinflation, där forskare i sin iver att uppfylla systemets krav massproducerar artiklar enligt principen om minsta publiceringsbara enhet, vilket bidrar till en snuttifiering av forskningsresultaten (s. 20). En annan effekt, som alla som någon gång varit sakkunniga känner till, är att man som forskare lockas att publicera samma innehåll flera gånger med små variationer. Dessutom tar det tid att skriva artiklar och effektiviteten i forskningen riskerar alltså bli sämre. På individplanet blir följden inte sällan ökad stress, med fysisk och psykisk ohälsa som följd.

Ytterligare en följd blir att forskningsprojekt som tar längre tid att slutföra och som inte lämpar sig för publicering av delresultat blir osynliga i statistiken och således under lång tid inte bidrar till resurstilldelningen. När de blir färdiga, kanske i form av en monografi, kan de dock tilldelas fler poäng än en artikel – men det gäller, vilket vi strax ska återkomma till, inte all forskning.

Intressant är därför att titta närmare på vad som ger poäng enligt de bibliometriska modellerna. Vid flera fakulteter på Göteborgs universitet tillämpas den s.k. norska modellen, som baserar sig enbart på publikationer, vilka ges poäng efter publiceringskanal och nivå (på andra fakulteter är det istället den inledningsvis nämnda fältnormaliserade citeringsgraden som gäller). Hur olika publiceringskanaler värderas enligt den norska modellen framgår av följande länk: dbh.nsd.uib.no/publiseringskanaler/Forside.

Det som värderas i den norska modellen är enbart vetenskapliga publikationer. Allt som faller utanför den definitionen ger alltså noll poäng. Det gäller t.ex. alla populärvetenskapliga publikationer och all medverkan i dagspress och andra kanaler som vänder sig till samhället. Detta är märkligt med tanke på universitetets och högskolornas samverkansuppdrag. Det gäller också läroböcker. Vetenskapliga publikationer som ges ut via fel kanal, t.ex. ett förlag som inte har kvalat in bland de godkända ges heller inga poäng (att de inte gör det beror vanligen på att det saknas extern granskningsprocess). Det betyder att en doktorsavhandling som ges ut inom Göteborgs acta-serie (med två undantag, Göteborg studies in conservation och Gothenburg studies in educational sciences) inte ger några poäng, medan en som ges ut på t.ex. bokförlagen Nya Doxa eller Daidalos gör det. Alla de avhandlingar som ges ut i min egen institutions skriftserie Göteborgsstudier i nordisk språkvetenskap blir poänglösa, eftersom serien inte finns med bland de godkända publiceringskanalerna. Avhandlingar som är en stor del av den forskning som bedrivs på en institution riskerar alltså att inte komma med i de siffror som anger forskningsaktivitet. En annan typ av vetenskapliga publikationer som inte räknas är festskriftsartiklar, trots att dessa i de allra flesta fall är mycket väl genomarbetade vetenskapliga alster. Vem skriver något halvdant som hyllning till en värderad kollega i en skrift som kommer att läsas av en stor del av övriga forskare inom fältet?

Under arbetet med det här inlägget har jag också upptäckt att flera typer av kvalificerad forskning helt faller utanför systemet. Det gäller t.ex. kritiska vetenskapliga textutgåvor som aldrig kan ge poäng enligt den norska modellen. Att kritiska editioner inte räknas som vetenskap är naturligtvis mycket märkligt, eftersom arbetet med dem kan liknas vid naturvetenskapens grundforskning. De systematiskt och med vetenskapligt stringent metod framtagna editionerna kommer under lång tid att ligga till grund för kommande forskning inom olika vetenskapsfält. Ett annat exempel på kvalificerat vetenskapligt arbete som inte räknas är översättningar av klassiska verk från t.ex. latin eller grekiska.
Om man tar steget ut från just den norska modellen och ser hur bibliometrisk information används vid Örebro universitet erbjuder Ledins och Machins artikel om NPM-språket ett intressant exempel. Den har nämligen med deras egna ord ”noll kvalitet”, dvs. den interna resursfördelningsmodellen (vid institutionen för humaniora, utbildnings- och samhällsvetenskap) tilldelar artikeln noll kronor, eftersom den är skriven på svenska. Om den däremot hade varit skriven på engelska och publicerad i en internationell tidskrift hade författarna fått 12 000 kronor var (s. 29). Där har värderingssystemet alltså förts ner på individnivå och professorer och ämnesföreträdare får varje år sig tillsända listor där forskares poäng och individuella publiceringspoäng framgår (s. 29). Vid Göteborgs universitet hade Ledins och Machins artikel fått 1 poäng, eftersom den är publicerad i Språk och stil som värderas till nivå 1 i den norska modellen (men den hade inte gett några pengar direkt till forskarna).

Systemet och synsättet påverkar i förlängningen förstås även vilken typ av forskning som alls blir gjord. Om man som forskare vill komma snabbt uppåt i både karriär och löneläge gäller det att inte ge sig in på stora forskningsuppgifter med låg publiceringstakt och som kanske inte ens kommer att räknas ens när de väl blir färdiga. Forskning som riskerar att inte bli gjord är t.ex. den typ av arbeten som nämndes ovan, dvs. större kritiska texteditioner och krävande översättningar av äldre texter. Under många år plöjs tusentals timmar ner i arbetet men forskningsinsatsen är inte kvantifierbar – och då räknas den inte. Och när editionen eller översättningen väl blir färdig – så räknas den inte heller, såvitt den inte bryts ut i små enheter och publiceras som artiklar via rätt kanaler. Men det är det tidskrävande, stora arbetet som blir bestående. Långt efter att artiklarna är glömda och begravda (och så även forskarna som skrev dem) kommer helheten – de omfattande verken – att stå på bibliotekens referenshyllor. Och de kommer fortfarande att användas.

Slutligen vill jag, genom ytterligare ett exempel, belysa två av de aspekter som diskuteras ovan. Det gäller dels hur systemen blir styrande istället för kontrollerande, dels hur de används även på individnivå. Exemplet är hämtat från en diskussion mellan en chef och en forskare/lärare i samband med lönesättning. Det som diskuteras är forskningsaktiviteten (här tas dock även två andra kvantifierbara parametrar, extern finansiering och konferensdeltagande, med i resonemanget) och chefen konstaterar att forskaren visserligen arbetar flitigt och bra med sin forskning men att det är för dåligt med publiceringar. Forskaren försvarar sig med att arbetet, vilket chefen ju känner väl till, tar tid men att det kommer att bli bra när det är färdigt och att det är ett viktigt arbete. Dessutom skulle en del av arbetet redan ha varit publicerat om det inte hade blivit krångel med förlaget. Chefens svar blir att hen mycket väl vet allt detta men hänvisar till hur systemet fungerar. När kriterierna för synlig forskning främst består i publikationer, beviljade forskningsprojekt och konferensdeltagande måste chefen utgå från det i lönesättningen.

Här förs systemet ner på individnivå och det blir systemet och kriterierna som s.a.s. hålls ansvarigt för hur chefen bedömer forskarens insatser och i slutändan avgör vilken lön som sätts. Chefen vet att forskaren har arbetat idogt och bra, men det syns inte i systemet och kan inte premieras. På det viset styr systemet över såväl forskningen som över forskaren och chefen – och i förlängningen över hela universitetets inriktning. Forskaren rättar nog in sig i ledet och ser i fortsättningen till att göra det som systemet kräver.

Innan jag lämnade ifrån mig den här artikeln lät jag några kolleger läsa den och jag kan konstatera att igenkänningsfaktorn var stor liksom engagemanget. Jag ger sista ordet till en av kollegerna: ”Det kom liksom smygande runt millennieskiftet och plötsligt var mycket av det man hade gjort inget värt. Det jag undrade var: Vem bestämde det? Vem bestämde att ett som vanligt lysande festskriftsbidrag av Ulf Teleman skulle ha noll poäng?”

Josephson, Olle 2016. Människan försvinner i kvalitetssäkringen. Svenska dagbladet 3/1- 2016. http://www.svd.se/manniskan-forsvinner-i-kvalitetssakringen/om/kultur hämtat den 5/2-16
Ledin, Per och Machin, David 2015. Universitetet som en multimodal marknadsplats. Designen av en nyliberal managementdiskurs. Språk och stil 25. Sid. 5–37.
Nelhans, Gustaf och Eklund, Pieta 2015. Resursfördelningsmodeller på bibliometrisk grund vid ett urval av svenska lärosäten. Vetenskap för profession 30:15. Högskolan i Borås.
http://hb.diva-portal.org/smash/record.jsf?pid=diva2%3A789871
hämtat 5/2-16

Tikkanen, Karin W. 2015. Mätning av forskning en brännande fråga. GU Journalen 7/2015. Sid. 10–13.
http://issuu.com/universityofgothenburg/docs/guj7-2015/10-13

Ett varmt tack till Lars Kullman på Göteborgs universitetsbibliotek och till Gustaf Nelhans vid Högskolan i Borås som generöst delat med sig av sina stora kunskaper i bibliometri.

Barbro Wallgren Hemlin, universitetslektor i svenska.

Detta är den långa versionen av debattinlägget som publicerades i GU Journalen nr 2-2016.
 

ettan 2-2016
Sidansvarig: Allan Eriksson|Sidan uppdaterades: 2019-07-24
Dela:

Denna text är utskriven från följande webbsida:
https://medarbetarportalen.gu.se/aktuellt/gu-journalen/debatt-nr-2-2016--ensidig-matning-hotar-forskningen/?skipSSOCheck=true
Utskriftsdatum: 2019-12-16

På Göteborgs universitet använder vi kakor (cookies) för att webbplatsen ska fungera på ett bra sätt för dig. Genom att surfa vidare godkänner du att vi använder kakor.  Vad är kakor?