[SlovLit] Re: "Merjenje znanosti"

[Miran Hladnik]

Spoštovani!

Diskusija kako "Meriti znanost" poteka že kar nekaj časa. 
Najprej bi rad omenil, da naslov ni morda najbolj posrečen in
spominja na Kardeljevo tezo "da se da vsako delo izmeriti".

1.) Dejansko gre za t.i. "bibliometrične podatke", ki se v svetu
uporabljajo za najrazličnejše namene:
- določanje vrstnega reda prosilcev za projekte,
- izbor kandidatov za dolečene funklcije
- kot vstopni kriterij za napredovanja (habilitacije)
- kot kriterij za podeljevanje štipendijskih mest,
- kot prioritetni kriterij za dodelitev raziskovalne opreme,
- za oceno položajev, ki jih zasedajo posamezne skupine, 
laboratoriji, inštitucije ali celo države na posameznih raziskovalnih
področjih 
- in podobno.

Vsi omenjeni nameni so očitno naravnani določitvi relativnih položajev med 
več (na nek način) "tekmujočimi" za določene ugodnosti. Vendar se za vsak
namen uporabljajo nekoliko drugače. Če iščemo vrstni red kandidatov za
opremo ali programe, so pomembni recimo dosežki zadnjih nekaj let, pri habilitacijah pa so
pomebni vsi dosežki. Cobiss daje samo numerične podatke - kako pa jih bo
neka komisija uporabila, je povsem njena stvar. Na MZT so se v skladu z
zakonom (ki je bil v DELU citiran) pri dolčanju kriterijev za nosilca
naloge, odločili samo za določitev minimalnega kriterija 5 točk. Če pa neka
komisija na katerikoli fakulteti določi lastne kriterije, jih lahko iz
Cobissovih podatkov vedno izračuna. Zastonj pa je misliti, da bo nek
računalniški sistem
brez muke in težav za komisje naredil idelane odločitve v vseh primerih.

2. Z bibliometričnimi kazalci (ki jih je seveda veliko, a o tem pozneje) se
ne meri kvaliteta znanosti ali objav, ampak njihova odmevnost v znanstvneih
krogih. Kvaliteta se mora
(in tudi se) lahko meri le s tako imenovanim "peer review" torej z oceno
strokvnjakov.
Tako ocenjevanje je še danes najbolj razširjeno v svetu, vendar pa se je
zaradi zelo pogostih kritk tega načina (vse kritike seveda niso neupravičene
- prosim ne zgražajte se zaradi dvojne nikalnice) uveljavila bibliometrija
kot indikator (kazalec) odmevnosti, ki naj bi bil "koreliran" s kvaliteto.
Poudarek je na besedi korelacija, ki (statistično gledano) lahko zavzame
vsako vrednost med -1 preko ničle do +1. Enica pomeni popolno (funkcijsko)
odvisnost, ničla pa povsem nepovezanost (nekoreliranost) dveh spremenljivk.
S primerjavo ali izračunom korelacije med "peer review" ocenami in
bibilometričnimi kazalci se skuša "stabilizirati" ali, če hočete "umeriti"
(kalibrirati) oba načina. Bibliometrični kazalci segajo od najrazličnejših
relativnih in absolutnih citacij, preko podatkov o "pomembnosti" revij
("impakt faktorji"), do "dolžine publikacij na avtorja" (ta, zadnji
kriterij res malo spominja na Kardelja!). Ponovno poudarjam, da se
bibliometrični kriteriji redno uporabljajo a) kot razmejitveni kriteriji, b)
kot relativno - primerjalni kriteriji in sevda c) v kombinacijah z drugimi
kriteriji).

Ko smo lani (1999) jeseni primerjali (beri izračunali korelacijske
koeficiente) med vrstnim redom, ki so jih dali recenzenti programom in
vrstnim redom, ki je bil določen s
sistemom Cobiss smo dobili zelo mešane rezultate (pri vseh vedah, ne samo pri
humanistiki ali pri družboslovju). Razlagi sta dve:ali Cobissovi podatki
niso relevantni ali pa recenzenti niso zelo pravični. Menim, da je vsakega
nekaj. Cilj pa je jasen: oba sistema (Cobiss in recenzenti) se morata počasi
približevati drug drugemu). V razpravah, ki so bile objavljene v tujini, se
ocenjuje (zainteresirani lahko dobe bolj nantančne podatke), da je v
bibliometriji signifikanten podatek, ko korelacijski koeficient preseže
absolutno vrednost 0,5. (Za primerjavo: pri analitskih meritvah zdravil
godrnjajo, če so so korelacisjki faktorji pod 0,98!). 

Najprimerneje bi bilo, ko bi vsaka veda in področje pripravili lastne
kriterije (osnovane na bibilometričnih podatkih) in po njih res primerjalo
kandidate. Žal se pri izbirah teh kriterijev
odražajo "korelacije" z interesi, ki so vse prej kot pa "znanstvena
kvaliteta".

Lep pozdrav vsem!

Jure Zupan

-------------- naslednji del --------------
HTML priponka je prečiščena...
URL: http://mailman.ijs.si/pipermail/slovlit/attachments/20000218/8098556d/attachment.html