際際滷

際際滷Share a Scribd company logo

De speld in de papierberg

Vlaamse Vereniging voor Bibliotheek, Archief & Documentatie vzw (VVBAD)
Vlaamse Vereniging voor Bibliotheek, Archief & Documentatie vzw (VVBAD)

De speld in de papierberg - Steven Laporte

1 of 5
De speld in de papierberg Juni 2015 De speld in de papierberg Steven Laporte Vrije Universiteit Brussel steven.laporte@vub.ac.be Samenvatting In dit artikel benadrukken we het belang van een degelijke algemene kennis van wetenschapsontwik- keling en de dynamiek die aanwezig is bij de productie van wetenschappelijke informatie, als onmisbare voorwaarde voor het verwerven van informatievaardigheden. Aan de hand van het beeld van een steeds groeiende papierberg gaan we op zoek naar de wortels van de scientometrie en tonen aan hoe deze inzichten studenten en onderzoekers, maar ook het brede publiek, kunnen helpen om hun weg te vinden naar de juiste informatie. Twee werelden Wetenschappelijk onderzoek heeft aangetoond dat... Via deze woorden belooft de populaire pers ons, gewone stervelingen, even mee te ne- men naar een andere wereld: de wereld van de harde wetenschap. Dat deze reis niet altijd vlekkeloos verloopt, mag duidelijk zijn voor iedereen die de actualiteit met enige kritische zin opvolgt. Volgend op deze woorden vin- den we immers niet zelden de samenvatting van een bestaand onderzoek dat zorgvuldig werd ontdaan van haar oorspronkelijke weten- schappelijke betekenis. Objectiviteit en kriti- sche zin moeten het vaak a鍖eggen tegen de roep om spraakmakende krantenkoppen en kant en klaar clickbait. Wie toch meer wil weten over de precieze toe- dracht van een wetenschappelijk nieuwsitem, kan uiteraard zelf de al dan niet meegeleverde link volgen. Daarop belandt men met wat ge- luk bij de oorspronkelijke onderzoekspaper. De doorzetters krijgen dan een technische uiteen- zetting te zien, waarvan de titel heel wat min- der wervend blijkt dan die van het artikel in de krant of op de nieuwssite. Van de reguliere pers verhuisden zij naar de wereld van acade- mische papers in wetenschappelijke journals. Wie niet voldoende gewapend is om een derge- lijk artikel in het juiste perspectief te plaatsen - en zich laat afschrikken door het gebruikte jargon - raakt al gauw ontmoedigd. Men loopt dan al snel het risico om de schouders op te halen en maar te aanvaarden wat de journalist schrijft of zelfs om de hele zaak dan maar te negeren. Gelukkig gaat het er niet altijd zo aan toe. Er bestaan nog goede wetenschaps- journalisten, die een correcte weergave kunnen geven van de oorspronkelijke inhoud. Maar zij worden schaars. Toch hoeft een kennismaking met weten- schappelijke publicaties ook voor de ge誰nte- resseerde leek niet noodzakelijk op een teleur- stelling uit te draaien. Ook zonder een ge- specialiseerde opleiding is het vaak mogelijk - enigszins afhankelijk van het vakgebied - de conclusie van een wetenschappelijke paper in essentie te begrijpen. Je kan dus best wel een brug slaan tussen de twee werelden, maar het vraagt enige inspanning. Binnen de context van een voortgezette op- leiding verwachten we van studenten - en met name van onderzoekers - dat zij de overstap van de reguliere media naar de vakbladen hoe dan ook kunnen maken. De bibliotheek kan hen hierbij op meer dan 辿辿n manier bijstaan. Vrijwel alle moderne bibliotheken beseffen momenteel dat hun taak niet eindigt met het louter ter beschikking stellen van materialen en het verlenen van toegang tot databanken. Bij introducties rond informatievaardigheden worden technieken uitgelegd om goede zoek- opdrachten te formuleren en succesvol te na- vigeren op de zee van informatie, en dit zo- wel binnen als buiten het institutionele aanbod. Deze vaardigheden zijn onmisbaar voor het 1
De speld in de papierberg Juni 2015 voeren van een onderzoek of het voorbereiden van een eindwerk. Maar zelfs als men een usb- stick vol heeft weten te stoppen met artikels, blijven er vaak vragen: heb ik nu werkelijk de juiste informatie te pakken? Zijn de artikels die ik vond wel representatief voor de huidige stand van het onderzoek? Naast de kennis die eigen is aan het studie- gebied, kan het voor de gebruiker een grote hulp zijn wanneer die zich een beeld kan vor- men van de structuren die eigen zijn aan de berg van informatie die wordt doorzocht. Of anders geformuleerd: hoe vind je een speld in de steeds groeiende papierberg? De top 100 Ongeveer een jaar geleden verscheen in het toonaangevende vakblad Nature, een artikel waarin naar de honderd meest geciteerde we- tenschappelijke papers aller tijden werd ge- zocht. Directe aanleiding voor deze proef was de vijftigste verjaardag van het verschijnen van de eerste resultaten van de Science Citation In- dex (SCI) door Eugene Gar鍖eld. Deze SCI ging de geschiedenis in als de eerste systematische poging om het gebruik van bibliogra鍖sche ver- wijzing - ofwel citaties - bij wetenschappelijke artikels in kaart te brengen. Via het bijhouden van deze citaties werd het mogelijk om uit te maken welke publicaties de aandacht trokken van andere onderzoekers, die er vervolgens in hun eigen publicaties melding van maken. Dit gegeven kan mogelijk een indicator zijn voor hun wetenschappelijke waarde en relevantie. Het gebruik van dergelijke graadmeters wist sindsdien een centrale plaats te veroveren bij de evaluatie van wetenschappelijk onderzoek. De resultaten van het onderzoek in Nature zijn op het eerste zicht opzienbarend. Hoe waren de auteurs precies te werk ge- gaan? Als databank gebruikten zij de citatie- gegevens uit het Web of Science (WoS). Deze dienst is een onderdeel van de media- en in- formatiegigant Thompson Reuters die in 1992 het Institute for Scienti鍖c Information, dat nog werd opgericht door Gar鍖eld zelf, verwierf. Het corpus van het WoS bevatte op het ogen- blik van de proef het duizelingwekkend aantal van 58 miljoen items. Stuk voor stuk publica- ties die aanspraak maakten op wetenschappe- lijke eer en glorie. Om het geheel wat bevattelijker voor te stel- len, schaalden de auteurs deze immense pa- pierberg om naar het formaat van een echte berg, namelijk de Kilimanjaro die met zijn 5895 meter nog steeds de hoogste berg van Afrika is. De denkbeeldige tocht vanaf de voet van deze papierberg naar de top is voor veel beginnende onderzoekers een ontluisterende onderneming. Zo bestaat de hele eerste etappe - tot ongeveer 2500 meter hoogte - uitsluitend uit publicaties waar nooit iemand naar verwezen heeft. Meer dan 25 miljoen items die misschien wel ooit gelezen zijn geweest - een citatie-index meet enkel de verwijzingen en niet het gebruik - maar waar niemand ooit een nieuw onderzoek op heeft gesteund, noch het de moeite waard heeft gevonden om het kritisch te bespreken. De volgende etappe van 18 miljoen items brengt ons naar een hoogte van bijna 4500 me- ter. De items die hier te vinden zijn, hebben in totaal tussen de 辿辿n en de negen citaties we- ten te verwerven. De publicaties die het met minder dan 100 citaties moesten weten te stel- len, brengen ons tot boven de 5500 meter. En de toplaag van papers die meer dan duizend citaties konden verzamelen, beslaat slechts an- derhalve meter bovenaan de top. De honderd meest geciteerde artikels nemen amper de bo- venste centimeter van de berg in beslag. Om tot die top honderd te kunnen behoren, moet een artikel dan ook meer dan tienduizend ver- wijzingen hebben gekregen. Het artikel dat sinds jaar en dag de academi- sche hitlijsten aanvoert draagt de titel: Protein Measurement with the Folin Phenol Reagent en werd in 1951 geschreven door professor bioche- mie Oliver H. Lowry.1. Wie het niet luidop zegt, denkt nu in stilte: Daar had ik toch meer van 1In 1990 stelde Gar鍖eld zelf een top 100 samen (toen op basis van 33 miljoen items) met als ondertitel Will the Lowry Method Ever Be Obliterated? en ook toen al voerde Lowry de rangschikking aan. Opvallend aan de rangschikking van Gar鍖eld is dat hij de resultaten in alfabetische volgorde per auteur weergeeft en niet volgens aantal citaties. 2
De speld in de papierberg Juni 2015 verwacht. Met uitzondering van een beperkt groepje experts doen noch het onderwerp van de winnende paper, noch de naam van haar auteur namelijk veel belletjes rinkelen. Hoe komt het dan dat een paper die zo weinig tot de verbeelding spreekt, aanspraak kan maken op deze ereplaats? Zou het niet veel meer voor de hand liggen indien bijvoorbeeld Einsteins voorstelling van de algemene relativiteitstheo- rie of de ontdekking van de dubbele helixvorm van het DNA door Watson en Crick met de ere- plaatsen zouden zijn gaan lopen? Om op deze vraag een antwoord te kunnen geven, moe- ten we een aantal stappen terugzetten in een poging de vorming en de dynamiek van de papierberg beter te begrijpen.2 De papierberg Hoe komt het dat de volledige inhoud van het WoS in 2014 is aangegroeid tot 58 miljoen items? Om dit te begrijpen moeten we ons een beeld trachten te vormen van de groei van de wetenschappelijke productie en haar relatie tot de groei van de wetenschap als dusdanig. Dergelijke vragen zijn een onderdeel van het vakgebied dat we scientometrie noemen, ofwel de wetenschap van de wetenschap. Een klassieke manier om de groei van de wetenschap te beschrijven is het zogenaamde informatiemodel van wetenschap. In dit model gaat men er van uit dat wetenschappelijk on- derzoek een georganiseerd systeem is dat in- formatie produceert. Wetenschappelijk onder- zoek moet bovendien met informatie worden gevoed om zo nieuwe informatie te kunnen voortbrengen. De groei van de wetenschap is in dergelijke modellen eenvoudig meetbaar door de cumulatieve groei van het aantal pu- blicaties te meten. Hoewel deze aanpak vrij makkelijk becijferbare uitkomsten geeft, zijn er een paar belangrijke tekortkomingen. Zo gaat men er bijvoorbeeld van uit dat alle oudere pu- blicaties relevant zijn in het jaar wanneer een vaststelling wordt gedaan. Bij analyse van de citaties over een langere periode, zien we ech- ter een algemene afname van het aantal citaties naar mate een artikel ouder wordt. Andere auteurs trachten de ontwikkeling van de wetenschap te kenschetsen door de ex- ponenti谷le groei van het totale aantal publica- ties in verband te brengen met een al even ex- ponenti谷le daling van het volume aan relevante informatie. Een model dat theoretisch goede resultaten geeft, maar moeite heeft om deze tegengestelde ontwikkelingen in een speci鍖eke periode aan te tonen. Weer anderen koppelden een gestage con- stante groei van de wetenschap als cognitieve discipline los van haar bestaan als productieve onderneming. In deze optiek zijn de publica- ties zelf dus eerder een bijverschijnsel, en niet de essentie van wetenschappelijke vooruitgang. Om de drijvende krachten achter de groei van het aantal publicaties te verklaren, moeten we ons in de eerste plaats bewust zijn van een aantal eigenschappen van de wetenschappe- lijke bedrijvigheid zelf: zo produceert weten- schap steeds - en volgens haar eigen rotsvaste principes - een grote hoeveelheid redundante informatie. Zij doet dit omwille van een onmis- bare eigenschap van de wetenschap zelf. Zo is de herhaalbaarheid van een experiment essenti- eel wanneer we over wetenschappelijke kennis willen spreken. Hierdoor zijn er over de hele wereld vele onderzoeken die parallel aan el- kaar verlopen. Op die manier wordt er voor gezorgd dat er een grote mate van controle bestaat op de verkregen resultaten, wat er op zijn beurt voor zorgt dat de uiteindelijke con- clusies erg betrouwbaar kunnen zijn. Maar dit wil ook zeggen dat veel resultaten opnieuw en opnieuw verschijnen binnen de vakliteratuur, als waren het een origineel werk. Daarnaast is het zo dat er - met name vanaf de twintigste eeuw - door alle ontwikkelde lan- den zwaar in onderzoek werd ge誰nvesteerd, en dat er een stabiele 鍖nanciering werd voorzien van wetenschappelijke instellingen. Dit zorgde er mede voor dat het totaal aantal wetenschap- pers en onderzoekers wereldwijd in 2014 door UNESCO werd geschat op 7 miljoen voltijdse equivalenten. Ook de institutionele verwachtingen van 2Bezoek zeker de website van Nature voor het volledige artikel en een 鍖inke hap interactive content. 3
De speld in de papierberg Juni 2015 academische instellingen spelen een rol bij de vermeerdering van het globale aantal publi- caties. Academische overheden meten in het kader van het evaluatieproces de productiviteit van hun personeelsleden onder meer aan de hand van het aantal geproduceerde publicaties binnen een bepaalde periode. Een principe dat ondertussen genoegzaam gekend is onder de noemer publish or perish. Deze gang van zaken kan er aanleiding toe geven dat een vorser snel- ler gaat publiceren, een artikel gaat schrijven over een minder cruciaal deelprobleem van het onderzoek, dat men onderzoek dat in 辿辿n arti- kel kan worden weergegeven zal spreiden over meerdere publicaties, enzovoort. In combina- tie met de grote waarde die doorgaans wordt gehecht aan het produceren van positieve re- sultaten - en het positieve effect dat dergelijke resultaten hebben op de persoonlijke citatie- index - kan dit aanleiding geven tot misstanden en fraude. De speld Het voorgaande geeft ons een aantal indica- ties voor de snelle aangroei van het aantal wetenschappelijke publicaties. Ook geeft het ons een gedeeltelijke verklaring voor het grote aantal papers waar na publicatie nooit meer naar werd verwezen. Om te weten te komen waarom nu precies de paper van Oliver Lowry zo hoog scoort, moeten we een paar andere elementen mee in rekening brengen. Zo is het belangrijk te weten dat elke wetenschappelijke discipline haar eigen citatiecultuur heeft. Zo is het onder biochemici de traditie om zeer uit- voerig te zijn bij het toevoegen van bibliogra- 鍖sche verwijzingen. Dit verklaart waarom de volledige top zes in de rangschikking binnen dit vakgebied te situeren valt. Bij wiskundigen bijvoorbeeld ligt het gemiddelde aantal verwij- zingen per gepubliceerde artikel een stuk lager, wat er voor zorgt dat deze laatsten over het algemeen lager scoren wanneer we een eva- luatie maken van hun citatiegraad. Ook het gemiddeld aantal publicaties die door een on- derzoeker jaarlijks wordt afgeleverd, ligt in de biochemie erg hoog. Elementen die in het voor- deel van Lowry spelen. De paper van Lowry is op zichzelf geen baanbrekende nieuwe ontdekking binnen het eigen vakgebied. Wat er in beschreven staat, is een methode om het gehalte aan prote誰nen in een oplossing te bepalen. Deze methode is echter al snel na haar publicatie een standaard geworden binnen de labopraktijk van ieder- een die met organische chemie werkt. Telkens wanneer een onderzoeker de test, die dus door Lowry werd ontwikkeld, gebruikt in de loop van het eigen onderzoek, zal de bewuste pa- per een vermelding krijgen. Dat het vooral dit soort instrumentele ontdekkingen zijn die hoog scoren in de top 100, wordt al snel duidelijk wanneer we de andere hoogst genoteerde pa- pers bekijken. Behalve chemische tests scoort bijvoorbeeld ook een softwarematige toepas- sing die gebruikt wordt bij de analyse van ge- netische sequenties hoog.3 Deze voorbeelden tonen duidelijk aan dat wanneer we bij het zoeken naar wetenschappe- lijke informatie uitsluitend het aantal citaties als criterium nemen voor de relevantie van een artikel, we ons danig kunnen vergissen. Uiteraard gaat het hier om belangrijke ontwik- kelingen, maar doorgaans niet om de grote mijlpalen in de ontwikkeling van de weten- schap. Een andere bedenking die we kunnen ma- ken wanneer we het aantal citaties vergelijken met de wetenschappelijke waarde, komt aan het licht wanneer we kennis maken met het principe van de halfwaardetijd van wetenschap- pelijke publicaties. Halfwaardetijd Halfwaardetijd is een begrip dat aan de studie van radioactiviteit ontleend werd. Wanneer je bijvoorbeeld 辿辿n uraniumatoom in je hand houdt, weet je dat het uiteindelijk zal verval- len. Wanneer dit precies gaat gebeuren weet je echter niet. Misschien zal dit gebeuren bin- nen een milliseconde, maar misschien ook pas na enkele miljoenen jaren. Dit probleem ver- 3Zo vinden we op de twaalfde plaats het artikel Basic local alignment search tool door S.F. Altschul e.a. 4
De speld in de papierberg Juni 2015 dwijnt wanneer we een hele klomp uranium aangeboden krijgen. Dan weet je dat het 4,47 miljard jaren zal duren vooraleer de helft van het uranium vervallen zal zijn. Je weet niet precies welke atomen zullen vervallen, maar je weet wel welk aandeel. Met wetenschap gaat het ongeveer op de- zelfde manier. Hoewel we niet kunnen voor- spellen welk wetenschappelijk feit uiteindelijk irrelevant zal worden, zijn er steeds bepaalde regelmatigheden op te tekenen.4 Bedenk echter ook dat sommige papers niet meer worden geciteerd, precies omdat ze erg invloedrijk zijn geworden. Zo zal niemand nog Newtons Principia mathematica citeren, hoewel zijn methoden in de natuurkunde nog dagelijks worden toegepast. Dergelijke kennis, die de basiselementen van ons wetenschappe- lijke wereldbeeld bevatten, verlaten de wereld van wetenschappelijke journals en komen te- recht in monogra鍖e谷n en handboeken voor stu- denten. Dit fenomeen verklaart bijvoorbeeld waarom er geen enkele paper van Einstein in de top 100 te vinden is. Omgekeerd is het trouwens zo dat de over- grote meerderheid van wetenschappelijke pu- blicaties hun hoogste activiteitsgraad vlak na hun publicatie kennen. Stel je dit gerust voor als een intensieve gedachtewisseling tussen een groep onderzoekers over een onderwerp dat op een bepaald moment hot is. Wanneer het punt uiteindelijk bevredigend is uitgeklaard, valt de discussie stil en wordt er over een an- der onderwerp een nieuwe opgestart. Het is natuurlijk ook mogelijk dat een tekst pas enige tijd na haar publicatie wordt opgevist en in de belangstelling komt te staan, maar dit is eerder zeldzaam. Ook deze vaststelling, die reeds in de beginjaren van de ontwikkeling van de sci- entometrie werd gedaan, is veelzeggend over de betekenis van het aantal citaties ten opzichte van de relevantie van een artikel. De groeiende noodzaak aan een metaverhaal Hierboven worden slechts een paar elemen- ten opgenoemd die een rol spelen bij de tot- standkoming van de academische papierberg. Moeten wij de bibliotheekgebruiker nu werke- lijk met deze dingen overstelpen? Ik denk het wel. Het valt bovendien te verwachten dat een goede beeldvorming van de mechanismen van wetenschappelijk publiceren enkel aan belang zullen winnen. Zeker nu de eerste cohorten di- gital natives de auditoria van universiteiten en hogescholen binnenstromen. Praktische vaar- digheden - zoals het formuleren van een goede zoekopdracht, het gelijktijdig doorzoeken van meerdere databanken en het combineren van zoektermen en het interpreteren van de waarde van de zoekresultaten - behoren steeds vaker tot de parate kennis van de student. Technische evoluties aan de zijde van de aanbieders van academische databanken zorgen ervoor dat op- zoeken steeds intu誰tiever zal kunnen gebeuren. Hoe men aan bepaalde informatie komt, wordt bijgevolg steeds eenvoudiger. Door het groeiende aanbod wordt het echter steeds be- langrijker goed te weten wat men precies wil opvragen. Om op deze vraag een correct ant- woord te kunnen geven, dient men een breder perspectief in acht te nemen. Het terugvin- den van een peer reviewed artikel over eender welk wetenschappelijk onderwerp is niet het eindpunt maar het begin van een complexe zoektocht naar betrouwbare kennis. 4Lees hierover meer in The half life of facts door Samuel Arbesman, 2012. De idee van het maken van een analogie met radioactief verval werd echter reeds gebruikt door Derek J. de Solla Price in de jaren 60 van de vorige eeuw. 5

More Related Content

De speld in de papierberg

  • 1. De speld in de papierberg Juni 2015 De speld in de papierberg Steven Laporte Vrije Universiteit Brussel steven.laporte@vub.ac.be Samenvatting In dit artikel benadrukken we het belang van een degelijke algemene kennis van wetenschapsontwik- keling en de dynamiek die aanwezig is bij de productie van wetenschappelijke informatie, als onmisbare voorwaarde voor het verwerven van informatievaardigheden. Aan de hand van het beeld van een steeds groeiende papierberg gaan we op zoek naar de wortels van de scientometrie en tonen aan hoe deze inzichten studenten en onderzoekers, maar ook het brede publiek, kunnen helpen om hun weg te vinden naar de juiste informatie. Twee werelden Wetenschappelijk onderzoek heeft aangetoond dat... Via deze woorden belooft de populaire pers ons, gewone stervelingen, even mee te ne- men naar een andere wereld: de wereld van de harde wetenschap. Dat deze reis niet altijd vlekkeloos verloopt, mag duidelijk zijn voor iedereen die de actualiteit met enige kritische zin opvolgt. Volgend op deze woorden vin- den we immers niet zelden de samenvatting van een bestaand onderzoek dat zorgvuldig werd ontdaan van haar oorspronkelijke weten- schappelijke betekenis. Objectiviteit en kriti- sche zin moeten het vaak a鍖eggen tegen de roep om spraakmakende krantenkoppen en kant en klaar clickbait. Wie toch meer wil weten over de precieze toe- dracht van een wetenschappelijk nieuwsitem, kan uiteraard zelf de al dan niet meegeleverde link volgen. Daarop belandt men met wat ge- luk bij de oorspronkelijke onderzoekspaper. De doorzetters krijgen dan een technische uiteen- zetting te zien, waarvan de titel heel wat min- der wervend blijkt dan die van het artikel in de krant of op de nieuwssite. Van de reguliere pers verhuisden zij naar de wereld van acade- mische papers in wetenschappelijke journals. Wie niet voldoende gewapend is om een derge- lijk artikel in het juiste perspectief te plaatsen - en zich laat afschrikken door het gebruikte jargon - raakt al gauw ontmoedigd. Men loopt dan al snel het risico om de schouders op te halen en maar te aanvaarden wat de journalist schrijft of zelfs om de hele zaak dan maar te negeren. Gelukkig gaat het er niet altijd zo aan toe. Er bestaan nog goede wetenschaps- journalisten, die een correcte weergave kunnen geven van de oorspronkelijke inhoud. Maar zij worden schaars. Toch hoeft een kennismaking met weten- schappelijke publicaties ook voor de ge誰nte- resseerde leek niet noodzakelijk op een teleur- stelling uit te draaien. Ook zonder een ge- specialiseerde opleiding is het vaak mogelijk - enigszins afhankelijk van het vakgebied - de conclusie van een wetenschappelijke paper in essentie te begrijpen. Je kan dus best wel een brug slaan tussen de twee werelden, maar het vraagt enige inspanning. Binnen de context van een voortgezette op- leiding verwachten we van studenten - en met name van onderzoekers - dat zij de overstap van de reguliere media naar de vakbladen hoe dan ook kunnen maken. De bibliotheek kan hen hierbij op meer dan 辿辿n manier bijstaan. Vrijwel alle moderne bibliotheken beseffen momenteel dat hun taak niet eindigt met het louter ter beschikking stellen van materialen en het verlenen van toegang tot databanken. Bij introducties rond informatievaardigheden worden technieken uitgelegd om goede zoek- opdrachten te formuleren en succesvol te na- vigeren op de zee van informatie, en dit zo- wel binnen als buiten het institutionele aanbod. Deze vaardigheden zijn onmisbaar voor het 1
  • 2. De speld in de papierberg Juni 2015 voeren van een onderzoek of het voorbereiden van een eindwerk. Maar zelfs als men een usb- stick vol heeft weten te stoppen met artikels, blijven er vaak vragen: heb ik nu werkelijk de juiste informatie te pakken? Zijn de artikels die ik vond wel representatief voor de huidige stand van het onderzoek? Naast de kennis die eigen is aan het studie- gebied, kan het voor de gebruiker een grote hulp zijn wanneer die zich een beeld kan vor- men van de structuren die eigen zijn aan de berg van informatie die wordt doorzocht. Of anders geformuleerd: hoe vind je een speld in de steeds groeiende papierberg? De top 100 Ongeveer een jaar geleden verscheen in het toonaangevende vakblad Nature, een artikel waarin naar de honderd meest geciteerde we- tenschappelijke papers aller tijden werd ge- zocht. Directe aanleiding voor deze proef was de vijftigste verjaardag van het verschijnen van de eerste resultaten van de Science Citation In- dex (SCI) door Eugene Gar鍖eld. Deze SCI ging de geschiedenis in als de eerste systematische poging om het gebruik van bibliogra鍖sche ver- wijzing - ofwel citaties - bij wetenschappelijke artikels in kaart te brengen. Via het bijhouden van deze citaties werd het mogelijk om uit te maken welke publicaties de aandacht trokken van andere onderzoekers, die er vervolgens in hun eigen publicaties melding van maken. Dit gegeven kan mogelijk een indicator zijn voor hun wetenschappelijke waarde en relevantie. Het gebruik van dergelijke graadmeters wist sindsdien een centrale plaats te veroveren bij de evaluatie van wetenschappelijk onderzoek. De resultaten van het onderzoek in Nature zijn op het eerste zicht opzienbarend. Hoe waren de auteurs precies te werk ge- gaan? Als databank gebruikten zij de citatie- gegevens uit het Web of Science (WoS). Deze dienst is een onderdeel van de media- en in- formatiegigant Thompson Reuters die in 1992 het Institute for Scienti鍖c Information, dat nog werd opgericht door Gar鍖eld zelf, verwierf. Het corpus van het WoS bevatte op het ogen- blik van de proef het duizelingwekkend aantal van 58 miljoen items. Stuk voor stuk publica- ties die aanspraak maakten op wetenschappe- lijke eer en glorie. Om het geheel wat bevattelijker voor te stel- len, schaalden de auteurs deze immense pa- pierberg om naar het formaat van een echte berg, namelijk de Kilimanjaro die met zijn 5895 meter nog steeds de hoogste berg van Afrika is. De denkbeeldige tocht vanaf de voet van deze papierberg naar de top is voor veel beginnende onderzoekers een ontluisterende onderneming. Zo bestaat de hele eerste etappe - tot ongeveer 2500 meter hoogte - uitsluitend uit publicaties waar nooit iemand naar verwezen heeft. Meer dan 25 miljoen items die misschien wel ooit gelezen zijn geweest - een citatie-index meet enkel de verwijzingen en niet het gebruik - maar waar niemand ooit een nieuw onderzoek op heeft gesteund, noch het de moeite waard heeft gevonden om het kritisch te bespreken. De volgende etappe van 18 miljoen items brengt ons naar een hoogte van bijna 4500 me- ter. De items die hier te vinden zijn, hebben in totaal tussen de 辿辿n en de negen citaties we- ten te verwerven. De publicaties die het met minder dan 100 citaties moesten weten te stel- len, brengen ons tot boven de 5500 meter. En de toplaag van papers die meer dan duizend citaties konden verzamelen, beslaat slechts an- derhalve meter bovenaan de top. De honderd meest geciteerde artikels nemen amper de bo- venste centimeter van de berg in beslag. Om tot die top honderd te kunnen behoren, moet een artikel dan ook meer dan tienduizend ver- wijzingen hebben gekregen. Het artikel dat sinds jaar en dag de academi- sche hitlijsten aanvoert draagt de titel: Protein Measurement with the Folin Phenol Reagent en werd in 1951 geschreven door professor bioche- mie Oliver H. Lowry.1. Wie het niet luidop zegt, denkt nu in stilte: Daar had ik toch meer van 1In 1990 stelde Gar鍖eld zelf een top 100 samen (toen op basis van 33 miljoen items) met als ondertitel Will the Lowry Method Ever Be Obliterated? en ook toen al voerde Lowry de rangschikking aan. Opvallend aan de rangschikking van Gar鍖eld is dat hij de resultaten in alfabetische volgorde per auteur weergeeft en niet volgens aantal citaties. 2
  • 3. De speld in de papierberg Juni 2015 verwacht. Met uitzondering van een beperkt groepje experts doen noch het onderwerp van de winnende paper, noch de naam van haar auteur namelijk veel belletjes rinkelen. Hoe komt het dan dat een paper die zo weinig tot de verbeelding spreekt, aanspraak kan maken op deze ereplaats? Zou het niet veel meer voor de hand liggen indien bijvoorbeeld Einsteins voorstelling van de algemene relativiteitstheo- rie of de ontdekking van de dubbele helixvorm van het DNA door Watson en Crick met de ere- plaatsen zouden zijn gaan lopen? Om op deze vraag een antwoord te kunnen geven, moe- ten we een aantal stappen terugzetten in een poging de vorming en de dynamiek van de papierberg beter te begrijpen.2 De papierberg Hoe komt het dat de volledige inhoud van het WoS in 2014 is aangegroeid tot 58 miljoen items? Om dit te begrijpen moeten we ons een beeld trachten te vormen van de groei van de wetenschappelijke productie en haar relatie tot de groei van de wetenschap als dusdanig. Dergelijke vragen zijn een onderdeel van het vakgebied dat we scientometrie noemen, ofwel de wetenschap van de wetenschap. Een klassieke manier om de groei van de wetenschap te beschrijven is het zogenaamde informatiemodel van wetenschap. In dit model gaat men er van uit dat wetenschappelijk on- derzoek een georganiseerd systeem is dat in- formatie produceert. Wetenschappelijk onder- zoek moet bovendien met informatie worden gevoed om zo nieuwe informatie te kunnen voortbrengen. De groei van de wetenschap is in dergelijke modellen eenvoudig meetbaar door de cumulatieve groei van het aantal pu- blicaties te meten. Hoewel deze aanpak vrij makkelijk becijferbare uitkomsten geeft, zijn er een paar belangrijke tekortkomingen. Zo gaat men er bijvoorbeeld van uit dat alle oudere pu- blicaties relevant zijn in het jaar wanneer een vaststelling wordt gedaan. Bij analyse van de citaties over een langere periode, zien we ech- ter een algemene afname van het aantal citaties naar mate een artikel ouder wordt. Andere auteurs trachten de ontwikkeling van de wetenschap te kenschetsen door de ex- ponenti谷le groei van het totale aantal publica- ties in verband te brengen met een al even ex- ponenti谷le daling van het volume aan relevante informatie. Een model dat theoretisch goede resultaten geeft, maar moeite heeft om deze tegengestelde ontwikkelingen in een speci鍖eke periode aan te tonen. Weer anderen koppelden een gestage con- stante groei van de wetenschap als cognitieve discipline los van haar bestaan als productieve onderneming. In deze optiek zijn de publica- ties zelf dus eerder een bijverschijnsel, en niet de essentie van wetenschappelijke vooruitgang. Om de drijvende krachten achter de groei van het aantal publicaties te verklaren, moeten we ons in de eerste plaats bewust zijn van een aantal eigenschappen van de wetenschappe- lijke bedrijvigheid zelf: zo produceert weten- schap steeds - en volgens haar eigen rotsvaste principes - een grote hoeveelheid redundante informatie. Zij doet dit omwille van een onmis- bare eigenschap van de wetenschap zelf. Zo is de herhaalbaarheid van een experiment essenti- eel wanneer we over wetenschappelijke kennis willen spreken. Hierdoor zijn er over de hele wereld vele onderzoeken die parallel aan el- kaar verlopen. Op die manier wordt er voor gezorgd dat er een grote mate van controle bestaat op de verkregen resultaten, wat er op zijn beurt voor zorgt dat de uiteindelijke con- clusies erg betrouwbaar kunnen zijn. Maar dit wil ook zeggen dat veel resultaten opnieuw en opnieuw verschijnen binnen de vakliteratuur, als waren het een origineel werk. Daarnaast is het zo dat er - met name vanaf de twintigste eeuw - door alle ontwikkelde lan- den zwaar in onderzoek werd ge誰nvesteerd, en dat er een stabiele 鍖nanciering werd voorzien van wetenschappelijke instellingen. Dit zorgde er mede voor dat het totaal aantal wetenschap- pers en onderzoekers wereldwijd in 2014 door UNESCO werd geschat op 7 miljoen voltijdse equivalenten. Ook de institutionele verwachtingen van 2Bezoek zeker de website van Nature voor het volledige artikel en een 鍖inke hap interactive content. 3
  • 4. De speld in de papierberg Juni 2015 academische instellingen spelen een rol bij de vermeerdering van het globale aantal publi- caties. Academische overheden meten in het kader van het evaluatieproces de productiviteit van hun personeelsleden onder meer aan de hand van het aantal geproduceerde publicaties binnen een bepaalde periode. Een principe dat ondertussen genoegzaam gekend is onder de noemer publish or perish. Deze gang van zaken kan er aanleiding toe geven dat een vorser snel- ler gaat publiceren, een artikel gaat schrijven over een minder cruciaal deelprobleem van het onderzoek, dat men onderzoek dat in 辿辿n arti- kel kan worden weergegeven zal spreiden over meerdere publicaties, enzovoort. In combina- tie met de grote waarde die doorgaans wordt gehecht aan het produceren van positieve re- sultaten - en het positieve effect dat dergelijke resultaten hebben op de persoonlijke citatie- index - kan dit aanleiding geven tot misstanden en fraude. De speld Het voorgaande geeft ons een aantal indica- ties voor de snelle aangroei van het aantal wetenschappelijke publicaties. Ook geeft het ons een gedeeltelijke verklaring voor het grote aantal papers waar na publicatie nooit meer naar werd verwezen. Om te weten te komen waarom nu precies de paper van Oliver Lowry zo hoog scoort, moeten we een paar andere elementen mee in rekening brengen. Zo is het belangrijk te weten dat elke wetenschappelijke discipline haar eigen citatiecultuur heeft. Zo is het onder biochemici de traditie om zeer uit- voerig te zijn bij het toevoegen van bibliogra- 鍖sche verwijzingen. Dit verklaart waarom de volledige top zes in de rangschikking binnen dit vakgebied te situeren valt. Bij wiskundigen bijvoorbeeld ligt het gemiddelde aantal verwij- zingen per gepubliceerde artikel een stuk lager, wat er voor zorgt dat deze laatsten over het algemeen lager scoren wanneer we een eva- luatie maken van hun citatiegraad. Ook het gemiddeld aantal publicaties die door een on- derzoeker jaarlijks wordt afgeleverd, ligt in de biochemie erg hoog. Elementen die in het voor- deel van Lowry spelen. De paper van Lowry is op zichzelf geen baanbrekende nieuwe ontdekking binnen het eigen vakgebied. Wat er in beschreven staat, is een methode om het gehalte aan prote誰nen in een oplossing te bepalen. Deze methode is echter al snel na haar publicatie een standaard geworden binnen de labopraktijk van ieder- een die met organische chemie werkt. Telkens wanneer een onderzoeker de test, die dus door Lowry werd ontwikkeld, gebruikt in de loop van het eigen onderzoek, zal de bewuste pa- per een vermelding krijgen. Dat het vooral dit soort instrumentele ontdekkingen zijn die hoog scoren in de top 100, wordt al snel duidelijk wanneer we de andere hoogst genoteerde pa- pers bekijken. Behalve chemische tests scoort bijvoorbeeld ook een softwarematige toepas- sing die gebruikt wordt bij de analyse van ge- netische sequenties hoog.3 Deze voorbeelden tonen duidelijk aan dat wanneer we bij het zoeken naar wetenschappe- lijke informatie uitsluitend het aantal citaties als criterium nemen voor de relevantie van een artikel, we ons danig kunnen vergissen. Uiteraard gaat het hier om belangrijke ontwik- kelingen, maar doorgaans niet om de grote mijlpalen in de ontwikkeling van de weten- schap. Een andere bedenking die we kunnen ma- ken wanneer we het aantal citaties vergelijken met de wetenschappelijke waarde, komt aan het licht wanneer we kennis maken met het principe van de halfwaardetijd van wetenschap- pelijke publicaties. Halfwaardetijd Halfwaardetijd is een begrip dat aan de studie van radioactiviteit ontleend werd. Wanneer je bijvoorbeeld 辿辿n uraniumatoom in je hand houdt, weet je dat het uiteindelijk zal verval- len. Wanneer dit precies gaat gebeuren weet je echter niet. Misschien zal dit gebeuren bin- nen een milliseconde, maar misschien ook pas na enkele miljoenen jaren. Dit probleem ver- 3Zo vinden we op de twaalfde plaats het artikel Basic local alignment search tool door S.F. Altschul e.a. 4
  • 5. De speld in de papierberg Juni 2015 dwijnt wanneer we een hele klomp uranium aangeboden krijgen. Dan weet je dat het 4,47 miljard jaren zal duren vooraleer de helft van het uranium vervallen zal zijn. Je weet niet precies welke atomen zullen vervallen, maar je weet wel welk aandeel. Met wetenschap gaat het ongeveer op de- zelfde manier. Hoewel we niet kunnen voor- spellen welk wetenschappelijk feit uiteindelijk irrelevant zal worden, zijn er steeds bepaalde regelmatigheden op te tekenen.4 Bedenk echter ook dat sommige papers niet meer worden geciteerd, precies omdat ze erg invloedrijk zijn geworden. Zo zal niemand nog Newtons Principia mathematica citeren, hoewel zijn methoden in de natuurkunde nog dagelijks worden toegepast. Dergelijke kennis, die de basiselementen van ons wetenschappe- lijke wereldbeeld bevatten, verlaten de wereld van wetenschappelijke journals en komen te- recht in monogra鍖e谷n en handboeken voor stu- denten. Dit fenomeen verklaart bijvoorbeeld waarom er geen enkele paper van Einstein in de top 100 te vinden is. Omgekeerd is het trouwens zo dat de over- grote meerderheid van wetenschappelijke pu- blicaties hun hoogste activiteitsgraad vlak na hun publicatie kennen. Stel je dit gerust voor als een intensieve gedachtewisseling tussen een groep onderzoekers over een onderwerp dat op een bepaald moment hot is. Wanneer het punt uiteindelijk bevredigend is uitgeklaard, valt de discussie stil en wordt er over een an- der onderwerp een nieuwe opgestart. Het is natuurlijk ook mogelijk dat een tekst pas enige tijd na haar publicatie wordt opgevist en in de belangstelling komt te staan, maar dit is eerder zeldzaam. Ook deze vaststelling, die reeds in de beginjaren van de ontwikkeling van de sci- entometrie werd gedaan, is veelzeggend over de betekenis van het aantal citaties ten opzichte van de relevantie van een artikel. De groeiende noodzaak aan een metaverhaal Hierboven worden slechts een paar elemen- ten opgenoemd die een rol spelen bij de tot- standkoming van de academische papierberg. Moeten wij de bibliotheekgebruiker nu werke- lijk met deze dingen overstelpen? Ik denk het wel. Het valt bovendien te verwachten dat een goede beeldvorming van de mechanismen van wetenschappelijk publiceren enkel aan belang zullen winnen. Zeker nu de eerste cohorten di- gital natives de auditoria van universiteiten en hogescholen binnenstromen. Praktische vaar- digheden - zoals het formuleren van een goede zoekopdracht, het gelijktijdig doorzoeken van meerdere databanken en het combineren van zoektermen en het interpreteren van de waarde van de zoekresultaten - behoren steeds vaker tot de parate kennis van de student. Technische evoluties aan de zijde van de aanbieders van academische databanken zorgen ervoor dat op- zoeken steeds intu誰tiever zal kunnen gebeuren. Hoe men aan bepaalde informatie komt, wordt bijgevolg steeds eenvoudiger. Door het groeiende aanbod wordt het echter steeds be- langrijker goed te weten wat men precies wil opvragen. Om op deze vraag een correct ant- woord te kunnen geven, dient men een breder perspectief in acht te nemen. Het terugvin- den van een peer reviewed artikel over eender welk wetenschappelijk onderwerp is niet het eindpunt maar het begin van een complexe zoektocht naar betrouwbare kennis. 4Lees hierover meer in The half life of facts door Samuel Arbesman, 2012. De idee van het maken van een analogie met radioactief verval werd echter reeds gebruikt door Derek J. de Solla Price in de jaren 60 van de vorige eeuw. 5