21st Nordic Workshop on Bibliometrics and Research Policy

Some months ago EAHIL formed a Special Interest Group on metrics. As I have been curious on the use of altmetrics and promoting a consciousness on metrics all in all for my researchers, I joined the group to get more familiar on the theme. I got a scholarship from SMH to join this conference, and spent three November days in Copenhagen, soaking into the depths of this – for me – new world. Since I think I was the only EAHIL’er attending, I write the blog post in English.

First and foremost I must say the metric people are a really friendly bunch, patiently explaining anything and everything for a newbie! Any misunderstandings in this text are however totally my own!

The conference is designed as a one path event, all attending the same sessions. This is a strength as I see it, as the discussions in the breaks were focused and rich. Quite a few of the presenters were on stage with work in progress, asking for responses and new insights, critiques and comments in a really friendly and helpful atmosphere.

For me the keynote speaker of day 2, David Budtz Pedersen, gave plenty of food for thought. He is Associate Professor and Co-Director of the Humanomics Research Centre, Aalborg University Copenhagen. He was speaking over the theme “Responsible Metrics for Open Human Science”. An abstract can be read here: http://www.communication.aau.dk/research/knowledge_groups/cis/nwb/keynotes/

But I am afraid a mere abstract will not give full credit for the engagement and insight he gave. I really hope to hear him again! If EAHIL has not filled next year’s keynotes yet, it might be an idea to invite him to celebrate our new SIG?

Another presenter giving lots of food for thought was Dr. Thed van Leeuwen talking of Philosophical and theoretical considerations on bibliometric analysis. He belonged at CWTS, Centre for Science and Technology Studies https://www.cwts.nl/ an organization having the slogan “Meaningful metrics”. They sure have a meaningful web site, well worth a visit!

From Helsinki University Library Susanna Nykyri gave a speech on ALTMETRICS@HULIB : Special interest : useful altmetrics for social sciences and humanities? (SSH) : Opportunities and challenges. She focused among several things, on the library using altmetric as a part of the visibility services. She also pointed to the role of metadata such as DOI’s, since the tracking of articles is reliant on identifiers. There are challenges making altmetrics as useful in the SSH field in Finland, due to publication culture, publication channels and research languages.

A bit different, but really eye catching – literally speaking, was a project on eye tracking metrics and what they show. The aim of investigation was to learn more about the impact of posters on knowledge transfer. Using eye-tracking to develop key indicators for posters in national evaluations: Report of the pilot test at STI2016, Valencia  Lorna Wildgaard and Haakon Lund (Royal School of Library and Information Science, University of Copenhagen) (the poster is behind a wall, unfortunately.)

A conference is never successful if one does not arrive home with a pile of “must read”-notes. I will hopefully be working through quite a few articles and book chapters this winter, and at the moment I am reading Professional and Citizen Bibliometrics: Complementarities and ambivalences in the development and use of indicators. A state-of-the-art report. Scientometrics (forthcoming) by Leydesdorff, Wouters and Bornmann 2016 , and I have to take a close look at the book Beyond Bibliometrics : Harnessing Multidimensional Indicators of Scholarly Impact, by B. Cronin and C.R. Sugimoto.

Blogger å følge?

En av gledene ved å være på konferanser og snakke med kolleger, er at man oppdager blogger man burde ha oppdaget før.

Denne gangen Isla Kuhn’s Musings of a medical librarian, og den nesten hemmelige, (eller bare ganske nye) Kontorsnakk. Den første er full av ganske lange, interessante innlegg fra konferanser innen vår bransje. Den siste er laget og vedlikeholdt av bibliotekarer ved UiO: Medisinsk bibliotek, og de skriver om bloggen sin at: «Denne bloggen er laget for å kunne dele søkestrategier, søketips, databasetips, Endnotetips og annet som kan være interessant å kunne noe om i forbindelse med BBer, litteratusøk og undervisning.» Den inneholder korte, kjappe tips om smått og stort, og kommer i alle fall til å være på min faste leseliste framover.

Bruk av tekstmining for å redusere arbeidsmengden ved systematiske oversikter

Takket være at jeg fikk reisestipend fra SMH til å delta på EAHILs workshop i Edinburgh i juni, kunne jeg delta på seminaret «Reducing Systematic Review workload using text mining: opportunities and pitfalls», ledet av James Thomas. I forkant hadde vi fått tips om å lese artikkelen han er medforfatter av; O’Mara-Eves A. (Et al.) Using text mining for study identification in systematic review of current approaches.
Dette med «i forkant…» er for øvrig nyttig å merke seg i EAHIL-sammenheng; de siste par ukene før konferansen drysset det inn artikler som skulle være lest, og YouTube-snutter som skulle være sett, før deltakelsen fra flere av workshop-lærerne. 

Jeg skal være ærlig nok til å si at jeg trodde tekstminingen skulle være til hjelp under søkedelen av jobben, men fokus viste seg å være på hva man gjør ETTER at man er ferdig å søke.  Folkene som jobbet med dette snakket om virkelig STORE treffmengder, gjerne mange tusen. Det var jo minst like spennende, jeg har flere ganger sendt folk av gårde med mange flere treff enn jeg unte dem å skumme gjennom på en helg. Dermed er verktøy for å gjøre den arbeidsbyrden mindre, definitivt verdt å vite om!

Målene med å bruke tekstmining kan være å få søkene mer sensitive uten at gjennomsynsmengden blir overveldende, eller å opprettholde sensitivitet selv om du har reduserte ressurser.

De tre verktøyene vi hørte om, var EPPIreviewer 4, Microsoft Azure og R, et programmeringsspråk for statistikere. Vi ble vist hvordan prosessen foregikk med Eppireviewer, som var rimeligste alternativ. En infovideo om Eppireviewer kan du se på hjemmesiden deres. En del av seminaret gikk med til gruppediskusjon i forholdt til fordeler og ulemper ved bruk av denne teknologien. Ett av punktene flere hang seg opp i var om man bare brukte mer tid på teknologien, men svaret der var at man kunne regne med 30-70% spart tid i arbeidsinnsats.

Man kan bruke tekstmining for å prioritere rekkefølgen på det som skal gjennomgås ved å «trene» verktøyet med et utvalg av artiklene. Et menneske går gjennom og inkluderer og ekskluderer, og verktøyet identifiserer ord i de to utvalgene. Basert på dette vil verktøyet så sortere hele lista etter sannsynlighet for inklusjon for deg. Alt etter hvor (og om) du kuttet gjennomgangen når det var for mye irrelevant, ble dette regnet som trygg bruk.

Man kan også bruke tekstmining om man bare har ett menneske tilgjengelig for gjennomsyn, og så bruke et tekstminingsverktøy som «den andre screeneren». Dette ble også regnet som grei bruk, så lenge man var bevisst hva man gjorde.

En tredje variant er å la verktøyet sortere direkte til inklusjon og eksklusjon for deg, med en (semi)-automatisk klassifisering i relevant eller irrelevant. Dette ble sett på som «lovende» innen de mest tekniske og kliniske feltene, men det må mer utprøving til på andre felt før metoden kan tas i bruk slik.

Tekstmining i forhold til søkeprosessen var vi så vidt innom på slutten. Her var det flere muligheter:

  • VOSviewer  kan brukes for å oppdage klynger av forfattere eller intitusjoner innen publiseringen, i tillegg til at det er et brukbart verktøy også i screeningprosessen.
  • Lingo3G er en gruppe tjenester, samler blant annet treffene dine i emnegrupper.
  • Carrot2.org  er såvidt jeg skjønte gratisvarianten av deler av Lingo3G.
  • TerMine hjelper deg å lage / ekstrahere potensielle emneord fra en tekst.

 

 

 

 

Forberedelse til litteratursøk – et lunsjtilbud på sykehuset

Ved Medisinsk bibliotek på Sørlandet sykehus har vi høsten 2014 og våren 2015 kjørt drop-in-kurs i forberedelse til litteratursøk. Foranledningen var at vi syntes vi hadde en for lang intro ved databasekursene våre, og at folk måtte sitte og høre på omtrent det samme i tjue minutter hvis de hadde meldt seg på til flere av kursene. Ganske mange, særlig masterstudenter, melder seg gjerne på både Cochrane, Cinahl og OVID, og da syntes vi det var greit om de hadde ett forberedelseskurs, og så kunne vi bare repetere kort før vi gikk rett på databasekursene en dag for seg. Vi hadde også mange som kom til litteratursøk uten at de hadde fylt ut PICO, eller i det hele tatt hadde skjønt hvorfor det var lurt.

Høsten hadde vi forberedelseskurs kl. 11.10 og 11.40, ut fra en idé om at folk tok lunsjpause enten kl. 11.00 eller 11.30, og så trengte å få handlet i kantina før de kom til oss vis a vis.

I vår har vi modifisert det litt, og har bare ett kurs pr dag, nå starter de 11.30. Vi prøver å ha kurs i forkant av alle databasekursene, helst samme uke eller uka før. Vi informerer om kursene på intranett i oppstarten av semesteret, på nyhetsbrevene våre, når vi er rundt på avdelinger, og vi setter opp plakat i gangen mellom oss og kantina. I tillegg ligger de med påmeldingsmulighet i Læringsportalen, som er en samleportal for alle kursene som kjøres ved sykehuset, både digitalt og ved oppmøte. De er også omtalt under databasekursenes innførsel i Læringsportalen, slik at folk skal vite at de trenger introen først.

Ved semesterstart i fjor høst kjørte vi en ukes kampanje samtidig i både Arendal og Kristiansand, slik at vi hadde tilbud om til sammen tjue kurs på fem dager, noe som ble tatt godt i mot. Imidlertid var det nok en smule intenst for oss som skulle kjøre kursene, selv om vi delte undervisningen mellom oss i den grad det var mulig. I og med at kursene ikke er hands-on, har vi i Kristiansand skjermet kursrommet vårt (PC-stua), der folk sitter og jobber kortere og lengre perioder, og heller vist lysbildene våre på veggen eller på en storskjerm på et grupperom vi har. I Arendal har vi også vist på veggen, men der blir bruker-PCene utilgjengelige mens vi holder på.

Vi går gjennom viktigheten av å ha fokuserte spørsmål, hvordan man setter opp en PICO, hvor man finner synonymer og hvorfor synonymer er viktige, vi snakker om kjernespørsmål med tilhørende studiedesign, og litt om 6-trinns-pyramiden. Vi deler i tillegg ut Jakten på informasjon, som vi gir OUS behørig ros for.

Når vi først har fått folk inn i biblioteket, er det gunstig å være flere på jobb, slik at vi kan betjene dem med de ulike behovene som dukker opp i etterkant. Noen vil bli lånere, andre trenger en ekstra forklaring om noe søketeknisk, eller trenger å få diskutert hvordan de skal få spisset problemstillingen sin. Noen har prøvd å sette opp et abonnement, men ikke fått det til. Alle trenger noen minutter, og de fleste har bare gått til lunsj, og altså ikke gjort noen avtale om at de kan være lenger borte fra klinikken. Dette er en god grunn til ikke å kjøre to kurs på rad, i alle fall ikke med ti minutters mellomrom. Når man bare snakker så kort om ting, skal det ikke mer enn et lite spørsmål til før tidsrammen sprekker ettertrykkelig, og ”det kan vi ta litt mer om i etterkant om du har tid” har vært en nødvendig formulering å ha for hånda.

Vi kjører kursene om det bare er én deltaker, og det meste vi har hatt er 6.

Vi kan fremdeles bli flinkere til å informere de som har meldt seg på databasekursene om at de også bør ta intro-kurs, vi opplever at enkelte ikke har de kunnskapene de trenger for å få fullt utbytte av databasekursene, og at vi må forklare ting som strengt tatt ikke har noe med søketeknikk å gjøre.

Ikke alle kursene får noen deltakere, og siden vi har holdt fast på drop-in som mulighet, hender det at vi rigger og rigger ned igjen uten uttelling. Det stykker opp dagen litt, de fleste av oss er jo litt på alerten når vi skal holde kurs og kommer ikke like enkelt i gang med andre større arbeidsoppgaver. Noen gruer seg litt, men alle ansatte holder disse kursene. Og i forhold til internopplæring er det et godt sted å starte, med kunnskap vi alle må få inn, og må kunne forklare om når vi sitter i søk. Siden det er så pass få deltakere per gang, og så kort tid, er det heller ikke fullt så skummelt som database-kursene, som vi setter av to timer til.

Viktig tema i neste nummer av Journal of EAHIL – kan DU bidra?

De som står på EAHILs mailliste vil ha fått invitasjonen under, om å skrive artikler om framtidens bibliotekar. Dette er et viktig tema som fortjener mange innspill, små som store.
Vi er i et landskap i rivende utvikling, vi som er i medisinske og helsefaglige bibliotek. Kompetansen vår blir mer og mer etterspurt samtidig som enkelte fremdeles tror at «alt ligger jo (gratis) på nett». Hvordan planlegger vi å møte framtiden i forhold til undervisning, samlingsutvikling, lokaler og så videre?

The December issue for 2014 will have as its theme The librarian of the future . 

The Editorial Board would welcome any articles on this theme and also any other articles relating to  Health Information and Libraries. The deadline is the 15th November 2015

Please read the Instructions to Authors before sending in your articles to:

Sally Wood-Lamont – Chief Editor:  sallywoodlamont@gmail.com

or

Federica Napolitani-  Assistant Editor:   federica.napolitani@iss.it
We look forward to hearing from EAHIL members
Sally Wood-Lamont

Medforfatterskap?

Medical Library Association (MLA) har en epostliste spesielt beregnet for de som jobber med avanserte søk. Det er mye å lære av diskusjonene, og lista anbefales absolutt for de av oss som søker mye.

En av sakene de har tatt opp i høst er hvorvidt medforfatterskap tilbys når bibliotekarer bidrar til systematiske oversikter. Det er varierende praksis på dette, både etter grad av deltakelse og i forhold til hva bibliotekaren selv ber om. Det hadde vært interessant å høre hvordan praksis er her i Norge, i og med at det påpekes i diskusjonen at det vil være ulik praksis i ulike land.

http://pss.mlanet.org/mailman/listinfo/expertsearching_pss.mlanet.org er adressen om du skulle ønske å abonnere på lista. Arkivet er kun åpent for medlemmer av lista.

ALTMETRICS – et av flere diskusjonstema på sommerens EAHIL

Mens vi i alle år har forholdt oss til impact factor og sådant mer, har det i løpet av de sosiale medienes fremvekst vokst fram nye muligheter for målinger, denne gangen på artikkelnivå.

De sosiale medienes inntog har gjort omtaler og lenker  langt enklere å formidle. Først og fremst via Twitter, LinkedIn, de ulike bloggplattformene og Facebook. Og der lenkes det naturligvis til den enkelte artikkel, eller andre format for den saks skyld. Dette kan telles. Dermed kan det også spores hvor det gir best effekt å videreformidle informasjon, og i hvilken form. Nettet tilbyr et hav av ulike formidlingskanaler, og en kjapp liten omtale på den riktige bloggen eller informasjonssiden kan avstedkomme mange ekstra klikk. Dette kan så lede til et høyere siteringstall på sikt.

I løpet av EAHIL14 var det både en videreutdanningsklasse i forkant av selve konferansen, presentasjon under selve konferansen (anbefales, veldig grei intro!) og postere som var fokusert på dette temaet. Og på Twitter og i pausene gikk diskusjonen på om hvorvidt dette var nyttig eller brysomt – kanskje endog fullstendig feil spor å satse på? Mulighetene for å få opp statistikken til hver enkelt artikkel på tvilsomt grunnlag var et av de store ankepunktene, manipuleringsmulighetene er jo mange.

De diskusjonene vil ikke jeg begi meg inn på. Men jeg synes vi skal ta opp til vurdering om det er noe vi skal bekymre oss om fra bibliotekets ståsted?

Ja, mener åpenbart flere, som tilrettelegger ved å klargjøre referansene og de tilhørende arbeidene til alle sine ansatte ut på en av plattformene som gjør dette mulig, som CiteULike og Mendeley.
Det finnes ulik programvare, noe gratis og noe dyrt, noe enkelt og noe med mye ulik funksjonalitet. Noen av aktørene finner du her:

Oppmerksomme sjeler har kanskje lagt merke til at Cochrane’s artikler, og for den saks skyld store deler av  Wiley’s artikler har fått en fargerik ”smultring” (engelsk «donut») over sammendraget sitt. Dette er Altmetric.com sitt symbol, og de ulike fargene viser hvilket medium som har referert. Blått for Twitter, gult for blogger, rødt for ”mainstream media sources” osv.

EBSCO har kjøpt opp Plum Analytics, som leverer PlumX. I tillegg til å se på artikler,teller PlumX  også alt fra patenter til postere, fra intervjuer til kildekode. De bruker en lyseblå ”solstrålesirkel” (engelsk «sunburst») i sin grafikk.Bedre norsk term mottas forøvrig med takk!

ImpactStory er et non-profit firma, og fokuserer på den enkelte forsker. Det koster en forsker 60 $ i året å ha en profil som viser hvilken ”impact” man har. De går bredt ut i forhold til ulike formater, og har fokus på åpen kildekode, samt på bevisstgjøring rundt mulighetene for deling og spredning som nettet gir.

PLOS ALM (ALM står for Article Level Metrics) har ikke oppdatert nettsiden Google gir deg øverst det siste året, men i følge en post på PLOS blogs 2. september i år, er det like fullt i aktivitet. Det ser ut for at arbeidet følges opp via denne siden i stedet, og på Twitter har de god oppdateringsfrekvens.

Det finnes en del artikler på temaet altmetrics allerede. En av de tidligste er fra NEJM i 1991, som analyserte artikler som ble sitert i New York Times, og tilsvarende som IKKE ble sitert mens avisen var i streik. Ordet kom til i 2010, i en tweet fra Jason Priem. For den som har lyst til å se på nyere artikler på temaet, anbefaler jeg referanselisten til engelsk Wikipedias artikkel om altmetrics.