Ting 20 Analyse
Av Trøndelag fylkesbibliotek
For å evaluere en aktivitet, må man vite hva man ønsket å oppnå. Det er et engelsk ordtak som lyder «If you aim at nothing, you’re sure to hit it.»
Det er lett å lære seg teknikkene for å lese av antall avspillinger/visninger i ulike digitale kanaler. Det er også lett å lære seg forskjellen mellom påbegynte avspillinger, og fullførte avspillinger.
Det vanskelige er å sette arbeidet med digitale formidling inn i bibliotekets virksomhetsmål på en slik måte at man etterpå kan evaluere om man har nådd målene. Både de kvantitative målene, og de overordnede målene om «opplysning, utdanning og annen kulturell virksomhet».
Vi har snakket med noen bibliotek under arbeidet med denne tingen. Erfaringene og refleksjonene fra disse 4-5 bibliotekene er gjengitt anonymt, og er mest ment som eksempler på hvordan man tenker om dette.
Innledningsvis er det viktig å minne om skillet mellom formidling og markedsføring. Mange av de korte digitale produksjonene vi lager, er markedsføring av et tilbud eller en tjeneste, som for eksempel Sommerles, Bookbites eller meråpent bibliotek. Disse produksjonene er entydig formålsrettet, og det er lettere å vurdere om de bidrar til å nå målet deres. I denne tingenvil vi at du skal tenke på digitale produksjoner som skaper og formidler originalt innhold.
Opptakten til denne tingen kommer fra trøndersk litteratur. Trøndelag fylkesbibliotek driver en nettside og en Facebookside om Olav Duun. Vi samarbeider med de to Duun-foreningene i Norge (Holmestrand og Namdalen), og det hele har bakgrunn i et samarbeidsprosjekt for 10 års tid siden, hvor målet var å «gjøre Duun digital». Det vi har lyktes best med, er en serie Duun-sitat på Facebooksiden, satt opp i et meme-format. De mest populære av disse har nådd over 150 likes, og 5000-9000 visninger.
Arbeidet på www.olav-duun.no og www.facebook.com/OlavDuunNettstad er ganske lavteknologisk innsats, sammenlignet med andre former for digital formidling. Men jeg nevner det her fordi det kan brukes til å belyse forholdet mellom målsettinger og målinger.
La oss begynne på toppen: Vårt overordnede mål med Duun-arbeidet er å holde Duuns forfatterskap levende. Det er et stort og abstrakt mål. Dette målet kan deles opp og behandles gjennom med noen mer konkrete og målbare ambisjoner:
- At folk kjøper, låner og leser Duuns bøker. Helst med glede og utbytte.
- At Duun blir forsket på, gjenutgitt, satt opp på teatret og diskutert i kulturprogram.
- At folk besøker arrangement og museer som handler om Duun.
Disse effektene kan telles og måles. Men det er vanskelig å telle slik at vi synliggjør en sammenheng mellom vår digitale innsats og det som skjer. Vi kan kanskje finne en liten kime av effekt hvis vi spør de som deltar i arrangement: Hvordan fikk du vite om dette? Var det vår digitale formidling som motiverte deg til å delta?
I mangel av gode metoder for å måle den overordnede måloppnåelsen, nøyer vi oss med å telle antall personer som følger Facebooksiden, og å telle antall liker-klikk og antall delinger. På den måten lærer vi i det minste noe om hva slags tekster som fungerer ovenfor det publikumet som vi har samlet i dette sosiale mediet: lyriske stemningsinntrykk får mange flere liker-klikk enn svart/tørr humor.
Vi vet hva vi vil oppnå, og vi vet hvordan vi teoretisk sett kunne ha målt det. Men vi klarer ikke å telle de tingene som kunne ha vist sammenhengen mellom innsats og effekt. I stedet teller vi respons. I dette bildet er det også en nytte-kostnads-dimensjon. Innsatsen vår er lite ressurskrevende, og derfor er det heller ikke hensiktsmessig å bruke mye ressurser på å evaluere den.
Den første innfallsvinkelen er at digital formidling ligner på all annen formidling i og fra biblioteket. Vi setter sammen et godt og variert program, og måler effekten:
- Kvantitativt etter antall personer som deltar
- Kvalitativt etter om det samlede programmet innfrir på målsettinger som «kvalitet, allsidighet og aktualitet» – for å låne ord fra bibliotekloven.
Når vi gjennomfører fysiske arrangement i biblioteket, teller vi antall arrangement og antall frammøtte som deler av den kvantitative evalueringen.
I tillegg har vi vel ofte en form for intern kvalitativ evaluering. Den kan omfatte tilbakemeldinger fra publikum, egen opplevelse av hvordan ting fungerte, og et mer overordnet blikk på hvordan vi vurderer bredden i arrangementene våre over en tidsperiode.
Kanskje har vi noen uttalte målsettinger som vi evaluerer arrangementene i lys av: balansere mellom ulike målgrupper (alder, kjønn, folkelig/høykultur), veksle mellom påkostede arrangement og lavbudsjett-arrangement, prøve å trekke inn nye brukergrupper.
Når vi ser slik på det, så kan vi kanskje også begynne å spørre oss selv: hvilke mål har vi for de fysiske arrangementene våre? Hvordan evaluerer vi måloppnåelse for disse? Et av bibliotekene jeg snakket med innrømmer at det er lite intern diskusjon om hva som er god nok effekt av et arrangement, hva enten de er fysiske eller digitale.
Et bibliotek sa at de tidligere hadde hatt en ambisjon om at arrangement skulle vise igjen som økt utlån av bøker/medier knyttet til dette arrangementet. Nå har de skiftet mening om dette, og tenker at arrangementet har sin egen verdi, og at antall utlån ikke er den eneste kvalitetsindikatoren.
Den andre innfallsvinkelen er at digital tilstedeværelse har en egenverdi.
Kanskje tenker du at formålet med å formidle digitalt er noe annet enn størst mulig oppslutning om det enkelte arrangement. Et bibliotek hadde en tredelt målsetting for sin digitale formidling, hvor bare ett av målene var knyttet til effekten av det enkelte arrangement.
- at alle skal gå klokere ut fra et arrangement – enten det er fysisk eller digitalt.
- deltagelse på flest mulig digitale kanaler
- merkevarebygging av biblioteket – som kunnskapsaktør og kulturaktør
Et annet bibliotek sa at de «ønsker å være en møteplass; og den skal være både fysisk og digital». Digitale rom er også en del av å «øke besøket». Mange av dere har antagelig opplevd forventningen om å være digitalt til stede. Den forventningen kan oppstå brått og oppleves plutselig som allmenn og generell.
Samtidig har vi også snakket med bibliotek som oppfatter de digitale arenaene som en markedsføring av det fysiske biblioteket. Målet var å få folk til biblioteket. De hadde likevel en sammensatt og tvetydig holdning til dette første utsagnet, og var enige i at det digitale rommet utvider det fysiske rommet. «tusen lyttinger kontra seksti seter i rommet».
Hvis du er opptatt av arrangement som merkevarebygging, så er det kanskje viktig for deg å måle ikke-deltagernes oppfatning av arrangementet også. Har det en verdi at mange vet om et møte og en digital produksjon, selv om de ikke deltar selv? Ja, effekten av et arrangement er ikke bare de som kommer/deltar/ser, men også de som ser informasjon om arrangementet.
Dette er antagelig nokså sammenlignbart for fysiske og digitale arrangement. Gjennom program-profilen forteller biblioteket noe om seg selv. Hver programplakat er ikke bare en invitasjon, men det er også en del av den løpende merkevarebygginga av biblioteket.
Det første biblioteket mente også at man traff et annet publikum i de digitale kanalene enn på bibliotekets fysiske arrangement. De kan ha rett i det; men det kreves flere brukerundersøkelser, før vi kan si det med sikkerhet. Det er kanskje bare litt overlapping mellom de fysiske og de digitale bibliotekbrukerne. I et fjerde bibliotek som ble intervjuet, hadde de en teori om tre segment: aktive lånere, allsidige deltagere, digitale deltagere.
Den tredje innfallsvinkelen er at digital formidling gir oss mange flere muligheter til å måle.
Dagens statlige bibliotekstatistikk spør bare «hvor mange sosiale medier er dere til stede på?» I framtida kan vi nok regne med at det blir flere spørsmål om dette: antall postinger, antall følgere og antall visninger. Det enkelte bibliotek kan i mellomtiden tenke gjennom hvilke mål som er mest relevante å nevne i interne kommunale årsrapporter.
Det er lettere å telle og lagre adferd og respons som gis på digitale arenaer. Teknisk sett er det enkelt å måle oppslutning, samle inn strukturert respons og bearbeide materialet – enklere enn tilsvarende datainnsamling fra fysiske møter. Det er mulig å sette opp responsfunksjoner i etterkant av visninger/lyttinger. Framtida vil vise oss hvem som vil svare på slike brukerundersøkelser, og om de er representative for alle lytterne.
Her er noen mulig måleindikatorer som dere kan bruke for å analysere og evaluere en digital innholdsproduksjon:
- at en produksjon er lett teknisk tilgjengelig for brukerne
- antall brukere
- antall unike brukere som ikke bruker det fysiske biblioteket
- antall som har sett informasjon om tilbudet (ikke formidling per se, men merkevarebygging av biblioteket)
- brukernes demografi. Hvor kommer de fra?
I tillegg kan dere diskutere om dere vil legge vekt på aktivitet/respons fra formidling. Da snakker vi for eksempel om å snakke glemte forfattere ned fra hylla. Kan du se en utlånseffekt hvis dere lager podkast eller videoforedrag om halv-glemte forfattere? Hvis du ser kulturpolitisk på det, er det kanskje det samme om folk leser Edvard Hoem eller Åsta Holth, men bibliotekoperativt er det jo nyttig å spre utlånet, og å øke omløp i stillestående deler av samlinger.
Evaluering av kost-nytte-faktoren må kalibreres for hver digital plattform over tid. La oss si at det er billigere å lage podkast enn å lage videoproduksjoner. Men hva hvis erfaringen deres er at produksjoner rettet mot barn har 8 ganger flere tilhørere som video enn hvis de lages som podkast? Vil det ikke da være kostnadseffektivt å formidle som film? Etter hvert som dere får inn data om effekten av de ulike plattformene, kan dere også begynne å se på forventet publikum for ulike produksjoner på samme plattform. Det er ikke sikkert at høyest mulig seertall er den riktige indikatoren for hver produksjon. Noen ganger må dere gjøre verdivalg om bredde i produksjonene. På samme måte som man bygger opp en variert og allsidig mediesamling av utlånsmedier.
En annen indikator er unik-het. Inderøy bibliotek har i 2020 sendt en serie video-monologer som snakker seg gjennom Dantes Den guddommelige komedie, kapittel for kapittel. Kanskje vil Dante samle færre seere enn en tilsvarende serie om bestselgerbøker som f.eks. Jon Michelets skogmatros-bøker ville ha gjort!? Men kanskje vi skal si at det har egenverdi og bør telle med i en evaluering at man skaper unikt innhold.
De digitale plattformene har sine egne vertskapskulturer og formidlingsroller som må øves opp og utvikles. Litt like og litt ulike for hver plattform. Å arbeide med dette er også en del av analyse og evaluering. I hvert bibliotekar-kollegium må dere finne en god balanse mellom å være oppmuntrende kolleger på den ene siden, og å være tydelige og utviklingsrettede i kritiske tilbakemeldinger.
Halve visninger. Viken fylkesbibliotek gjennomførte sommeren 2020 en kampanje for å øke bruken av e-bøker fra den nye appen Bookbites. Les mer om kampanjen og tallene derfra i nett-artikkelen Resultater fra kampanjen «Et helt bibliotek rett i lomma, helt gratis!».
Her er tallene for antall visninger på Facebook/Instagram
| Visninger | 384 646 |
| Video visninger | 327 943 |
| 3-sekunders visninger | 105 394 |
| 100 % visninger | 24 453 (7,4 %) |
Dette ligner vel på våre egne personlige erfaringer som privat SoMe-bruker. Det er mange video-filmer som suser forbi i nyhetsfeeden, og det er få av dem som vi stopper lenge ved. Lærdommen av dette er vel at antall personer som har oppfattet innholdet i nyheten ligger et sted mellom det høyeste og det laveste tallet.
- Norsk bibliotekindeks
- Norsk kulturindeks
- SSB: Kultur-kostra
- Kurset Statistikk for bibliotekarer av Tord Høivik – https://sites.google.com/site/statistikkipraksis/home/undervisning/grunnkurs
- Boka Digital formidling, utgitt av NB i 2013 er antagelig utdatert på mange vis, men kan være verdt å se på for kontrastens skyld.
Går det an å telle måloppnåelsen i forhold til biblioteklovens formålsparagraf?
Tenker du at det er likhetstrekk mellom fysiske arrangement i biblioteket og digitale produksjoner fra biblioteket. Antall deltagere/seere kan være en indikator for effekt. Men kan vi telle måloppnåelse av et arrangement.
Er verdien av arrangementsdeltagelse eller lytting større eller mindre enn verdien av utlån? Som uttrykk for bibliotekets måloppnåelse?
Hva gir størst måloppnåelse av en 30 minutters film med 40 seere, og en film på 3 minutter med 400 seere?
Har det en verdi at mange vet om en digital produksjon, selv om de ikke hører på den selv?
