Kosten en baten van Web Publications voor digitale archieven
KOSTEN EN BATEN VAN WEB PUBLICATIONS VOOR DIGITALE ARCHIEVEN
EEN DENKKADER
NOTITIE

AUTEUR
PROF.DR. CARL KOOPMANS
IN OPDRACHT VAN
DE KONINKLIJKE BIBLIOTHEEK
AMSTERDAM, DECEMBER 2021

SEO-notitie nr. 2021-117

lkl

Informatie & Disclaimer
SEO Economisch Onderzoek heeft op de verkregen informatie en data geen onderzoek uitgevoerd dat het karakter draagt van
een accountantscontrole of due diligence. SEO is niet verantwoordelijk voor fouten of omissies in de verkregen informatie en
data.
Copyright © 2021 SEO Amsterdam. Alle rechten voorbehouden. Het is geoorloofd gegevens uit dit rapport te gebruiken in
artikelen, onderzoeken en collegesyllabi, mits daarbij de bron duidelijk en nauwkeurig wordt vermeld. Gegevens uit dit rapport
mogen niet voor commerciële doeleinden gebruikt worden zonder voorafgaande toestemming van de auteur(s). Toestemming
kan worden verkregen via secretariaat@seo.nl.
Roeterstraat 29

+31 20 525 1630

1018 WB, Amsterdam

secretariaat@seo.nl
www.seo.nl

KOSTEN EN BATEN VAN WEB PUBLICATIONS VOOR DIGITALE ARCHIEVEN

1

Onderzoeksvraag
De Koninklijke Bibliotheek beoogt digitale archieven beter toegankelijk te maken via het internet. De Koninklijke
Bibliotheek ontwikkelt hiervoor samen met andere partijen een voorstel in het kader van het Innovatiebudget Digitale Overheid (Ministerie van BZK). Er is onderzoek gedaan naar wensen van klanten en er is een prototype gebouwd. In deze fase is het echter nog te vroeg om concreet over te gaan tot implementatie van de onderzochte
technieken. Bij dit voorstel is onder meer van belang welke maatschappelijke baten (en kosten) zullen optreden.
Een integrale maatschappelijke kosten-batenanalyse (MKBA) is op dit moment nog niet mogelijk.
 Tegen deze achtergrond heeft de Koninklijke Bibliotheek (Ted van der Togt) SEO Economisch Onderzoek gevraagd
om een ‘MKBA als denkkader’ uit te voeren. Dit betreft een beknopte exercitie waarin wordt nagegaan welke kosten
en baten kunnen ontstaan en welke stakeholders deze kosten en baten ondervinden, maar waarin (nog) niet wordt
getracht om effecten, kosten en baten te kwantificeren. In de Algemene MKBA leidraad1 van het Centraal Planbureau en het Planbureau voor de Leefomgeving wordt het gebruik van de MKBA als denkkader bepleit in situaties
waarin effecten nog niet kunnen worden gemeten en gemonetariseerd (Romijn en Renes, 2013, p. 42).
Over de auteur
Carl Koopmans is onderzoeksdirecteur bij SEO Economisch Onderzoek en hoogleraar Beleidsevaluatie aan de
Vrije Universiteit. Hij heeft vijfendertig jaar ervaring met economisch onderzoek, naar onder meer transport,
energie, wonen en de arbeidsmarkt. Carl specialiseert zich in maatschappelijke kosten-batenanalyse (MKBA);
op dit terrein is hij één van de grootste deskundigen in Nederland. Hij is op verzoek van ministeries lid van
diverse adviescommissies. Verder publiceert hij regelmatig artikelen in vakliteratuur en in de media. Hij is lid van
de adviesraad van de tijdschriften TPEdigitaal en Beleidsonderzoek Online.
Carl werkt sinds 2002 bij SEO en sinds 2008 bij de Vrije Universiteit. Van 2006 tot 2009 was hij directeur van het
Kennisinstituut voor Mobiliteitsbeleid (KiM) en van 2002 tot 2007 hoogleraar aan de Universiteit van Amsterdam.
Eerder werkte hij als afdelingshoofd bij het Centraal Planbureau en als projectcoördinator bij de Wetenschappelijke Raad voor het Regeringsbeleid. Daarvoor was hij werkzaam bij het ministerie van VROM en bij SEO, waar
hij in 1989 promoveerde op een proefschrift over informele arbeid. Hij studeerde econometrie aan de Erasmus
Universiteit.
 Aanpak
De methodologie die in dit onderzoek wordt gevolgd komt overeen met de Algemene MKBA-leidraad die door het
Centraal Planbureau en het Planbureau voor de Leefomgeving is opgesteld (Romijn en Renes, 2013) en waarvan
het gebruik door het kabinet is voorgeschreven (Financiën, 2013). Onderstaande figuur bevat een stappenplan voor
een MKBA en vormt de kern van de Algemene MKBA leidraad.
De MKBA als denkkader omvat de eerste stappen van het stappenplan:
1. Probleemanalyse
2. Nulalternatief
3. Beleidsalternatieven
4. (eerste onderdeel) Identificeren van effecten

1

Deze leidraad is door het kabinet verplicht gesteld bij MKBA’s door en voor de Rijksoverheid.
KOSTEN EN BATEN VAN WEB PUBLICATIONS VOOR DIGITALE ARCHIEVEN

2

Deze stappen zijn gezet op basis van de stukken over Web Publications die beschikbaar zijn gesteld door de KB.
Dit betreft beschrijvingen van vormen van Web Publications, potentiële gebruikers en de voordelen die zij ondervinden. Daarnaast is eerder onderzoek naar baten van erfgoed gebruikt (Poort et al, 2007).
Het belangrijkste resultaat van de ‘MKBA als denkader’ is een tabel waarin met plussen en minnen wordt aangegeven welke kosten en baten door wie worden ondervonden.
Figuur 1

Deze notitie betreft de eerste stappen van het MKBA-stappenplan

Deze
notititie

Bron:

Romijn en Renes (2013), aanvulling SEO.
Probleemanalyse
Onderstaande tabel laat zien dat diverse knelpunten optreden bij het raadplegen van digitale informatie. Ook blijkt
uit de tabel dat Web publications kansen bieden om deze knelpunten weg te nemen of te verkleinen. De meeste
knelpunten en kansen betreffen alle gebruikers. Daarnaast zijn er aspecten die van belang zijn voor een specifieke
doelgroep: visueel gehandicapten. Deze tabel is van belang omdat de baten van een investering of maatregel
voortkomen uit het oplossen van knelpunten en/of het benutten van kansen.
 KOSTEN EN BATEN VAN WEB PUBLICATIONS VOOR DIGITALE ARCHIEVEN

Tabel 1

3

Web Publications sluiten aan bij knelpunten en bieden nieuwe kansen

Knelpunten

Kansen Web Publications

Documenten niet goed vindbaar (door OCR2 fouten,
waar geen verbeteringen aan worden gedaan)

Documenten beter vindbaar (door dat tekst wordt verbeterd zowel door zowel bijdrage van eindgebruikers
als door automatische processen)

Delen van documenten (bijvoorbeeld artikelen in tijdschriften) worden niet goed gevonden.
Delen van documenten beter vindbaar (door segmentering, op basis waarvan delen apart geïndexeerd en
naar relevantie gerangschikt kunnen worden)

Moeilijk toegankelijk voor visueel gehandicapten

Alternatieve toegang (bijvoorbeeld computerstem
leest voor, presentatie op braille leesregel)
Documenten beter leesbaar door flexibele lay-out
(aanpassing tekst voor mobiele beeldschermen e.d.)
Verrijkingen toevoegen aan documenten (door collectiehouder) als dan niet door automatisch proces (Named Entity Recognition)
Gebruikers kunnen zelf annotaties toevoegen en delen
met anderen

Beperkte gebruiksmogelijkheden

Gebruikers kunnen onderdelen van documenten gemakkelijker hergebruiken
Nieuwe manieren van zoeken mogelijk maken. (Bijvoorbeeld het zoeken naar ‘vergelijkbare artikelen’ op
basis van een aangeleverde tekst)
Mogelijk maken om selecties te maken binnen collecties met computer ondersteuning. (‘Distant Reading’)
Mogelijk maken om delen automatisch te vertalen
Informatiebronnen beter verbinden

Bron:

2

SEO Economisch Onderzoek

OCR staat voor Optical Character Recognition. Om bijvoorbeeld een bestand voor een website te maken (bijvoorbeeld
een pdf-bestand) wordt een papieren document gescand. OCR-software herkent de letters en de woorden en slaat deze
op. Daardoor kunnen gebruikers naar woorden zoeken. De software herkent echter niet alle letters en woorden, en interpreteert de tekst soms verkeerd. Dit speelt met name bij oude teksten met bijvoorbeeld beschadigingen, vlekken, ongebruikelijke lay-out, ouderwetse spelling of minder gangbare lettertypen (zie https://nl.wikipedia.org/wiki/Optical_character_recognition).
 KOSTEN EN BATEN VAN WEB PUBLICATIONS VOOR DIGITALE ARCHIEVEN

4

Nulalternatief
In het nulalternatief blijven de knelpunten grotendeels bestaan. Op onderdelen worden beperkte verbeteringen
doorgevoerd. Er zijn geen structurele oplossingen. Het gebruik van het internet in het algemeen en van digitale
archieven in het bijzonder groeit sterk. Daardoor nemen de knelpunten toe. In een volledige MKBA zouden hiervoor
verschillende toekomstscenario’s worden uitgewerkt. De invulling van dergelijke scenario’s wordt beschreven in de
MKBA-werkwijzer voor de digitale overheid (Koopmans et al., 2018, paragraaf 3.2). Belangrijke ingrediënten zijn de
huidige situatie, bestaande toekomstscenario’s, voor het project relevante ontwikkelingen en beperkte maatregelen
om knelpunten te verkleinen.
Beleidsalternatief
Een belangrijk aspect bij de invulling van het beleidsalternatief is welke archieven het betreft. De Koninklijke Bibliotheek en het Nationaal Archief beheren samen een zeer groot deel van het tekstuele Nederlands cultureel erfgoed.
De Koninklijke Bibliotheek beheert vooral publicaties (boeken, kranten tijdschriften, artikelen). Het Nationaal Archief
bevat documenten van de Rijksoverheid, archieven van de provincie Zuid-Holland en particuliere archieven (brieven, rapporten, et cetera).
Een andere belangrijke factor is het aantal gebruikers. Daarbij zijn twee groepen gebruikers van belang:
● Gebruikers in het nulalternatief. Zij ondervinden een voordeel in de vorm van wat economen aanduiden als
lagere zoekkosten; ze vinden sneller wat ze zoeken. Dit levert tijdbesparing op. Bovendien vinden zij meer
informatie en heeft de gevonden informatie een hogere kwaliteit. Er worden meer verbanden tussen informatie(bronnen) zichtbaar. Ook is er sprake van meer gebruikscomfort en gebruiksplezier: een betere beleving
tijdens het zoeken. Er komt extra informatie beschikbaar die door andere gebruikers wordt toegevoegd. En
tot slot leveren de digitaal beschikbare teksten ‘oefenmateriaal’ op voor ontwikkelaars van Artificial Intelligence (AI).
 ● Extra gebruik in het beleidsalternatief.3 In het beleidsalternatief ontstaat een extra toename van het aantal gebruikers – bovenop de groei in het nulalternatief - onder invloed van de hogere baten en lagere kosten van
zoeken. Het aantal extra gebruikers hangt af van de omvang van deze voordelen. Bovendien worden visueel
gehandicapten in het beleidsalternatief een nieuwe doelgroep. Het aantal extra gebruikers kan bijvoorbeeld
worden ingeschat met pilots.
Het kan nuttig zijn om meerdere beleidsalternatieven uit te werken. Daardoor wordt zichtbaar welke invulling van
het project de hoogste baten en/of de beste verhouding tussen baten en kosten oplevert. Daarnaast moeten bij
plannen die uit meerdere onderdelen bestaan of die in meerdere onderdelen kunnen worden gesplitst, de kosten
en baten van de afzonderlijke onderdelen in beeld komen. Deze onderdelen worden dan afzonderlijke beleidsalternatieven (Romijn en Renes, 2013, p. 88). De achtergrond daarvan is dat sommige onderdelen mogelijk beter
scoren in termen van kosten en baten dan andere onderdelen. Dit kan aanleiding zijn om het plan aan te scherpen.
Identificeren van kosten en baten
De tabel laat zien dat de beschreven baten worden ondervonden door sterk uiteenlopende doelgroepen zoals
onderzoekers, journalisten, visueel gehandicapten en bedrijven die Artificial Intelligence software ontwikkelen. De
baten die zoekkosten, kwaliteit en hoeveelheid informatie betreffen, vallen toe aan bijna alle gebruikersgroepen.
3

Het kan hierbij niet alleen gaan om nieuwe gebruikers (t.o.v. het nulalternatief) maar ook om meer gebruik in het beleidsalternatief door ‘bestaande’ gebruikers (wederom t.o.v. het nulalternatief).
KOSTEN EN BATEN VAN WEB PUBLICATIONS VOOR DIGITALE ARCHIEVEN

5

Naast de geëxpliciteerde baten wordt strategische kennis gegenereerd die in de verdere toekomst kan leiden tot
baten niet we nu nog niet kennen.
 Tabel 2

Web Publications hebben een groot aantal baten voor meerdere soorten gebruikers
Verdeling over (groepen) actoren

Kosten en effecten

Rijksoverheid

Consortium*

Subsidie van BZK

—

+

Financiële investering in Web publications

—

Inzet in natura (medewerkers)

—

Strategische kennis

+

Onderzoekers
(professioneel)

Docenten
(en
hun
leerlingen)

Journalisten
(en hun
lezers)

Visueel
gehandicapten

Bedrijven

Andere
overheden

Andere
gebruikers

Totaal

0
—

—
—

+

+

Tijdbesparing
(be)zoeken (bij dezelfde informatie)

+

+

+

+

+

+

+

+

Meer relevante informatie gevonden
in collecties

+

+

+

+

+

+

+

+

Betere kwaliteit van
gevonden informatie

+

+

+

+

+

+

+

+

Meer verbanden
tussen informatie
gevonden

+

+

+

+

+

+

+

+

Gebruikscomfort
en gebruiksplezier
(beleving)

+

+

+

+

+

+

+

+

Kostenbesparing
door aanvullende
informatie (van gebruikers, op web
platform)

+

+

+

+

+

+

+

+

Meer tekstueel trainingsmateriaal
voor nieuwe (AI)
software

+

Nieuwe toegang
tot informatie
Totaal

+
—

—

+

+

+

* De aanvragers van een subsidie, inclusief bedrijven die het project uitvoeren
Bron:
SEO Economisch Onderzoek

+

+
+

+

+?

KOSTEN EN BATEN VAN WEB PUBLICATIONS VOOR DIGITALE ARCHIEVEN

6

De kosten worden gedragen door de rijksoverheid als subsidieverlener en door de leden van het consortium via
bijdragen in natura (inzet van medewerkers). Daarnaast kunnen er investeringen zijn van andere overheden, bijvoorbeeld via bibliotheken.
Mogelijke vervolgstappen
Als meer bekend wordt over de effecten voor gebruikers, is het mogelijk om een gekwantificeerde kosten-batenanalyse uit te voeren. Het kan in eerste instantie gaan om een ‘kengetallen KBA’, waarin bij het kwantificeren van
kosten en baten cijfers uit andere onderzoeken wordt gebruikt. In een later stadium kan dan nog een integrale
MKBA volgen.
 Referenties
Koopmans, C., M. van Benthem, W. Hulsker, W. Spit, F. van Zutphen (2018). Werkwijzer voor maatschappelijke kosten-batenanalyse van de digitale overheid, publicatie 2018-60, Amsterdam: SEO Economisch Onderzoek.
Financiën (2013). Kabinetsbrief bij de algemene MKBA Leidraad. Den Haag: Ministerie van Financiën.
Poort et al. (2007). Bronnen van Baten. Publicatie 2007-52, Amsterdam: SEO Economisch Onderzoek.
Romijn, G., & Renes, G. (2013). Algemene leidraad voor maatschappelijke kosten-batenanalyse. Den Haag: Centraal
Planbureau en Planbureau voor de Leefomgeving.
