Van fysiek naar digitaal archief: meemoo’s begin-tot eind-rapportering
Stel je voor dat je de weg kon volgen die een tape of een cassette aflegt: van het prille begin - bang afwachten in een kartonnen doos - tot het bevredigende einde - wanneer de inhoud van de drager netjes, gemetadateerd en veilig op de servers bewaard wordt. Het heet begin-tot-eind-rapportering (of ‘end2end’) en bij meemoo maken we er een ware kunst van.
Digitalisering begint steeds met registratie door de contentpartner in ons registratiesysteem. Daarbij krijgt iedere drager een eigen unieke code die tijdens het hele proces gevolgd wordt - een pid of persistente identifier. Na digitalisering worden de digitale bestanden opgestuurd naar een meemoo-datacenter en vervolgens in het archiefsysteem geïmporteerd via het ingest-proces.
In de regel loopt dit hele proces heel vlot, maar toch kan er in elke stap iets misgaan.Om mogelijke fouten (zoals bestanden die gedigitaliseerd worden maar niet opgestuurd, bestanden die slechts gedeeltelijk doorgestuurd worden of metadata die niet correct ingevuld zijn) te detecteren gebruiken we heel wat controlemechanismen.
De echte uitdaging bestaat erin om dit soort controles vervolgens op grote schaal te doen: iedere dag worden er bestanden gedigitaliseerd. Eén levering van een digitaliseringsproject beslaat al snel duizenden bestanden. Bovendien lopen er vaak meerdere digitaliseringsprojecten tegelijk. De componenten van de archiefinfrastructuur werden op een manier uitgebouwd die dit soort rapportering zo eenvoudig mogelijk moet maken. Door de bestanden te controleren bij import en hierop visuele rapporteringstools los te laten, hebben we snel inzicht in wat waar mis ging in het proces.
Als voorbeeld: de grafiek hieronder toont de stand van zaken op het moment van schrijven, begin 2019. Momenteel zijn 232 bestanden al gedigitaliseerd, maar nog niet correct gearchiveerd. Een aantal zijn gefaald, andere zijn nog in transit naar het meemoo-datacenter. Meemoo staat in voor de opvolging van deze fouten. We zorgen ervoor dat de gefaalde bestanden opnieuw opgepikt worden en houden in de gaten dat andere effectief geleverd worden.
Los van de rapportering over de import, gebeurt er nog een tweede controle nadat het digitaliseringsproject afgelopen is. Hiermee gaan we na of alle bestanden die tijdens het hele project gedigitaliseerd werden, ook succesvol gearchiveerd werden bij meemoo.
Om dit soort rapportering nog eenvoudiger te maken, werd in 2018 hard gewerkt aan een datawarehouse. Daarin worden alle data verzameld die van toepassing zijn op het proces van registratie, digitalisering, archivering en publicatie via Het Archief voor Onderwijs. Dit staaltje technologie zal onze controles een pak efficiënter maken en stelt de weg open naar andere automatiseringen.