FAME: gezichtsherkenning als tool voor metadatacreatie

Wat als: metadata zo volledig zijn dat je met de naam van een persoon alle beelden van die persoon in je archief vindt? Als we de nodige metadatacreatie en metadataverrijking handmatig zouden aanpakken wordt dit een monnikenwerk. Daarom onderzoeken we hoe gezichtsherkenning hieraan kan bijdragen.

Uitdaging

Digitale collecties foto’s en video’s van culturele organisaties missen vaak goede inhoudelijke metadata. Hier zijn verschillende redenen voor:

  • de manuele beschrijving van deze collecties is heel tijdsintensief;

  • het gaat vaak om omvangrijke collecties die niet tot de kerncollectie van de instelling behoren en dus geen prioriteit zijn;

  • de aard van het materiaal zorgt voor extra technische drempels: om afgebeelde personen manueel te beschrijven, moeten video’s afgespeeld worden - wat zeer tijdsintensief is;

  • zolang ze niet gedigitaliseerd zijn, zijn video’s niet of moeilijk afspeelbaar, waardoor het onmogelijk is om hun inhoud te beschrijven.

Door de beperkte metadata zijn deze digitale collecties online niet goed vindbaar en doorzoekbaar, en kunnen ze minder bevraagd en hergebruikt worden. Met het FAME-project waarvoor we begin 2021 een projectsubsidie kregen van minister van Cultuur Jan Jambon, ontwikkelen we best practices om personen op foto’s en in video’s te identificeren via (semi-)geautomatiseerde gezichtsherkenning. Daarnaast onderzoeken we ook hoe we bestaande metadata kunnen gebruiken om de accuraatheid van de gezichtsherkenning te verbeteren.

Onze rol

Metadata en linked (open) data zijn twee van de vijf kennisdomeinen die we bij meemoo geïdentificeerd hebben. In 2023 willen we een proof-of-concept opzetten rond de grootschalige toepassing van gezichtsherkenningstechnologie in het meemoo-archiefsysteem, in functie van metadatacreatie en metadataverrijking. De pilootprojecten in FAME zijn een voorbereiding daarop.

Na onze eerdere samenwerkingen in visual recognition-projecten van FOMU en MoMu onderzoeken we zelf samen met enkele partners verder de mogelijkheden van een specifieke vorm van visuele herkenning, nl. gezichtsherkenning.

In het FAME-project zullen we drie pilootprojecten uitvoeren:

  • pilootproject omtrent podiumkunstenaars (i.s.m. Kunstenpunt)

    • Hierbij nemen we 8.300 foto’s van producties en 700 (groeps)portretten, naast enkele video’s mee.

  • pilootproject omtrent sportmensen (i.s.m. KOERS)

    • Hierbij maken we gebruik van een selectie van 115.000 fotonegatieven van Maurice Terryn uit de periode 1967-2006.

  • pilootproject omtrent politici en activisten (i.s.m. ADVN en Archief van het Vlaams Parlement)

    • Hierbij baseren we ons voor ADVN op 8.300 gedigitaliseerde foto’s van het tijdschrift WIJ en 533 gedigitaliseerde video’s van VNOS.

    • Voor het Archief van het Vlaams Parlement maken we gebruik van 5.300 foto’s van het Vlaams Parlement en een 300-tal video’s van zittingen van het Vlaams Parlement uit de periodes 1992-1994 en 2001-2021.

De technische partner is telkens IDLab van Universiteit Gent.

Aanpak

Ter voorbereiding van het FAME-project was Liesbeth Bogaert in de zomer van 2020 bij ons aan de slag als stagiaire. Zij is student Industrieel Ingenieur Informatica aan de Universiteit Gent, had net het derde jaar van haar bachelor afgewerkt en werd tijdens haar stage bij meemoo begeleid door meemoo-collega’s Nastasia en Miel en door prof. dr. Steven Verstockt van Universiteit Gent. Ze werkte met een set van ongeveer 9.100 reeds gedigitaliseerde en digitaal geboren foto's afkomstig van Kunstenpunt.

Metadatagedreven gezichtsherkenning

We maken bij dit project gebruik van metadatagedreven gezichtsherkenning. We onderzoeken hoe we metadata van contentpartners en linkedopendatabronnen kunnen gebruiken bij de training van de gezichtsherkenningsalgoritmes en de nabewerking van de output van software. Zo proberen we het resultaat van de gezichtsherkenning te verbeteren en te verrijken. Hierbij maken we gebruik van referentiesets.

Wat er tot nu toe is gebeurd?

  1. We verzamelden metadatabronnen voor de betrokken partners:

    • Voor Kunstenpunt waren dat bestandsnamen en wikidata.

    • Voor het archief van het Vlaams Parlement maakten we gebruik van de metadata van foto’s die door hen aangemaakt zijn. Daarnaast verzamelden we beschrijvingen van video’s uit het meemoo-archiefsysteem en de open API van het Vlaams Parlement. Hiermee kunnen we gegevens over Vlaamse volksvertegenwoordigers en over vergaderingen van het Vlaams Parlement ophalen.

    • Voor ADVN baseerden we ons op beschrijvingen van foto’s en de (beperkte) metadata van video’s uit het meemoo-archiefsysteem.

    • Voor KOERS maakten we gebruik van een bulkinventaris met beperkte metadata.

  1. We maakten referentiesets aan.

    Referentiefoto’s zijn portretfoto’s waarvan we weten wie erop afgebeeld is, op basis van de verzamelde metadatabronnen. Doordat we weten wie in het Vlaams Parlement gezeten heeft of wie deel uitmaakte van een productie, konden we de mensen op de foto's identificeren. Op basis daarvan hebben we portretfoto's verzameld. Dit gebeurde deels manueel en deels geautomatiseerd via API’s van opendatabronnen zoals Wikimedia Commons. Daarnaast hebben collectiebeherende instellingen zoals Amsab-ISG, KADOC en Liberas ons zelf een referentieset aangeleverd. Kanttekening: door een gebrek aan metadata was het niet altijd mogelijk om voor alle collecties een goede referentieset aan te maken.

  1. IDLab werkte een gezichtsherkenningspijplijn en een validatietool uit.

    Deze combinatie van software zorgt ervoor dat de identificatie van personen per foto mogelijk wordt. Alle foto’s zijn door de pijplijn gegaan. In januari 2022 hebben de betrokken partners de resultaten gevalideerd. Nu zal de pijplijn verder worden verfijnd.

Al is het niet alleen zonneschijn: naast de vele voordelen van metadata komen er ook uitdagingen bij kijken. Metadata kennen namelijk verschillende bronnen en komen hierdoor voor in verschillende vormen. Er duiken geregeld schrijffouten, afkortingen en inconsistenties op, de metadata zijn ongestructureerd of zelfs helemaal niet aanwezig. Om dit op te lossen, moeten er nog heel wat manuele acties uitgevoerd worden.

Ethische aspecten

Met technologieën als gezichtsherkenningstechnologie moet op een voorzichtige manier omgesprongen worden. Hier houden we rekening mee in het project, o.a. door gespecialiseerde juridische begeleiding. Er is ook een wettelijke verplichting om op een verantwoorde manier met de persoonsgegevens van afgebeelde personen om te gaan. Op 18 januari organiseerden we een eerste FAME-studiedag waar we dieper zijn ingegaan op de juridische en ethische aspecten van gezichtsherkenningstechnologie.

Op 22 februari vond de tweede FAME-studiedag plaats. Tijdens deze studiedag doken we samen in de opschaling van de infrastructuur voor automatische metadatacreatie.

De derde FAME-studiedag vond plaats op 29 maart en spitste zich toe op de impact van gezichtsherkennings-technologie op collectieregistratie.

We halen de pagina op, even geduld...