FAME: gezichtsherkenning als tool voor metadatacreatie

Uitdaging

Digitale foto- en videocollecties van culturele organisaties missen vaak goede inhoudelijke metadata. Hier zijn verschillende redenen voor:

• de manuele beschrijving van deze collecties is heel tijdsintensief;

• het gaat vaak om omvangrijke collecties die niet tot de kerncollectie van de instelling behoren en dus geen prioriteit zijn;

• de aard van het materiaal zorgt voor extra drempels: om afgebeelde personen manueel te beschrijven, moeten video’s afgespeeld worden - wat zeer tijdsintensief is;

• zolang ze niet gedigitaliseerd zijn, zijn video’s niet of moeilijk afspeelbaar, waardoor het onmogelijk is om hun inhoud te beschrijven.

Door de beperkte metadata zijn deze digitale collecties niet goed vindbaar en doorzoekbaar, en kunnen ze minder bevraagd en hergebruikt worden. Met het FAME-project waarvoor we begin 2021 een projectsubsidie kregen van minister van Cultuur Jan Jambon, ontwikkelden we best practices om personen op foto’s en in video’s te identificeren via (semi-)geautomatiseerde gezichtsherkenning. Daarnaast onderzochten we hoe we bestaande metadata kunnen gebruiken om de accuraatheid van de gezichtsherkenning te verbeteren.

Onze rol

Metadata en linked (open) data zijn twee van de vijf kennisdomeinen die we bij meemoo geïdentificeerd hebben. De pilootprojecten in FAME deden dienst als voorbereiding op meer grootschalige toepassingen - zoals het GIVE-metadataproject - van gezichtsherkenningstechnologie in het meemoo-archiefsysteem, in functie van metadatacreatie en -verrijking.

Na onze eerdere samenwerkingen in visual recognition-projecten van FOMU en MoMu onderzochten we zelf samen met enkele partners verder de mogelijkheden van een specifieke vorm van visuele herkenning, nl. gezichtsherkenning.

In het FAME-project voerden we drie pilootprojecten uit:

• pilootproject omtrent podiumkunstenaars (i.s.m. Kunstenpunt)

  • Hierbij namen we 8.300 foto’s van producties en 700 (groeps)portretten, naast enkele video’s mee.

• pilootproject omtrent sportmensen (i.s.m. KOERS)

  • Hierbij maakten we gebruik van een selectie van 115.000 fotonegatieven van Maurice Terryn uit de periode 1967-2006.

• pilootproject omtrent politici en activisten (i.s.m. ADVN en Archief van het Vlaams Parlement)

  • Hierbij baseerden we ons voor ADVN op 8.300 gedigitaliseerde foto’s van het tijdschrift WIJ en enkele gedigitaliseerde video’s van VNOS.

  • Voor het Archief van het Vlaams Parlement maakten we gebruik van 5.300 foto’s van het Vlaams Parlement en een enkele video’s van zittingen van het Vlaams Parlement uit de periodes 1992-1994 en 2001-2021.

De technische partner was telkens IDLab van Universiteit Gent.

Aanpak

Ter voorbereiding van het FAME-project was Liesbeth Bogaert in de zomer van 2020 bij ons aan de slag als stagiaire. Zij was student Industrieel Ingenieur Informatica aan de Universiteit Gent, had net het derde jaar van haar bachelor afgewerkt en werd tijdens haar stage bij meemoo begeleid door meemoo-collega’s Nastasia en Miel en door prof. dr. Steven Verstockt van Universiteit Gent. Ze werkte met een set van ongeveer 9.100 reeds gedigitaliseerde en digitaal geboren foto's afkomstig van Kunstenpunt.

Hoe we dat aanpakten?

1. We verzamelden metadatabronnen voor de betrokken partners:

   • Voor Kunstenpunt waren dat bestandsnamen.

   • Voor het archief van het Vlaams Parlement maakten we gebruik van de metadata van foto’s die door hen aangemaakt zijn. Daarnaast verzamelden we beschrijvingen van video’s uit het meemoo-archiefsysteem en de open API van het Vlaams Parlement. Hiermee kunnen we gegevens over Vlaamse volksvertegenwoordigers en over vergaderingen van het Vlaams Parlement ophalen.

   • Voor ADVN baseerden we ons op beschrijvingen van foto’s en de (beperkte) metadata van video’s uit het meemoo-archiefsysteem.

   • Voor KOERS konden we uitgaan van een bulkinventaris met beperkte metadata.

Daarnaast maakten we voor elk pilootproject ook gebruik van Wikidata.

2. We maakten referentiesets aan.

   Referentiefoto’s zijn portretfoto’s waarvan we weten wie erop afgebeeld is, op basis van de verzamelde metadatabronnen. Doordat we weten wie in het Vlaams Parlement gezeten heeft of wie deel uitmaakte van een podiumkunstenproductie, konden we de mensen op de foto's identificeren. Op basis van de verzamelde metadatabronnen hebben we lijsten aangelegd met personen waarvan we de kans reëel achten dat ze afgebeeld werden op de foto's. Vervolgens hebben we portretfoto's verzameld van de personen op deze lijsten. Dit gebeurde deels manueel en deels geautomatiseerd via API’s van opendatabronnen zoals Wikimedia Commons. Daarnaast hebben collectiebeherende instellingen zoals Amsab-ISG, KADOC en Liberas ons zelf een referentieset aangeleverd. Kanttekening: door een gebrek aan metadata was het niet altijd mogelijk om voor alle collecties een volledige referentieset aan te maken.

3. IDLab werkte een gezichtsherkenningspijplijn en een validatietool uit.

   Deze combinatie van software zorgt ervoor dat de identificatie van personen per foto mogelijk wordt. Alle foto’s zijn door de pijplijn gegaan en de betrokken partners hebben de resultaten gevalideerd. Gezichten die op elkaar lijken worden door software in clusters gegroepeerd. Alle gezichten in zo'n cluster krijgen dezelfde persoonsnaam toebedeeld. Op basis van de manuele validaties konden we achterhalen hoe groot de kans was dat deze identificatie door de gezichtsherkenningssoftware correct was. Cruciaal daarbij was de similariteitsscore: die wordt toegekend door de software en duidt de mate van gelijkenis aan tussen een gezicht en de andere gezichten in eenzelfde cluster. Bij een similariteitsscore van 50% bleek op basis van de manuele validaties dat er 94% kans was dat de identificatie door de software correct was. Op basis daarvan besloten we - in overleg met de partners - dat indien zij geen tijd hadden voor een manuele validatie, een similariteitsscore van 50% volstond als drempelwaarde om identificaties automatisch als voldoende betrouwbaar te beschouwen.

   Veelvoorkomende gezichten die niet correct herkend werden door de gezichtsherkenningsworkflow, werden samengebracht in clusters. De gezichten in deze clusters werden vervolgens door de partners gevalideerd. Zo bleef er een groep betrouwbare clusters over. Als de partners aan één van de gezichten in zo'n cluster zelf een naam toekenden, kon de naam automatisch worden toegekend aan alle gezichten uit die cluster.

Een maand later vond de tweede FAME-studiedag plaats. Tijdens deze studiedag doken we samen in de opschaling van de infrastructuur voor automatische metadatacreatie.

De derde en laatste FAME-studiedag vond plaats in maart 2022 en spitste zich toe op de impact van gezichtsherkennings-technologie op collectieregistratie.