FAME: gezichtsherkenning als tool voor metadatacreatie

Wat als: metadata zo volledig zijn dat je met de naam van een persoon alle beelden van die persoon in je archief vindt? Als we de nodige metadatacreatie en metadataverrijking handmatig zouden aanpakken wordt dit een monnikenwerk. Daarom onderzoeken we hoe gezichtsherkenning hieraan kan bijdragen.

Uitdaging

Digitale collecties foto’s en video’s van culturele organisaties missen vaak goede inhoudelijke metadata. Hier zijn verschillende redenen voor:

  • de manuele beschrijving van deze collecties is heel tijdsintensief;

  • het gaat vaak om omvangrijke collecties die niet tot de kerncollectie van de instelling behoren en dus geen prioriteit zijn;

  • de aard van het materiaal zorgt voor extra technische drempels: om afgebeelde personen manueel te beschrijven, moeten video’s afgespeeld worden - wat zeer tijdsintensief is;

  • zolang ze niet gedigitaliseerd zijn, zijn video’s niet of moeilijk afspeelbaar, waardoor het onmogelijk is om hun inhoud te beschrijven.

Door de beperkte metadata zijn deze digitale collecties online niet goed vindbaar en doorzoekbaar, en kunnen ze minder bevraagd en hergebruikt worden. Met het FAME-project waarvoor we begin 2021 een projectsubsidie kregen van minister van Cultuur Jan Jambon, ontwikkelen we best practices om personen op foto’s en in video’s te identificeren via (semi-)geautomatiseerde gezichtsherkenning. Daarnaast onderzoeken we ook hoe we bestaande metadata kunnen gebruiken om de accuraatheid van de gezichtsherkenning te verbeteren.

Onze rol

Metadata en linked (open) data zijn twee van de vijf kennisdomeinen die we bij meemoo geïdentificeerd hebben. In 2023 willen we een proof-of-concept opzetten rond de grootschalige toepassing van gezichtsherkenningstechnologie in het meemoo-archiefsysteem, in functie van metadatacreatie en metadataverrijking. De pilootprojecten in FAME zijn een voorbereiding daarop.

Na onze eerdere samenwerkingen in visual recognition-projecten van FOMU en MoMu onderzoeken we zelf samen met enkele partners verder de mogelijkheden van een specifieke vorm van visuele herkenning, nl. gezichtsherkenning.

In het FAME-project zullen we drie pilootprojecten uitvoeren:

  • pilootproject omtrent podiumkunstenaars (i.s.m. Kunstenpunt)

    • Hierbij nemen we 8.300 foto’s van producties en 700 (groeps)portretten, naast enkele video’s mee.

  • pilootproject omtrent sportmensen (i.s.m. KOERS)

    • Hierbij maken we gebruik van een selectie van 41.000 fotonegatieven van Maurice Terryn uit de periode 1969-1978.

  • pilootproject omtrent politici en activisten (i.s.m. ADVN en Archief van het Vlaams Parlement)

    • Hierbij baseren we ons voor ADVN op 8.300 gedigitaliseerde foto’s van het tijdschrift WIJ en 533 gedigitaliseerde video’s van VNOS.

    • Voor het Archief van het Vlaams Parlement maken we gebruik van 5.300 foto’s van het Vlaams Parlement en 300 video’s van zittingen van het Vlaams Parlement uit de periodes 1992-1994 en 2001-2021.

De technische partner is telkens IDLab van UGent.

Aanpak

Ter voorbereiding van het FAME-project was Liesbeth Bogaert in de zomer van 2020 bij ons aan de slag als stagiaire. Zij is student Industrieel Ingenieur Informatica aan de Universiteit Gent, had net het derde jaar van haar bachelor afgewerkt en werd tijdens haar stage bij meemoo begeleid door meemoo-collega’s Nastasia en Miel en door prof. dr. Steven Verstockt van UGent. Ze werkte met een set van ongeveer 9.100 reeds gedigitaliseerde foto’s en 19.500 digitaal geboren foto's afkomstig van Kunstenpunt.

Metadatagedreven gezichtsherkenning

We maken bij dit project gebruik van metadatagedreven gezichtsherkenning. We onderzoeken hoe we metadata van contentpartners en linkedopendatabronnen kunnen gebruiken bij de training van de gezichtsherkenningsalgoritmes en de nabewerking van de output van software. Zo proberen we het resultaat van de gezichtsherkenning te verbeteren en te verrijken. Hierbij maken we gebruik van referentiesets.

Door de benaming van de mappen van Kunstenpunt beschikken we over de volgende gegevens voor een groot aantal van de foto’s:

  • naam van podiumkunstengezelschap

  • productietitel

  • theaterseizoen

Op basis van die informatie kunnen we aanvullende informatie opzoeken in Wikidata en de Kunstenpuntdatabank. Zo weten we welke acteurs, dansers of artiesten aan een bepaalde productie hebben meegewerkt en wie er mogelijk op de foto’s van die productie staat afgebeeld. Met die informatie kunnen we fouten beperken. Bovendien kunnen we vervolgens iedere herkende acteur, danser of artiest identificeren met een unieke code uit Wikidata en de Kunstenpuntdatabank.

Al is het niet alleen zonneschijn: naast de vele voordelen van metadata komen er ook uitdagingen bij kijken. Metadata kennen namelijk verschillende bronnen en komen hierdoor voor in verschillende vormen. Er duiken geregeld schrijffouten, afkortingen en inconsistenties op, de metadata zijn ongestructureerd of zelfs helemaal niet aanwezig. Om dit op te lossen, moeten er nog heel wat manuele acties uitgevoerd worden.

Ethische aspecten

Met technologieën als gezichtsherkenningstechnologie moet op een voorzichtige manier omgesprongen worden. Hier houden we rekening mee in het project, o.a. door gespecialiseerde juridische begeleiding. Er is ook een wettelijke verplichting om op een verantwoorde manier met de persoonsgegevens van afgebeelde personen om te gaan.