Wat als: metadata zo volledig zijn dat je met de naam van een persoon alle beelden in je archief van die persoon vindt? Als we de nodige metadatacreatie en -verrijking handmatig zouden aanpakken wordt dit een monnikenwerk. Daarom onderzoeken we hoe gezichtsherkenning hieraan kan bijdragen.

Uitdaging

Digitale collecties foto’s en video’s van culturele organisaties missen vaak goede inhoudelijke metadata. Hier zijn verschillende redenen voor:

  • de manuele beschrijving van deze collecties is heel tijdsintensief;

  • het gaat vaak om omvangrijke collecties die niet tot de kerncollectie van de instelling behoren en dus geen prioriteit zijn;

  • de aard van het materiaal zorgt voor extra technische drempels: om afgebeelde personen manueel te beschrijven, moeten video’s afgespeeld worden - wat zeer tijdsintensief is;

  • zolang ze niet gedigitaliseerd zijn, zijn video’s niet of moeilijk afspeelbaar, waardoor het onmogelijk is om hun inhoud te beschrijven.

Door de beperkte metadata zijn deze digitale collecties online niet goed vindbaar en doorzoekbaar, en kunnen ze minder bevraagd en hergebruikt worden. Met het FAME-project dat we momenteel voorbereiden, willen we best practices ontwikkelen om personen op foto’s en video’s te identificeren via (semi-)geautomatiseerde gezichtsherkenning. Daarnaast willen we ook onderzoeken hoe we bestaande metadata kunnen gebruiken om de accuraatheid van de gezichtsherkenning te verbeteren.

Onze rol

Metadata en linked (open) data zijn twee van de vijf kennisdomeinen die we bij meemoo geïdentificeerd hebben. In 2023 willen we een proof-of-concept opzetten rond de grootschalige toepassing van gezichtsherkenningstechnologie in het meemoo-archiefsysteem, in functie van metadatacreatie en -verrijking. De pilootprojecten in FAME zijn een voorbereiding daarop.

Na onze eerdere samenwerkingen in visual recognition-projecten van FOMU en MoMu onderzoeken we zelf samen met enkele partners verder de mogelijkheden van een specifieke vorm van visuele herkenning, nl. gezichtsherkenning.

In het FAME-project willen we drie pilootprojecten uitvoeren:

  • pilootproject omtrent podiumkunstenaars (i.s.m. Kunstenpunt)

  • pilootproject omtrent sportmensen (i.s.m. KOERS)

  • pilootproject omtrent politici en activisten (i.s.m. ADVN en Archief van het Vlaams Parlement)

De technische partner is telkens IDLab van UGent.

Aanpak

Ter voorbereiding van het FAME-project is Liesbeth Bogaert sinds 1 juli bij ons aan de slag als stagiaire. Zij is student Industrieel Ingenieur Informatica aan de Universiteit Gent, heeft net haar derde bachelor afgewerkt en zal tijdens haar stage bij meemoo begeleid worden door meemoo-collega’s Nastasia en Miel en door prof. dr. Steven Verstockt van UGent. Ze werkt met een set van ongeveer 9.100 reeds gedigitaliseerde foto’s en 19.500 born digital foto's afkomstig van Kunstenpunt.

Metadatagedreven gezichtsherkenning

We maken bij dit project gebruik van metadatagedreven gezichtsherkenning. We onderzoeken hoe we metadata van de contentpartners en linkedopendatabronnen kunnen gebruiken bij de training van de gezichtsherkenningsalgoritmes en de postprocessing van de output van software. Zo proberen we het resultaat van de gezichtsherkenning te verbeteren en te verrijken.

Door de benaming van de mappen van Kunstenpunt beschikken we over de volgende gegevens voor een groot aantal van de foto’s:

  • naam van podiumkunstengezelschap

  • productietitel

  • theaterseizoen

Op basis van die informatie kunnen we aanvullende informatie opzoeken in Wikidata en de Kunstenpuntdatabank. Zo weten we welke acteurs, dansers of performers aan een bepaalde productie hebben meegewerkt en wie er mogelijk op de foto’s van die productie staat afgebeeld. Met die informatie kunnen we de fouten te beperken. Bovendien kunnen we vervolgens iedere herkende acteur, danser of performer identificeren met een unieke code uit Wikidata en de Kunstenpuntdatabank.

Ethische aspecten

Met technologieën als gezichtsherkenningstechnologie moet op een voorzichtige manier omgesprongen worden. Hier houden we rekening mee in het project, o.a. door gespecialiseerde juridische begeleiding. Er is ook een wettelijke verplichting om op een verantwoorde manier met de persoonsgegevens van afgebeelde personen om te gaan.