FAME loopt af! De eerste resultaten
4 okt 2022Meer dan 150.000 foto’s en video’s inhoudelijk beschrijven in een beheersysteem, het lijkt een heuse uitdaging. Met FAME willen we dit proces versnellen via (semi-)geautomatiseerde gezichtsherkenning, het metadateren vereenvoudigen en erfgoedcollecties makkelijker vind- en doorzoekbaar maken. Het project loopt nu op zijn einde, dus brengen we je graag de eerste resultaten. Lees jij mee?
FAME in 't kort
Met steun van de Vlaamse overheid testen we innovatieve technieken om personen in foto’s en video’s makkelijker te identificeren. In samenwerking met IDLab lieten we een open source tool los op de erfgoedcollecties van Kunstenpunt, KOERS, ADVN en het archief van het Vlaams Parlement. De focus lag op publieke figuren, in het bijzonder podiumkunstenaars, wielrenners, politici en activisten. Via deze tool weten we niet alleen wie op welk beeld staat afgebeeld, maar ook wie welke persoon is bij beelden met meerdere personen.
In beeld: CVP-premiers, foto van Michiel Hendryckx, CC BY-SA 3.0 via Wikimedia Commons.
Wat hebben wij gedaan?
Parallel aan de FAME-studiedagen begonnen we dit voorjaar met het valideren van de door software automatisch herkende gezichten. De vier collectiebeherende organisaties plakten manueel op elke identificatie een validatielabel, waarbij ze de herkenning aanvaardden, verwierpen of ongeschikt verklaarden. Dit laatste label wijst op foto’s zonder persoon of onduidelijke foto’s. Uit de correct herkende gezichten leidden we tot slot ook het aantal unieke personen af.
De resultaten op een rijtje ...
Hoeveel bruikbare resultaten leverde FAME nu op? Van de in totaal 182.202 toegekende validatielabels accepteerden de instellingen er 78.440. De gezichtsherkenningstool heeft met andere woorden meer dan 78.000 gezichten correct herkend. Dit aantal kunnen we herleiden tot maar liefst 1.694 unieke personen!
Een belangrijke nuance? Kunstenpunt valideerde manueel minder resultaten dan de drie andere organisaties. Als we een kleine foutenmarge accepteren, kunnen we dit verhelpen. Die marge berekenden we op basis van de validatielabels die Kunstenpunt plakte op de gezichten, waarvan de software zelf een grote gelijkenis aangaf met de referentieset (een similariteitsscore van minstens 0.5). Daaruit bleek dat de betrouwbaarheid van de tool voor de herkende gezichten van podiumkunstenaars 93,6% bedraagt. Als we deze foutenmarge toepassen komen we dus tot maximum 81.144 geaccepteerde herkende gezichten en 2.578 unieke publieke personen.
Rekening houdend met dit percentage weten we dus dat, uit de collectie van Kunstenpunt, maximum 353 herkende gezichten en 65 unieke personen foutief zijn. Tot slot kunnen we hier nog clusters van gezichten bijtellen die de instellingen manueel hebben samengesteld, goed voor nog eens 2.003 gezichten van 96 unieke personen.
Wat halen we hieruit?
De eerste resultaten ogen positief! We kunnen stellen dat semi-geautomatiseerde gezichtsherkenning een positieve impact kan hebben op de creatie, registratie en verrijking van metadata. Als we nieuw gecreëerde metadata opnemen in de beheersystemen zal de vind- en doorzoekbaarheid van het materiaal vlotter verlopen. Daarnaast zijn er wel nog enkele aandachtspuntjes. Zo neemt het invoeren van bestaande metadata, het opzetten van goede referentiesets en de (manuele) validatie nog heel wat tijd in beslag.
Wat brengt de toekomst?
De conclusies uit FAME nemen we mee in onze zoektocht naar een laagdrempelige en goedkope tool die de meeste cultureelerfgoedorganisaties individueel kunnen gebruiken. ADVN en KOERS nemen de cijfers ook mee in hun eigen fotodigitaliseringsproject Tegenlicht, dat ze samen met FOMU uitvoeren.
De inzichten zijn bovendien belangrijk voor het GIVE-metadataproject, waar we de mogelijkheden van gezichtsherkenning verder onderzoeken en een structurele oplossing nastreven. Het plan? We willen een proof-of-concept opzetten en de grootschalige toepassing van gezichtsherkenningstechnologie in het meemoo-archiefsysteem mogelijk maken.
In beeld: Christiane Goeminne, foto van Jelle Vermeersch, CC BY-SA 4.0 via Wikimedia Commons / KOERS.