Verslag: FAME-studiedagen
- Verslag
In het voorjaar van 2022 organiseerden we drie studiedagen rond het gebruik van gezichtsherkenningstechnologie in de cultureelerfgoedsector. De drie centrale thema's waren de juridische en ethische aspecten, de uitdagingen bij opschaling en de impact op collectieregistratie. Lees het verslag van de studiedagen hier.
In september 2022 rondde meemoo het project FAME (FAce MEtadata): operationalisering van metadata-gedreven gezichtsherkenning in de registratiepraktijk af. FAME is een netwerkproject gefinancierd door de Vlaamse overheid dat we in 2021-2022 uitvoeren in samenwerking met IDLab van UGent als technische partner en ADVN, het Archief van het Vlaamse Parlement, KOERS en Kunstenpunt als contentpartners.
De afgelopen jaren liepen er binnen de (internationale) cultureelerfgoedsector verschillende projecten rond de toepassing van Artificiële Intelligentie (AI) en Machine Learning (ML), voornamelijk over de toepassing van gezichtsdetectie en - herkenning bij het beschrijven en ontsluiten van collectiemateriaal. In de toekomst zal zich dit voortzetten.
Uit deze projecten komen veel vragen voort. Wat is het belang van gezichtsdetectie en -herkenning voor de cultureelerfgoedsector? Wat leren we uit FAME en andere projecten? En wat zijn de uitdagingen waarmee we rekening moeten houden als we gezichtsdetectie en - herkenning verder willen uitrollen? Om deze vragen te beantwoorden organiseerden we in het voorjaar van 2022 drie studiedagen waarop enkele aspecten van het gebruik van gezichtsherkenningstechnologie in de cultureelerfgoedsector centraal stonden:
Juridische en ethische aspecten
Uitdagingen bij opschaling
Impact op collectieregistratie
Technische infrastructuur
In beeld : gezichtsdetectie toegepast op ‘Het bestuur van het Brugse smedenambacht’ door Bernardus Fricx, Musea Brugge, foto Dominique Provost, publiek domein
Belangrijkste bevindingen van de studiedagen
1. Juridische en ethische uitdagingen
In het FAME-project botsten we niet enkel op technische, maar ook op juridische en ethische uitdagingen. Hierop een antwoord vinden is nuttig én noodzakelijk voor de opschaling die meemoo voor ogen heeft, maar ook voor andere organisaties in de cultureelerfgoedsector die met gezichtsherkenning aan de slag willen gaan.
Wat je van deze eerste studiedag moet onthouden wordt ruim besproken in deze techblog over de juridische en ethische aspecten van gezichtsherkenning. Ook in de rubriek Uitgepakt van META brachten we de belangrijkste ethische en juridische aspecten ter sprake (META 2022/4 en META 2022/5). De ethische kwesties komen uitgebreider aan bod in een artikel in faro | tijdschrift voor cultureel erfgoed 15 (2022/2).
De ethische uitdagingen hebben betrekking op o.a. de samenstelling van de referentiesets, de mogelijke vooringenomenheid van de gebruikte algoritmes, het mogelijke verlies van jobs door automatisering, de werkomstandigheden van data labellers en de impact op het milieu. De juridische uitdagingen hebben betrekking op de auteursrechtelijke bescherming, het portretrecht en de bescherming van persoonsgegevens.
2. Opschaling
Een andere uitdaging die tijdens de studiedagen naar boven kwam is het wegschrijven van de verkregen metadata naar de door de collectiebeheerders gebruikte collectie- of beeldbeheersystemen. De gezichtsherkenningsresultaten zijn pas optimaal zinvol wanneer ze ook op een goede manier weggeschreven worden naar hun systemen. Een eerste vraag die zich stelt is of de courant gebruikte beheersystemen daar vandaag klaar voor zijn. Het antwoord op die vraag hangt deels af van wat we precies willen wegschrijven. Dat kan gaan van een text string met iemands naam, over een aan de hand van een interne of externe identifier uniek geïdentificeerde persoon (eventueel met een score die aangeeft hoe waarschijnlijk het is dat hij of zij effectief de afgebeelde persoon is), tot daarbovenop de exacte positie van de persoon in de foto of de tijdscode in de video waarop de persoon voorkomt.
Een aansluitende vraag is of deze metadata eerder in het collectiebeheersysteem (CMS) dan wel in een beeldbeheersysteem (DAM) worden weggeschreven. En hoe moeten de metadata die het resultaat zijn van gezichtsherkenning dan gestructureerd zijn, opdat collectiebeherende instellingen deze data zo vlot mogelijk kunnen importeren? Eén aspect binnen deze kwestie is welk bestandsformaat gehanteerd wordt. Bij de betrokken FAME-partners komen JSON, XML en CSV het vaakst naar boven als hanteerbare bestandsformaten om data in bulk in hun beheersystemen te importeren.
Wanneer collectiebeherende instellingen (semi-)automatisch gegenereerde metadata willen opnemen, botsen ze ook op de vraag of ze die metadata anders willen behandelen dan de door mensen gecreëerde metadata. Mogelijke manieren om hier mee om te gaan zijn onder andere:
Er gebeurt een grondige manuele validatie van de resultaten (door collectiemedewerkers en/of door crowdsourcing). Van zodra die manuele validatie is afgerond, krijgen de metadata dezelfde status als de door mensen gecreëerde metadata.
Er gebeurt een beperkte manuele validatie, maar de waarschijnlijkheidsscore van de matching wordt wel mee opgenomen bij de collectiebeherende instelling. Idealiter kan deze score als zoekparameter mee worden aangeboden, samen met de aanduiding of een identificatie manueel gevalideerd is. Een bezoeker zou dan kunnen kiezen voor bv. een zoekopdracht waarbij enkel zekere matches als resultaat worden weergegeven, maar ook voor een zoekopdracht waarbij alle matches met een waarschijnlijkheid van bv. > 0.6 worden weergegeven.
De manuele validatie bestaat eruit om steekproefgewijs de drempel te bepalen waarboven een matching met voldoende waarschijnlijkheid correct is om opgenomen te worden in het systeem van de collectiebeheerder. Daarbij is het wel belangrijk om bij elk collectiestuk zichtbaar het onderscheid te maken tussen door mensen gecreëerde en automatisch gegenereerde metadata.
In beeld : gezichtsdetectie toegepast op ‘Levensavond’ door Edmond Van Hove, Musea Brugge, foto Dominique Provost, publiek domein
De keuzes die je hierin als collectiebeherende instelling maakt hangen samen met de vraag wat je aan je eindgebruiker wil presenteren. Hoeveel onzekerheid/ruis laat je toe en hoe toon je die? Wat is de balans tussen het kunnen aanbieden van rijkere metadata versus het risico op vals positieve matches? Manuele validatie vraagt mankracht, en is bovendien ook niet altijd foutloos. Organisaties die hierop inzetten zullen dus ook een antwoord moeten vinden op de vraag wie dat gaat doen. Wordt dit een (nieuwe) taak van collectiemedewerkers? Werk je met een beperkte hoeveelheid goed begeleide vrijwilligers of ga je regelrecht voor crowdsourcing? Deze vraag hangt samen met de uitdaging hoe je van een in tijd, scope en middelen beperkt gezichtsherkenningsproject evolueert naar een duurzame verankering in de structurele werking met duidelijke rollen en verantwoordelijkheden voor de betrokken medewerkers.
Een andere reden om zo veel mogelijke metadata mee op te nemen is de herhaalbaarheid van bepaalde processen in de toekomst. Technologie evolueert en mogelijk zijn er binnen enkele jaren geoptimaliseerde workflows die een ander (nog beter) resultaat opleveren. Ook de ideale referentieset zal soms (moeten) wijzigen, bv. omdat er nieuwe en betere foto’s ter beschikking komen, of omdat mensen verouderen en de leeftijdsvariatie best in de referentieset wordt weerspiegeld. Op dat moment kan het interessant zijn om na te gaan of er betere metadata gecreëerd kunnen worden bij foto’s waarvan de status van de vandaag gecreëerde metadata onzeker is.
3. Impact op collectieregistratie
Ook het samenstellen en delen van referentiesets kwam aan bod tijdens de studiedagen. Goede referentiesets zijn een cruciale factor in de workflow. Het is tevens een tijdsintensief werk. Twee factoren bepalen in welke mate dit werk deels geautomatiseerd kan worden: enerzijds de beschikbaarheid van open data (inclusief foto’s) op het web en anderzijds de mate waarin collectiebeherende instellingen data over personen in hun collectie gekoppeld hebben met externe authorities. Open data die bovendien aanspreekbaar zijn via een API maken het mogelijk om in bulk data op te vragen. De koppeling met externe name authorities laat toe om personen uniek te identificeren zonder manuele controle of opzoekwerk. Ze zijn regelmatig ook het ankerpunt om gelinkte foto’s op te vragen (bv. bij Wikidata).
Het zou de opschaling van gezichtsherkenningstechnologie vereenvoudigen als organisaties de samengestelde referentiesets met elkaar konden delen. Dezelfde personen komen immers potentieel in verschillende collecties voor. Een efficiënte werkwijze zou betekenen dat we vermijden dat meerdere organisaties deels hetzelfde werk doen. Toch zijn er op juridisch, ethisch en technisch vlak een aantal horden te nemen om dit mogelijk te maken. Op vlak van auteursrecht is het weinig problematisch om een vectorprofiel van iemands gezicht te delen aangezien hier geen auteursrechtelijke handeling mee gemoeid is. Het delen van de foto’s zelf die deel uitmaken van de referentiesets is daarentegen mogelijk problematischer omdat er auteurs- en portretrecht op kan rusten. Op het vlak van bescherming van persoonsgegevens is uitwisseling van data uiteraard ook risicovol. Aangezien de gehanteerde workflows en gebruikte software bij diverse gezichtsherkenningsprojecten niet volledig identiek zijn en bovendien doorheen de tijd aan verandering onderhevig, zijn vectorprofielen niet stabiel, noch interoperabel tussen verschillende workflows. Van zodra een bepaalde parameter wijzigt, verandert ook het vectorprofiel.
Als sector kunnen we werken aan betere name authorities. Een eerste piste daarvoor is het uitbreiden van bestaande name authorities aan de hand van de beschikbare data in collectiebeherende instellingen. Binnen het FAME-project werkten we vooral met Wikidata. Hoe rijker de data in Wikidata over relevante personen voor Vlaamse collecties, hoe gemakkelijker die personen ondubbelzinnig geïdentificeerd kunnen worden. Een andere piste is de uitbouw van een specifieke Belgische of Vlaamse name authority. ODIS komt wat dat betreft het dichtste in de buurt, maar heeft vandaag niet de status noch de ambitie om dé name authority van Vlaanderen te zijn.
In beeld : gezichtsdetectie toegepast op ‘Mater Dolorosa en Man van Smarten’, Anonieme Meester, Musea Brugge, foto Hugo Maertens, publiek domein
4. Technische infrastructuur
Niet alle erfgoedorganisaties beschikken over de nodige kennis en middelen om zelf aan gezichtsherkenning te doen. Hoe kunnen we als sector samenwerken om de technische infrastructuur en bijhorende expertise te delen die nodig is voor gezichtsherkenning? Als we kunnen bepalen wat de nodige technische infrastructuur is en moet kunnen, is het in theorie mogelijk om die zodanig te centraliseren dat verschillende organisaties er gebruik van kunnen maken. Dat zou ook de nood aan zeer specifieke expertise in elke collectiebeherende organisatie deels wegnemen. Technische infrastructuur delen impliceert een schaalvergroting, wat een sterke impact heeft op de relatieve prijs. Technologische componenten voor gezichtsherkenning evolueren razendsnel. Mogelijk volstaat de schaal en draagkracht van de Vlaamse cultureelerfgoedsector niet om zulke centrale infrastructuur te beheren en te onderhouden.
Fysiek delen van infrastructuur is niet de enige optie. Het is ook mogelijk om gezichtsherkenning gecentraliseerd aan te bieden als software as a service, een dienst die collectiebeherende organisaties kunnen afnemen. Daarbij is het zowel een optie om bestaande diensten bij (vaak grote internationale) bedrijven aan te kopen als om een eigen Vlaamse dienstverlening uit te bouwen.
Bestaande producten hebben het voordeel dat ze gebruiksklaar en kwalitatief zijn. Een nadeel is hun vaak weinig transparante algoritmes. Zelf ontwikkelen laat toe om optimaal op noden in te spelen en op specifieke workflows te focussen, maar dat kost tijd. Er gaat dan geen budget naar de aankoop van software, maar wel naar werktijd van mensen. Dat maakt bepaalde principiële keuzes mogelijk, bv. voor open source en ethische waarden. Cruciale afwegingen tussen beide opties zijn dus enerzijds de gewenste mate van controle en anderzijds de bruikbaarheid van of the shelf oplossingen (zowel qua kwaliteit als qua schaal).
Overzicht van het programma van de drie studiedagen
De juridische en ethische uitdagingen vormden het onderwerp van de eerste (online) studiedag op 18 januari 2022. Op het programma:
Een korte introductie over het thema vanuit een breed maatschappelijk oogpunt door Dominique Deckmyn (redacteur Cultuur en Media, De Standaard).
Toelichting van het juridisch kader door Joris Deene (advocaat, Everest Law).
Keynotelezing door Catherine Jasserand-Breeman (postdoctoraal onderzoeker, Centrum voor IT & IP-recht, KU Leuven).
Online poll met ethische vragen voor de deelnemers
Toelichting van de omgang met juridische en ethische aspecten binnen het FAME-project.
Panelgesprek met specialisten en ervaringsdeskundigen, en afsluitende vragenronde. Panelleden: Steven Verstockt (ID Lab), Catherine Jasserand-Breeman, Tim Manders (Beeld & Geluid)
De tweede studiedag ging (opnieuw online) door op 22 februari 2022 en bestond eveneens uit een aantal presentaties en een afsluitend panelgesprek:
Presentaties:
Inleiding op het thema door Rony Vissers (meemoo)
Technische workflow binnen FAME en de uitdagingen i.v.m. opschaling door Kenzo Milleville (IDLab)
Uitdagingen en noden om gezichtsherkenning in de Vlaamse cultureel-erfgoedsector op te schalen door Rony Vissers (meemoo)
Toekomstplannen met gezichtsherkenning bij meemoo: een stand van zaken door Matthias Priem (meemoo)
Ervaringen en uitdagingen met gezichtsherkenningstechnologie bij VRT door Jasper Degryse (VRT).
Panelgesprek: de uitrol van gezichtsherkenning in dagelijkse beschrijvingsprocessen. Panelleden: Jasper Degryse (VRT), Henk Vanstappen (Datable), Phaedra Claeys (ADVN)
De derde studiedag vond fysiek plaats bij projectpartner ADVN op 29 maart 2022. Centraal stond de impact op de collectieregistratie. De thema’s van de tweede en de derde studiedag liepen enigszins in elkaar over. De schaal waarop je als collectiebeherende instelling gezichtsherkenning toepast om metadata te creëren beïnvloedt hoe je met die metadata omgaat om je collectie te beschrijven. Op het programma:
Verwelkoming door directie ADVN en algemene inleiding
Alec Van den broeck (toenmalig VKC) over project rond saloncatalogi
Nico Vriend (Noord-Hollands Archief) over project Krant en Foto
Roeland Ordelman (Beeld en Geluid, CLARIAH): machine-gegenereerde metadata bij Beeld en Geluid en CLARIAH
Panelgesprek: Achter de schermen in Vlaanderen. Waar staan we? Korte toelichtingen door:
Lennert Van de Velde (meemoo)
Joëlle Daems (FoMu)
Wim Lowet (VAi)
Diethard Vlaeminck (KOERS)
Phaedra Claeys (ADVN)
Tom Ruette (Kunstenpunt)