FACE-EFA: Facial Analysis & Classification im Fotobestand des Archivs European Forum Alpbach

Seit 2025 findet sich unter den Beständen des Forschungsinstituts Brenner-Archiv auch das umfangreiche Archiv des European Forum Alpbach mit Sitzungsunterlagen, Programmheften, Ton-, Video- und Bilddokumenten und ähnliche Materialien aus den Jahren 1945 bis 2015 (Nachträge, insbesondere in digitaler Form, werden laufend eingehen), das derzeit aufgearbeitet wird.

Das geplante Projekt setzt sich zum Ziel, die digitale Archivierung und Organisation des umfangreichen Foto-Bestandes, der über 11.500 Fotos umfasst, mithilfe eines Programms zur Gesichtserkennung und -identifikation zu unterstützen. Zu diesem Zweck soll eine technische Lösung entwickelt werden, um Gesichtserkennung und Gruppierung ähnlicher Gesichter mithilfe von KI vorzunehmen, ohne auf die Face Detection und Recognition Features von Google oder Microsoft zurückgreifen zu müssen und damit eine datenschutzrechtlich adäquatere, hausinterne Lösung zu entwickeln, die auch in anderen Projekten nachgenutzt werden kann.

Dies ist insofern relevant, als dass dieser Fotobestand eine Vielzahl historisch bedeutender Persönlichkeiten aus Politik, Wissenschaft, Kultur und Wirtschaft dokumentiert, die das European Forum Alpbach seit seiner Gründung geprägt haben. Eine systematische Identifikation der abgebildeten Personen ist für die wissenschaftliche Erschließung, die Recherche im Bestand sowie für die geplante Publikation einer Auswahl der Bilder über Kulturpool, dem Suchportal für das digitalisierte Kulturerbe Österreichs, sowie für Ausstellungs- und Vermittlungsprojekte von zentraler Bedeutung.
Das Projekt zielt darauf ab, digitale Tools zu entwickeln, die in den folgenden Workflow eingebettet werden:

1. Erstellung einer archivalischen Ordnung, die den Standort der einzelnen Fotos festlegt. Diese Ordnung wird später nicht mehr verändert.

2. Digitalisierung der Fotos und Ablage der Digitalisate nach den internen Richtlinien des Brenner-Archivs.

3. Automatisches Einlesen der Digitalisate in die Foto- und Gesichtsdatenbank. Die Digitalisate werden kontinuierlich in die Fotodatenbank eingelesen, wobei eine KI-Lösung diese Bilder analysiert und bestimmte Bildbearbeitungen automatisch durchführt. Zum einen werden technische Metadaten erhoben (z. B. Zeitpunkt der Digitalisierung, Dateiformat des Digitalisats, Signatur etc.), und zum anderen wird das Bild analysiert und es werden semantische Metadaten vorbereitet, die von menschlichen Bearbeiter:innen bestätigt, ergänzt oder korrigiert werden. So werden die Gesichter der Dargestellten markiert (Face Detection) und für die Gesichtserkennung (Face Recognition) vorbereitet,
sodass ähnliche Gesichter leicht zusammengeführt werden können. Ist das Gesicht bereits bekannt, werden Metadaten zu den Dargestellten in den Fotos generiert, die im nächsten Schritt von menschlichen Bearbeiter:innen bestätigt oder verworfen werden. In ähnlicher Weise werden auch Schlagworte und Angaben zur Datierung von der KI vorgeschlagen. Diese KI-Lösung, die auf quelloffenen Software-Bibliotheken basiert, wird lokal mit Hilfe der universitätseigenen Infrastruktur betrieben, sodass keine personenbezogenen Daten an externe Anbieter übermittelt werden.

4. Annotation der Fotos: Die Metadaten zu den Fotos sollen neben Datierung und Verortung (soweit möglich) auch eine Beschlagwortung enthalten. Zudem sollen ROI (Region of Interest) markiert werden, die Gesichter von Personen darstellen und – falls bekannt – mit der identifizierten Person annotiert werden. Es wird erwartet, dass die Gesichtserkennung gut funktioniert, sodass Bearbeiter:innen ROIs nicht händisch markieren müssen. Die Zuordnung zu Personen wird insbesondere dann, wenn ähnliche Gesichter bereits beschrieben worden sind, wesentlich erleichtert, da die KI-Lösung sinnvolle Vorschläge machen kann. Außerdem wird überprüft, ob das gleiche Foto bereits beschrieben worden ist: In dem Fall wird das „neue“ Foto als Dublette markiert.

5. Neue und bearbeitete Daten werden für das Training der KI integriert. So lernt die Datenbank nach und nach Gesichter kennen, die im Bestand öfter vorkommen. Mit der Zeit wird das KI-Modell die Gesichtsidentifikation noch besser beherrschen und die Annotationsaufgaben wesentlich erleichtern. Die verifizierten Informationen werden als strukturierte Metadaten in das bestehende Archivsystem übertragen.

6. Publikation: Bearbeiter:innen haben die Möglichkeit, bestimmte Fotos für die Publikation freizugeben. Eine Software wird in regelmäßigen Abständen die publizierbaren Bilder in die Publikationsplattform überspielen und die Metadaten abgleichen. Die Fotos werden über ein eigenes Portal Besucher:innen unter einer freien Lizenz zur Verfügung gestellt. Zudem werden die Metadaten der Fotos über eine OAI-PMH (Open Archives Initiative – Protocol For Metadata Harvesting) an den Kulturpool angeboten, sodass Interessierte diese Fotos nicht nur über das hausinterne Portal, sondern auch über das nationale Suchportal Kulturpool sowie das damit verknüpfte internationale Suchportal Europeana finden können. Die Publikation der Fotos erfolgt über eine Lösung, welche auf Omeka-S basiert und bereits in den Projekten Ottmar Zeiller, digitaler Werkkatalog und Sammlungen Schrödinger / March / Braunizer zum Einsatz gekommen ist.