Karteikarten erkennen

Aus gescannten Seiten mit Karten werden strukturierte Felder.

Datengenerierung auf dem historischen analogen Inventar des Zentralinstituts

Das historische analoge Inventar der Photothek, das von den Gründungsjahren des Instituts bis 1999 reicht, besteht im frühen Teil aus fünf handschriftlichen Listenbänden sowie 66.000 Seiten mit ca. 529.000 Karten, die rund 700.000 Inventarnummern dokumentieren.

Ziel der Verarbeitung ist es, jede gescannte Seite mit Karten automatisch zu lesen und ihre Inhalte in maschinenlesbare Felder zu zerlegen — Künstler, Standort, Werkbeschreibung, Katalogangaben und Fotonachweis.

Anstelle klassischer Texterkennung (OCR), die an handgeschriebenen Notizen und ausgeblichener Tinte oft scheitert, hilft eine multimodale KI, die Inhalte semantisch zu identifizieren und aufzuteilen. Dieses Vorgehen hat sich im Projekt als nützlich erwiesen, weil auch nicht nach Norm platzierte Inhalte erkannt werden und die über Jahrzehnte leicht variierenden Karteikartenlayouts verarbeitet werden können.

Technisches Vorgehen

Die Eingabe sind JPG-Scans, die je acht Karten in einem 2×4-Raster zeigen. Jedes Bild wird an Google Gemini 2.5 Flash geschickt; der Prompt instruiert das Modell, fünf Felder pro Karte als JSON zurückzuliefern: Künstler/Schule, Standort, Werkbeschreibung, Katalog-Info, Fotonachweis.

Zentrales Prinzip ist Content-First-Prompting: Das Modell wird angewiesen, zuerst inhaltlich zu klassifizieren („Das ist ein Künstlername”), und die Position auf der Karte nur als Sekundärvalidierung zu nutzen. Damit bleibt die Extraktion stabil, wenn Layouts variieren oder Felder leicht verrutscht sind.

Die Verarbeitung läuft fünffach parallel mit adaptiver Drosselung, um die Quotas der Gemini-API einzuhalten. Ergebnisse werden pro Bild als JSON gespeichert, anschließend zu einer kombinierten Datei pro Serie sowie zu CSV und Google Sheets exportiert.

Datenquellen & Werkzeuge

  • Eingabe: JPG-Scans der ZI-Photothek (2×4-Raster)
  • Modell: Google Gemini 2.5 Flash (multimodal)
  • Ausgabe: JSON pro Karte, kombiniertes JSON pro Serie, CSV, Google Sheets
  • Kosten: ca. 0,002–0,005 € pro Scan
  • Repository: inventories_prod (intern)