Segmentation-based Image Similarity Search

With the rapid and unprecedented growth of digital images, the need for effective image similarity search systems has become more important than ever. The application scenarios for image similarity search are numerous, ranging from e-commerce (where it enables customers to find products through imag...

Full description

Saved in:
Bibliographic Details
Main Author: Korfhage, Nikolaus
Contributors: Freisleben, Bernd (Prof. Dr.) (Thesis advisor)
Format: Doctoral Thesis
Language:English
Published: Philipps-Universität Marburg 2024
Subjects:
Online Access:PDF Full Text
Tags: Add Tag
No Tags, Be the first to tag this record!

Mit dem rasanten und beispiellosen Anstieg der Anzahl digitaler Bilder ist der Bedarf an effektiven Bildähnlichkeitssuchsystemen wichtiger denn je geworden. Die Anwendungsszenarien für die Bildähnlichkeitssuche sind zahlreich und reichen vom elektronischen Handel (wo sie Kunden ermöglicht, Produkte durch Bildabfragen zu finden) über das Gesundheitswesen (wo sie Diagnosen durch den Vergleich medizinischer Bilder unterstützt) bis hin zur digitalen Archivierung (wo sie hilft, große Mengen visueller Daten zu organisieren und zu erschließen). Darüber hinaus wurden in den letzten Jahren enorme Fortschritte auf dem Gebiet der Bildsegmentierung erzielt, was darauf hindeutet, dass Bildähnlichkeitssuche von der Bildsegmentierung profitieren könnte. Diese Arbeit liefert Beiträge in zwei primären Forschungsbereichen: (1) Detektion und Segmentierung von Objekten in Bildern und (2) Bildähnlichkeitssuche. Im Bereich der Detektion und Segmentierung von Objekten in Bildern werden zwei Ansätze vorgestellt: (a) ein neuartiger, auf tiefen neuronalen Netzen basierender Workflow zur automatischen Erkennung, Ausrichtung und Erkennung von textuellen Stempeln auf digitalisierten Karteikarten; (b) ein neuartiger Zellsegmentierungsansatz für fluoreszenzmikroskopische Bilder von morphologisch komplexen eukaryotischen Zellen. Im Bereich der Ähnlichkeitssuche von Bildern schlagen wir einen neuartigen Ansatz vor, der dazu dient, die Suchabsicht von Nutzer*innen besser zu verstehen. Darüber hinaus stellen wir einen neuartigen zweistufigen Ansatz vor, der auf Multi-Index Hashing basiert, um Deep Hashing in Elasticsearch zu integrieren, wobei die Abfragezeiten mit denen von aktuellen Ähnlichkeitssuchmethoden vergleichbar sind. Ein wesentlicher Beitrag der Arbeit ist ein neuartiger Ansatz, der Erkenntnisse aus beiden Bereichen zu einer segmentierungsbasierten Bildähnlichkeitssuche kombiniert und die Verwendung von segmentierten Bildern zur Abfrage von Bilddatenbanken nach bestimmten Regionen innerhalb von Bildern beinhaltet. Dieser neuartige regionenbasierte Ansatz für die Ähnlichkeitssuche in Bildern verbindet zwei Basismodelle und ermöglicht es so Benutzer*innen, mit Hilfe von Punkt-, Box- und Text-Prompts nach ähnlichen Regionen zu suchen. Zuletzt wird in dieser Arbeit der praktische Einsatz der Bildähnlichkeitssuche in verschiedenen Anwendungsdomänen untersucht. Reale Systeme zur Analyse großer Bild- und Videodaten profitieren erheblich von der Bildähnlichkeitssuche, und die Bildähnlichkeitssuche beschleunigt die Datenakquise und -annotation beim iterativen Training spezialisierter Modelle des tiefen Lernens.