Automatische semantische Annotation in digitalen Bildern

Art der Abschlussarbeit

Masterarbeit

Thema

Im Rahmen des von der DFG geförderten Projekts "Ambient Learnig Spaces" wurde das Framework "Network Environment for Multimedia Objects" (NEMO)

für die zentrale Haltung von semantischen
Daten, Medien, der Logik von Lernprogrammen und von in den Lernapplikationen gemeinsam
verwendeten Programmmodulen sowie der gemeinsamen semantischen Datenhaltung

für die zentrale Haltung von semantischen Daten, Medien, der Logik von Lernprogrammen und von in den Lernapplikationen gemeinsam verwendeten Programmmodulen sowie der gemeinsamen semantischen Datenhaltung entwickelt. In dieser Masterarbeit wurde zur computergestützten erweiterten semantischen Annotation von digitalen Bildern eine neue Komponente mit dem Namen DRL4NEMO für die Funktionsschnitstelle von NEMO entworfen und implementiert. 

 

Bearbeitet von

Nils Voß

Aufgabenstellung

Im Rahmen dieser Masterarbeit sollte eine Schnittstelle zur computergestützten erweiterten semantischen Annotatin von digitalen Bildern implementiert werden. Dies wurde in Form einer Komponente für die Funktions-Schnittstelle des Network Environment for Multimedia Objects (NEMO) Frameworks realisiert. NEMO ist ein Framework, das im Rahmen des Forschungsprojekts Ambient Learning Spaces (ALS) für die zentrale Haltung von semantischen Daten, Medien, der Logik von Lernprogrammen und von in den Lernapplikationen gemeinsam verwendeten Programmmodulen sowie der gemeinsamen semantischen Datenhaltung entwickelt wird. Es ist modular erweiterbar, wie beispielsweise bereits geschehen durch Module zur Konvertierung von Daten oder zur Benutzerauthentifizierung.

Mit Hilfe der in dieser Arbeit umgesetzten automatisierten Annotationen von digitalen Bildern werden Bilder anhand von zusätzlichen textuellen Attributen, sogenannten Annotationen oder auch Tags, beschrieben, um sie maschinell verarbeitbar und in semantischen Kontexten nutzbar zu machen. Neben dem Vorteil der verbesserten Auffindbarkeit anhand von Annotationen, gerade in großen Datenbeständen, werden digitale Bilder durch automatische semantische Annotationen für NEMO kontextbezogen nutzbar gemacht. Um die Annotationen aus den Bildern zu generieren, wird im Rahmen dieser Arbeit ein Bilderkennungs-Algorithmus verwendet, der auf der Idee des Deep Learning-Ansatzes basiert. Bei dem Deep Learning-Ansatz handelt es sich um eine Klasse bestimmter künstlicher neuronaler Netze, die früher eingesetzte Algorithmen im Bereich Objekterkennung verdrängt haben, bezüglich Laufzeitverhalten und Genauigkeit in den Klassifikationsergebnissen. Anhand bereitgestellter Datensätze Szenarien einer Forschungsfrage bzgl. der Güte nachgegangen werden. Unter der Güte wird verstanden, wie gut das ausgewählte Verfahren Bilder im Kontext von ALS korrekt annotiert. Der Algorithmus wird dementsprechend evaluiert. Mit Hilfe der verwendeten Datensätze wird es möglich sein, zuverlässige Aussagen über die die Klassifikationsgenauigkeit des Algorithmus zu machen. Eine im Rahmen dieser Arbeit implementierte webbasierte Schnittstelle (API) wird die Funktionalität dieses Moduls für NEMO bereitstellen.

Literatur

 

Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanism
of pattern recognition uneffected by shift position.

Fukushima, K. (1980). Neocognitron: A self-organizing neural network model for a mechanismof pattern recognition uneffected by shift position.

 

Girshick, R. (2015). Fast R-CNN. (M. Research, Hrsg.)

Szeliski, R. (2010). Computer Vision: Algorithms and Applications. Springer Verlag.

Szepesvári, C. (2010). Algorithms for Reinforcement Learning. Morgan and Claypool.

 

Abgeschlossen

Jun 2017