TUD Logo

TUD Startseite » ... » Ergebnisse studentischer Arbeiten » Große Belege » Mario Höpfner

Computergraphik

Bildbasierte Handverfolgung zur intuitiven Navigation in 3D Szenen

Lehrstuhl für Computergraphik und Visualisierung


Student: Mario Höpfner
Betreuer: Sören König
Verantwortlicher Hochschullehrer: Prof. Dr. Stefan Gumhold

Motivation

Mit der ständig wachsenden Anzahl an computergestützten Applikationen steigt auch deren Komplexität in Ein- und Ausgabe. Immer neue Benutzerschnittstellen werden entwickelt und es wird zunehmend notwendiger im virtuellen Raum navigieren zu können. Dabei erreichen die aktuellen, gängigen Eingabegeräte ihre Grenzen, da diese nur maximal zweidimensionale Positions- und Bewegungsinformationen zur Verfügung stellen können. Zur räumlichen Navigation müssen damit mindestens zwei solche Geräte kombiniert verwendet werden. Computergestützte Handgestenerkennung gibt dem Menschen die Möglichkeit, sein flexibelstes Werkzeug - die Hand - effektiv und auf natürliche Art und Weise zu nutzen. Wenn die Entwicklung im Hard- und Softwarebereich weiter fortschreitet, stehen uns bald virtuelle Welten zur Verfügung, in die der Nutzer vollständig eintauchen kann. Damit muss auch die Möglichkeit zur Eingabe ohne störende Zusatzgeräte gegeben werden.

Beschreibung

Die vorliegende Arbeit präsentiert eine vollständige Umsetzung einer Gestensteuerung. Mit Hilfe von zwei Kameras wird die menschliche Hand aufgenommen. Die Handerkennung und -verfolgung wird unter Verwendung von Bildverarbeitungsalgorithmen umgesetzt. Auf eine vollständige Abbildung der Hand wird verzichtet und nur die notwendigen Parameter bestimmt. Diese werden aus beiden Ansichten kombiniert und als Steuersignale genutzt. Weiterhin werden zwei Haltungsgesten und eine Bewegungsgeste detektiert um verschiedene räumliche Beispielanwendungen zu steuern und in 3D-Szenen zu navigieren.

Ergebnisse

Als Grundfunktionalität der erarbeiteten Applikation ist der Algorithmus in der Lage, die Handbewegung vor Hintergründen, in denen die Farbgebung des zur Unterstützung verwendeten Handschuhs nur geringfügig auftritt, zu verfolgen und drei haltungs- bzw. bewegungsbasierte Gesten zu erkennen. Zum Starten der Verfolgung ist eine manuelle Initialisierung notwendig, der Verlust des Zielbereichs wird mittels Vollbildsuche automatisch behandelt. Dem Nutzer wird mit Hilfe dieser Eigenschaften ermöglicht, Signale zur Beeinflussung einer Anwendung einzugeben, welche als Voraussetzungen zur Umsetzung von Steuerungen genannt werden. Die Ausgabe der Grundfunktionen umfasst unter anderem eine Raumkoordinate und eine Ausrichtung, welche aus der Position und der Lage der in zwei Ansichten verfolgten Hand abgeleitet wird. Dies ermöglicht die direkte Eingabe einer 3D-Position ohne Hilfsmittel und ist eine gute Basis zur Umsetzung einer 3D-Navigation.

Eingabebild
Eingabebild
Markierter Zielbereich
Markierter Zielbereich
Verlässlichkeit
Verlässlichkeit
quantisiertes HSX-Bild
quantisiertes HSX-Bild
Wahrscheinlichkeitsbild
Wahrscheinlichkeitsbild
Binärbild
Binärbild
Segmentkontur
Segmentkontur
Segmentparameter
Segmentparameter
Kombination beider Ansichten
Kombination beider Ansichten
Geste Faust
Geste Faust
Geste Spreizen
Geste Spreizen
Geste Handwippe
Geste Handwippe
Puzzle
Puzzle
Flying
Flying
Image Viewer
Image Viewer
Earth Viewer
Earth Viewer

Ausblick

Die Bildverarbeitung hat einen großen Anteil an pixelbasierenden Verarbeitungsschritten, welche auf Grafikhardware schneller und effektiver berechnet werden können. Damit ist auch eine genauere Betrachtung von farbähnlichen Überlagerungsgebieten möglich. Weiterhin bietet die Kontur des Zielbereichs als Zwischenergebnis viel Raum zur weiteren Untersuchung. Mittels der Bestimmung von Extrempunkten im Verlauf könnte die Anzahl der Finger bestimmt werden. Darüber hinaus könnten durch die Verwendung eines zweiten andersfarbigen Handschuhs die Eingabemöglichkeiten erweitert werden, ohne dass eine komplexere Abbildung der Hand notwendig ist.

Download

Stand: 1.2.2010, 14:39 Uhr
Autor: Corina Weissbach