WWW.ABSTRACT.XLIBX.INFO
FREE ELECTRONIC LIBRARY - Abstract, dissertation, book
 
<< HOME
CONTACTS



Pages:   || 2 |

«1 Einleitung Ein wichtiger Aspekt immersiver virtueller Umgebungen ist die interaktive Darstellung virtueller Szenen unter Verwendung von ...»

-- [ Page 1 ] --

Evaluation von Headtracking in interaktiven virtuellen

Umgebungen auf Basis der Kinect

Dennis Wiebusch∗, Martin Fischbach∗, Alexander Strehler∗, Marc Erich Latoschik∗

Gerd Bruder †, Frank Steinicke †

∗ †

Human-Computer Interaction Immersive Media Group

Universität Würzburg Universität Würzburg

Am Hubland Oswald-Külpe-Weg 82

97074 Würzburg 97074 Würzburg

Tel.: +49 (0)931 / 31 86313 Tel.: +49 (0)931 / 31 85868 dennis.wiebusch@uni-wuerzburg.de gerd.bruder@uni-wuerzburg.de Zusammenfassung: Interaktive Medien mit räumlicher Darstellung virtueller Inhalte finden verstärkt Einzug in verschiedenste Anwendungsfelder. Diese Entwicklung führt zu einer stetig wachsenden Nachfrage nach kostengünstigen Verfahren zur Bestimmung der Kopfposition eines Betrachters, welche zu einer perspektivisch korrekten Darstellung nötig sind.

In diesem Beitrag evaluieren wir zwei Headtrackingverfahren in interaktiven virtuellen Umgebungen auf Basis der Microsoft Kinect. Wir vergleichen die beiden Verfahren mit einem professionellen optischen Trackingsystem und zeigen Vor- und Nachteile auf.

Stichworte: Headtracking, Virtuelle Umgebungen, Microsoft Kinect 1 Einleitung Ein wichtiger Aspekt immersiver virtueller Umgebungen ist die interaktive Darstellung virtueller Szenen unter Verwendung von perspektivisch korrekten und stereoskopischen visuellen Stimuli. Diese ermöglichen die Exploration virtueller Datensätze vergleichbar mit der Exploration einer Umgebung in der realen Welt. Sie benötigen ein präzises Tracking der Benutzerkopfposition und -ausrichtung mit möglichst geringer Latenz. Verschiedene Technologien, mit denen die Kopfposition eines Betrachters mit hoher Genauigkeit und geringer Latenz erfasst werden kann, sind im Forschungsbereich der virtuellen Realität (VR) vorgestellt worden. Unter Einsatz der erfassten Kopfposition in Trackingkoordinaten sowie einer Abbildung auf eine Kamera in virtuellen Koordinaten ist es damit möglich, einem Betrachter natürliches Feedback zu Bewegungen in der realen Welt zu geben. Die Freiheit, durch natürliche Bewegungen virtuelle Umgebungen zu erkunden, hat großes Potenzial für verschiedene Anwendungen, z.B. für Produktdemonstrationen computer-generierter Datensätze, oder um die Präsenz von Anwendern in virtuellen Welten zu steigern.

Professionelle VR-Installationen verwenden häufig kostenintensive Tracking- und Displaytechnologien aus dem Forschungsumfeld. Dagegen haben sich in den letzten Jahren kostengünstige Technologien im Consumer-Marktsegment etabliert, wie etwa verschiedene Lösungen zum Headtracking mit der Nintendo Wiimote, der Sony EyeToy oder der Microsoft Kinect. Obwohl die Genauigkeit und Latenzzeiten dieser Trackingtechnologien nicht mit denen professioneller Systeme vergleichbar sind, besteht aufgrund des hohen Kostenunterschieds Interesse, diese für weniger kritische Anwendungen einsetzen. Dabei stellen insbesondere aus einem oder zwei Bildschirmen bestehende Systeme, wie beispielsweise VRWorkbenches, Multi-Touch-Tables oder Geräte aus dem 3D-Heimkinobereich Anwendungsfälle dar. Bei letzteren handelt es sich z.B. um Projektoren und Großbildschirme unter Einsatz von Shuttertechnologien, deren Verkaufszahlen stetig zunehmen.

In dieser Arbeit beschreiben wir zwei Ansätze zum Headtracking auf Basis der Microsoft Kinect, welche wir mit einem professionellen Trackingsystem (WorldViz PPT X4) vergleichen. Die beiden Kinect-basierten Verfahren unterscheiden sich grundlegend. Der erste Ansatz verwendet eine, durch das OpenNI Framework [Pri12] bereitgestellte, Skelett-basierte Rekonstruktion der Kopfposition, der zweite, im Zuge dieser Arbeit entwickelte Ansatz kombiniert das Skelett-basierte Tracking mit einem marker-basierten Ansatz ohne Hinzunahme weiterer Hardware (abgesehen von einem aktiven Target) [SBWS12].

Drei maßgebliche qualitative Kriterien für die Evaluation eines Trackingsystems sind:

Präzision: Streuung der Daten bei wiederholtem Messen des selben Punktes Genauigkeit: Streuung der Daten um den realen Wert Latenz: Zeitdifferenz zwischen Samplezeit und Bereitstellungszeit Die vorliegende Arbeit untersucht die Präzision der drei Verfahren und geht dabei von

folgenden Hypothesen aus:

H1: Das professionelle System hat insgesamt die höchste Präzision.

H2: Das Skelett-basierte Verfahren hat die niedrigste Präzision.

H3: Ein hybrides Verfahren erhöht die Präzision des Skelett-basierten Verfahrens.

Dieser Beitrag ist wie folgt strukturiert: Abschnitt 2 gibt einen Überblick über verwandte Arbeiten. In Abschnitt 3 stellen wir die Verfahren zum Headtracking auf Basis der Kinect vor. In Abschnitt 4 beschreiben wir die durchgeführte Evaluation der Verfahren. Abschnitt 5 fasst den Beitrag zusammen und gibt einen Überblick über zukünftige Forschungen.

2 Verwandte Arbeiten

Interaktive virtuelle Umgebungen ermöglichen Betrachtern einen räumlichen Eindruck dreidimensionaler virtueller Datensätze zu gewinnen. Dies wird insbesondere durch stereoskopische Darstellung virtueller Szenen ermöglicht, wodurch Distanzeinschätzungen vereinfacht und Mehrdeutigkeiten in räumlichen Verhältnissen reduziert werden, sowie der Aufbau einer mentalen Repräsentation dargestellter Szenen unterstützt wird [TFCRS11]. Darüber hinaus ermöglicht Bewegungsparallaxe bei getrackten Eigenbewegungen einem Betrachter zusätzliche Tiefenhinweise zu gewinnen, welche von traditionellen Darstellungsmedien nicht unterstützt werden [RG79, NJ06]. Speziell für diese beiden Tiefenhinweise ist es essenziell, dass die Position der Augen des Betrachters korrekt und in Echtzeit erfasst wird.





Verschiedene Technologien existieren, um dieses Problem zu lösen [MG01, MCT09]. Dazu zählen marker-basierte outside-in Ansätze auf Basis von Triangulation mit mehreren optischen Sensoren (z.B. Zeilenkameras [Atr12] oder Kameras mit 2D-Pixelrastern [Wor12]), Tiefen-, Form- oder Featurepunkt-basierte Trackingverfahren auf Basis einer oder mehrerer optischer Sensoren [See12], Ansätze zum optischen inside-out Tracking [WBV+ 99] sowie diverse Verfahren zum magnetischen, mechanischen oder inertialen Tracking [WF02]. Mehrere dieser Ansätze sind zu professionellen Trackingsystemen entwickelt worden und finden Einsatz in verschiedenen VR Installationen.

Während diese Trackingsysteme weltweit häufig nur in ein-, zwei- oder dreistelligen Mengen abgesetzt werden, was einen direkten Einfluss auf den Preis dieser Systeme hat, sind in den letzten Jahren kostengünstigere Lösungen (z.B. von Nintendo, Sony und Microsoft) verfügbar geworden, deren Preis sich aufgrund von Massenproduktion deutlich von professionellen Systemen unterscheidet. Insbesondere zu nennen ist der Nintendo Wii Remote Controller, welcher eine einfache Kamera mit Infrarotfilter beinhaltet, in deren Kamerabild die Position von IR-Punkten detektiert werden kann. Durch Triangulation einer IR-LED von mehreren Wiimotes, bzw. Erkennung mehrerer IR-LEDs durch eine Wiimote haben verschiedene Forscher gezeigt, dass sich praktisch einsetzbare Trackingsysteme für wenige hundert Euro entwickeln lassen, auch wenn die Genauigkeit und Präzision i.A. nicht das Niveau professioneller Systeme erreicht [Lee08]. Ähnlich kostengünstige Trackingsysteme sind auf Basis des natürlichen Farbraums vorgestellt worden, z.B. für die Sony EyeToy oder unter Verwendung einer oder mehrerer Webcams [See12, PDS+ 09, FWGVG11, FMO12].

Obwohl diverse anwendbare Verfahren zum Benutzertracking bereits existierten, wird die Microsoft Kinect seit ihrer Vorstellung in 2010 für verschiedenste Anwendungen bevorzugt als Trackingsystem eingesetzt. Gründe hierfür sind insbesondere die Fähigkeit, den gesamten Körper eines oder mehrerer Benutzer markerlos zu tracken, sowie die bereitgestellten Computer Vision Frameworks (z.B. Primesenses OpenNI SDK und Microsofts Kinect SDK) und mehrere freie Open Source Entwicklungen und Treiber [Pri12, Mic12, SLR+ 11, GP11].

Im Folgenden zeigen wir, dass sich die vom OpenNI-Framework bestimmte Kopfposition aufgrund unpräziser Trackingdaten nur bedingt für Headtracking einsetzen lässt. Dem gegenüber zeigen wir ein neues Verfahren als Erweiterung auf, mit dem die Vorteile der Kinect gegenüber anderen Trackingansätzen erhalten bleiben (insbesondere das Vollkörpertracking), jedoch die Erkennung der Kopfposition auf einfache Weise verbessert werden kann.

3 Kinect-basierte Headtrackingverfahren

In diesem Abschnitt beschreiben wir zwei Verfahren zum Headtracking in interaktiven virtuellen Umgebungen auf Basis der Kinect: (1) die Approximation der Augenpositionen unter Abbildung 1: Illustration von Skelett-basiertem Headtracking mit OpenNI: (links) RGB-Bild der Kinect und (rechts) intern berechnetes Tiefenbild, sowie resultierendes Skelettmodell mit Position und approximierter Orientierung des Kopfes.

Verwendung des markerlosen, form-basierten Skeletttrackings des OpenNI-Frameworks. (2) ein hybrides Verfahren, welches sowohl die OpenNI-Skelettdaten als auch die nativ verfügbaren Daten der Kinect verwendet, um die Position eines aktiven IR-Markers zu bestimmen.

3.1 Skelett-basiertes Headtracking

Die Microsoft Kinect ist ein Multisensorsystem, welches unter anderem eine RGB- und IRKamera mit einer Auflösung von 640×480@30Hz (bzw. 1280×1024@15Hz) sowie einen IRProjektor beinhaltet, der strukturiertes Licht [SS03] emittiert. Die bekannte Anordnung dieser Elemente im Gehäuse der Kinect ermöglicht es, für kurze Distanzen bis ca. 3−4m, eine RGB-D Tiefenkarte für die Pixel der RGB-Kamera zu bestimmen [SJP11, KE12]. Anhand der Tiefeninformationen lassen sich verschiedene Benutzerkörper unterscheiden sowie jeweils ein vereinfachtes Skelettmodell an die Tiefenwerte annähern [Pri12, Mic12]. Obwohl sich die Skelettmodelle in den verbreitetsten SDKs von PrimeSense und Microsoft unterscheiden, haben sie gemein, dass jeweils eine Kopfposition und ihre Orientierung angenähert wird.

Im Rahmen dieser Arbeit verwenden wir das OpenNI-Framework für das Skeletttracking eines Benutzerkörpers. Dieses bietet die Möglichkeit auf alle Gelenkpositionen eines aus den Tiefendaten berechneten Ganzkörperskeletts zuzugreifen (siehe Abb. 1). Die durch das OpenNI-Framework bereitgestellten Positions- und Orientierungsdaten des Kopfes – letztere werden auf Grundlage der Orientierung des Torsos approximiert – kann zum Headtracking eingesetzt werden. Um die Position der Augen zu bestimmen, wird unter Verwendung dieser Orientierung ein experimentell ermittelter, konstanter Versatz auf die Kopfposition addiert.

Die Aktualisierung der Kopfposition und -orientierung ist, aufgrund der Spezifikationen des Kinect Sensors, auf 30 Hz beschränkt. Statt direkt auf das Skelettmodell von OpenNI zuzugreifen wird in interaktiven virtuellen Umgebungen häufig ein Proxy eingesetzt, wie z.B. das Flexible Action and Articulated Skeleton Toolkit (FAAST) [SLR+ 11], welches die berechneten Gelenkdaten von OpenNI via VRPN [THS+ 01] im Netzwerk bereitstellt.

Abbildung 2: Illustration von Marker-basiertem Headtracking mit der Kinect: RGB-Bild (links), intern berechnetes Tiefenbild (Mitte) sowie IR-Bild der Kinect (rechts). Der IRMarker erscheint als hellster Punkt im IR-Bild und führt zu einer lokalen Störung im berechneten Tiefenbild (weiße Bereiche stellen undefinierte Werte dar).

3.2 Hybrides Headtracking

Basierend auf den nativ von der Kinect zur Verfügung gestellten RGB-, IR- und TiefenBilddaten stellen wir im Folgenden einen hybriden markerbasierten Ansatz für das Headtracking mit der Kinect vor. Dieser hat das Potenzial die Qualität der detektierten Kopfposition gegenüber der Verwendung der unveränderten Kopfposition der Skelettrekonstrunktion in Abschnitt 3.1 zu verbessern. Erreicht wird dies durch die Anbringung eines aktiven kugelförmigen IR-Markers am Kopf des Benutzers (z.B. an einer Shutterbrille, siehe Abb. 2).

Der Vorteil der Verwendung eines solchen Markers ist die Unabhängigkeit von der Umgebungsbeleuchtung. Deren Ausmaß muss beispielsweise beim Einsatz von Multi-Touch-Tables gering gehalten werden, um ihre Funktionalität zu gewährleisten.

Durch das vom Marker emittierte Infrarotlicht erscheint dieser als hellster Punkt im Bild der IR-Kamera der Kinect und kann somit leicht (z.B. mit Hilfe von OpenCV [Bra00]) detektiert werden. Um die Stabilität dieser Bestimmung zu erhöhen, wird das IR-Bild in einem ersten Schritt mit morphologischen Operatoren gefiltert. Dadurch werden einzelne helle Bildpunkte abgedunkelt, welche z.B. durch das strukturierte Licht der Kinect entstehen. Anschließend wird das Zentrum des Markers im Bild bestimmt, indem der Mittelpunkt aller in der lokalen Umgebung des hellsten Pixels vorkommenden, ausreichend hellen Pixel ermittelt wird. Die in diesem Zusammenhang verwendete Mindesthelligkeit wird dynamisch, in Abhängigkeit von der Intensität des hellsten Pixels in der Suchregion bestimmt. Je nach Größe des Markers im Bild kann dessen Position so mit Subpixelgenauigkeit bestimmt werden.

Dieses Verfahren ist zunächst anfällig für helle Reflexionen im IR-Bild der Kinect, welche z.B. durch reflektierende Oberflächen hervorgerufen werden können. Mittels eines hybriden Ansatzes kann dieses Problem jedoch behoben werden: Um zusätzliche Stabilität der Detektion des Markers zu erreichen, wird dieser nicht im gesamten Kamerabild, sondern in einer rechteckigen Umgebung um die von der OpenNI-Skelettrekonstruktion ermittelten Kopfposition gesucht. Die Größe der Suchregion wird aus der Bewegungsrichtung und Geschwindigkeit des Markers zwischen den letzten beiden Bildern berechnet: Auf eine festgelegte Mindestlänge und -breite wird die letzte bekannte Geschwindigkeit des Markers in horizontaler und vertikaler Richtung aufaddiert, so dass sich die Suchregion bei Bewegungen vergrößert.

Wie in Abbildung 2 (Mitte) zu erkennen ist, sind die Werte der Tiefenkarte im Bereich des Markers undefiniert. Dies ist der Tatsache geschuldet, dass der Marker eine Störung des strukturierten Lichts verursacht. Um die Position des Markers im Raum zu bestimmen, wird zunächst das arithmetische Mittel der Werte gebildet, welche sich in der Tiefenkarte in einer 11×11 Umgebung des zuvor ermittelten Pixels befinden. Die endgültige Position wird dann aus dem so errechneten Tiefenwert und den subpixelgenauen Bildkoordinaten berechnet.

4 Evaluation



Pages:   || 2 |


Similar works:

«Multi-, hyperund telemediales Lernen – ein interdisziplinärer Studienbaustein Martin Wessner (GMD-IPSI) Cornelia Seeberg (FB 18, 20) Ralf Steinmetz (FB 18,20) Josef Rützel (FB 3) 1. Multi-, hyperund telemediales Lernen – ein wichtiges Thema für die Hochschullehre Das Lernen unter Nutzung aktueller Informationsund Kommunikationstechnologien ist ein wichtiges Thema für die Hochschullehre: • Verbunden mit der schnellen technologischen Entwicklung (insbesondere in Form des vernetzten...»

«PROOF ISSN 1322-0330 WEEKLY HANSARD Hansard Home Page: http://www.parliament.qld.gov.au/hansard/ E-mail: hansard@parliament.qld.gov.au Phone: (07) 3406 7314 Fax: (07) 3210 0182 51ST PARLIAMENT Subject Page Friday, 21 April 2006 PRIVILEGE Incorporation of Material in Hansard PRIVILEGE Comments by Deputy Premier PETITION PAPERS MINISTERIAL STATEMENT Cyclone Larry, Recovery Assistance MINISTERIAL STATEMENT Cyclone Larry, Recovery Assistance MINISTERIAL STATEMENT Australian Industry Group...»

«Urban Gardening Möglichkeiten in St.Gallen Abbildung 1: Titelbild Quelle: Eigene Zeichnung Eigene Darstellung Yasmine Zweifel Masterarbeit Pädagogische Hochschule St.Gallen Urban Gardening Möglichkeiten in St.Gallen Masterarbeit Pädagogische Hochschule St.Gallen Studentin: Yasmine Zweifel Kublystrasse 2 9016 St.Gallen yasmine.zweifel@sunrise.ch Dozent: Prof. Dr. Rolf Bürki Co-Betreuung: Prof. Dr. Patrick Kunz Abgabe: 22. August 2014 Yasmine Zweifel 2 Vorwort Gärtnern ist meine...»

«i еологические ПАМЯТНИКИ Р О С С И Й С К А Я АКАДЕМИЯ НАУК СИБИРСКОЕ ОТДЕЛЕНИЕ ИНСТИТУТ ЗЕМНОЙ КОРЫ ГЕОЛОГИЧЕСКИЕ ПАМЯТНИКИ БАЙКАЛА Ответственный редактор доктор геолого-минералогических наук М.И. Грудинин ВО НАУКА НОВОСИБИРСК http://geoschool.web.ru У Д К 55(571.53/55) Геологические п а м...»

«Performance Issues and Error Analysis in an Open-Domain Question Answering System DAN MOLDOVAN, MARIUS PASCA, SANDA HARABAGIU, and ¸ MIHAI SURDEANU Language Computer Corporation This paper presents an in-depth analysis of a state-of-the-art Question Answering system. Several scenarios are examined: (1) the performance of each module in a serial baseline system, (2) the impact of feedbacks and the insertion of a logic prover, and (3) the impact of various retrieval strategies and lexical...»

«Ryanair The Godfather of Ancillary Revenue Michael O’Leary may crystallized the concept of ancillary revenue back in 2001 when he sought to replace ticket revenue with commissions from retail activities.1 IdeaWorks begins its analysis of Ryanair with a field trip to Ryanair.com. The website is unique in the airline industry because it gives greater attention to ancillary revenue activity than to the sale of airline tickets. Michael O’Leary, CEO of Ryanair, is on a mission to make flying...»

«AVOIDING BRAND INVESTMENT TRAPS “ Companies that anticipate and avoid the common brand investment traps can enjoy superior brand value growth in good times and bad.” STATUS REPORT ON AVOIDING BRAND INVESTMENT TRAPS Why BRAND INVESTMENT Brands have become increasingly fragile and difficult to sustain TRAPS ARE WORTh Failure to invest in the right mix of activities at the right time risks WORRyING ABOUT eroding the brand Companies that anticipate and avoid the common investment traps can reap...»

«THE WORLD BANK Financial Sector Discussion Paper No. 2 A New Database on Financial Development and Structure Thorsten Beck, Aslı Demirgüç-Kunt, and Ross Levine Financial Sector Discussion Paper No. 2 A New Database on Financial Development and Structure Thorsten Beck, Aslı Demirgüç-Kunt, and Ross Levine The World Bank September 1999 s The findings, interpretations, and conclusions expressed in this paper are entirely those of the author(s) and should not be attributed in any manner to the...»

«Form DT/Company Double Taxation treaty relief APPLICATION for relief at source from United Kingdom income tax and CLAIM to repayment of United Kingdom income tax For use by a COMPANY or OTHER CONCERN resident in a country with which the United Kingdom has a double taxation treaty that provides for relief from UK income tax on interest or royalties arising in the UK. (Specific forms are available for companies resident in certain countries please see www.hmrc.gov.uk/cnr) Please · use the...»

«Press Release A unique pan-European advertising campaign to showcase the new generation of Novotel hotels Paris – October 5, 2006 — A true pioneer in the hotel industry, Novotel has always been in tune with the times. Since its founding 40 years ago, the chain has constantly evolved in line with customer expectations. Recently, the growing number of low-cost travel packages, the trend toward shorter vacations and the development of Web marketing have given birth to a new type of...»

«Save as Book De Marketing with easy. Then You can Read eBook De Marketing file for free DE MARKETING PDF Enjoy discover de marketing PDF?. So you are person who likes to download de marketing Pdf to any kind of device,whether its your laptop, Kindle or iPhone, there are more options now than ever before. Perhaps because of the growing popularity of Kindle, or competitors like The Nook, or maybe just because people want choices, it is now possible to get de marketing Pdf and any kind of Ebook...»

«Open-Access-Publikation im Sinne der CC-Lizenz BY-NC-ND Eckert. Die Schriftenreihe Studien des Georg-Eckert-Instituts zur internationalen Bildungsmedienforschung Band 128 Herausgegeben von Simone Lässig Redaktion Susanne Grindel, Roderich Henrÿ und Verena Radkau Die Reihe ist referiert. Wissenschaftlicher Beirat Konrad Jarausch (Chapel Hill/Berlin) Heidemarie Kemnitz (Braunschweig) Frank-Olaf Radtke (Frankfurt) Manfred Rolfes (Potsdam) Peter Vorderer (Amsterdam) Open-Access-Publikation im...»





 
<<  HOME   |    CONTACTS
2016 www.abstract.xlibx.info - Free e-library - Abstract, dissertation, book

Materials of this site are available for review, all rights belong to their respective owners.
If you do not agree with the fact that your material is placed on this site, please, email us, we will within 1-2 business days delete him.