Einleitung
Um die Fähigkeiten des EduExo Pro als Bildungs- und Forschungsplattform zu testen, führte Auxivo in Zusammenarbeit mit der FGHR (Fachhochschule Graubünden) ein Innovationsprojekt durch, um einen Prototyp für ein Exoskelett-basiertes Virtual-Reality (VR)-Gaming-Erlebnis zu entwickeln, das neue Wege zur Nutzung von Exoskeletten als Steuerungs- und haptische Schnittstellen zur virtuellen Welt von Videospielen erprobt.
Im Rahmen dieses Projekts entwickelten und bauten vier Studenten unter der Leitung von Prof. Christian Bermes über zwei Semester hinweg einen voll funktionsfähigen Prototyp einer solchen Plattform.
Das erste Projekt, das von einem Team aus drei Ingenieurstudenten als Bachelor-Projekt durchgeführt wurde, konzentrierte sich auf die Entwicklung des Gesamtaufbaus, der EduExo-Integration und der allgemeinen Software- und Spielarchitektur. Das zweite Projekt, das von einem Bachelor-Studenten durchgeführt wurde, konzentrierte sich auf die Entwicklung eines umfangreicheren Spiels und die Integration einer 3D-Brille für ein maximales Immersionserlebnis.
Der daraus resultierende Prototyp umfasst zwei EduExo Pros, die mit zusätzlichen Geräten und Bildschirmen integriert wurden, um einen Arcadespielautomaten auf Exoskelettbasis zu schaffen. Das folgende Video gibt Ihnen einen kurzen Überblick über den fertigen Prototyp:
Hardware Setup
Für den Aufbau wurden die folgenden Komponenten verwendet:
Zwei EduExo Pro, um die Armbewegungen des Benutzers zu erfassen und haptisches Feedback zu geben.
Ein Rennpedalset für zusätzliche Eingaben mit den Füssen.
Zwei Handknöpfe als zusätzliche Eingabegeräte . Dabei handelte es sich um einfache Druckknöpfe, die in einen 3D-gedruckten Griff integriert und mit einer der offenen Schnittstellen des EduExo Pro verbunden wurden.
Ein PC, auf dem die Spiele laufen.
Ein Bildschirm zur Anzeige der Spiele.
Ein Rahmen aus Aluminiumprofilen, der alles miteinander verbindet. Dieser Rahmen ermöglicht auch eine gewisse Grössenanpassung, z. B. für die Position der Exoskelette, des Stuhls oder des Monitors.
Optional: Ein Virtual-Reality-Display. Wir haben das Meta Quest 3-Headset verwendet.
Damit Benutzer einen Avatar im Spiel mit zwei EduExo Pro-Geräten steuern können, wurden die Exoskelette mit dem PC-Spiel verbunden. Diese Verbindung ermöglichte den Austausch von Steuereingaben zwischen den Exoskeletten, dem Spiel und den integrierten Sensoren.
Es wurde eine angepasste EduExo Pro-Steuerungssoftware entwickelt, die es dem Exoskelett ermöglicht, Steuereingaben von einer externen Quelle zu empfangen. In diesem Fall ermöglicht die Software den Spielen, haptisches Feedback basierend auf den Interaktionen des Spielers mit der virtuellen Welt zu geben.
Um die Armbewegungen des Spielers detaillierter zu erfassen, wurde ein zusätzlicher Winkelsensor (Potentiometer) in das Schultergelenk des Exoskeletts integriert, der neben den Ellbogenbewegungen auch die Messung der Schulterbewegungen ermöglicht.
Zu den weiteren Sensoren, die mit dem EduExo Pro verfügbar sind, aber im Prototyp noch nicht verwendet wurden, gehören ein IMU-Bewegungssensor im Oberarm zur Erfassung detaillierter Oberarmbewegungen und die EMG-Muskelaktivitätssensoren des EduExo Pro. Diese EMG-Sensoren könnten zur direkten Steuerung von Spielelementen verwendet werden, indem sie die Muskelanspannung und -entspannung des Spielers erkennen, wodurch ein einzigartiges Spielerlebnis ermöglicht wird.
Spiele
Für die Spieleentwicklung wurde Unreal Engine 5 ausgewählt. Dabei handelt es sich um eine moderne Spiel-Engine, die für die Erstellung einer Vielzahl von Spielen bestens geeignet ist. Da das Tutorial im EduExo-Handbuch die Unity 3D-Spiel-Engine verwendet, wollte das Team dieses Projekt nutzen, um die Kompatibilität der EduExo Pro-Hardware mit der Unreal Engine zu testen.
Der Unreal Engine Editor wurde verwendet, um die Spielwelten und -ebenen zu entwerfen. Die Einbindung zusätzlicher Elemente aus dem Unreal Marketplace erwies sich als effiziente Möglichkeit, visuell ansprechende Umgebungen zu schaffen.
Es wurden verschiedene Spielkonzepte diskutiert und ausprobiert, wobei der Fokus auf zentralen Überlegungen wie der sinnvollen Integration der Steuerung durch Arm-Exoskelette lag. Die Konzepte legten den Schwerpunkt auf die intuitive Steuerung eines Spiel-Avatars durch die Erfassung der Armbewegungen des Spielers mit dem Exoskelett und im Idealfall auf die Bereitstellung haptischer Rückmeldungen an den Spieler durch die Ansteuerung des Exoskeletts. Das Unreal Engine Blueprint-System wurde zur Implementierung der Spielelogik verwendet und bot eine praktikable Alternative zum Schreiben von Quellcode in C++.
Erstes Spiel: Exoskelett-basiertes Beer Pong
Im ersten Projekt wurde ein Spiel im Stil von „Beer Pong“ entwickelt, bei dem der Spieler einen Ball in Becher werfen muss. Die Bewegungen eines virtuellen Arms wurden mithilfe des Exoskeletts kontrolliert. Da es sich um einen ersten Prototyp handelte, der in erster Linie dazu diente, die technische Integration des EduExo Pro mit einem in Unreal Engine erstellten Spiel zu testen, waren Interaktion und Immersion recht begrenzt, aber ausreichend, um die Machbarkeit zu demonstrieren
Zweites Spiel: Exoskelett Sci-Fi-Erkundung
Im zweiten Spiel steuert der Spieler einen virtuellen Charakter, der ein Exoskelett mit einem Greifmodul am linken Arm zum Bewegen von Kisten und einer im rechten Arm integrierten Waffe zum Schießen auf Ziele trägt. Der Student wählte eine von den Avatar-Filmen inspirierte Dschungelumgebung als Spielkulisse
Die Spieler steuern die Bewegungen der Exoskelett-Arme im Spiel, indem sie ihre Armbewegungen im realen Exoskelett bewegen. Mit einem Handdruckknopf auf jeder Seite können die Spieler entweder den Greifer aktivieren, um Objekte aufzunehmen, oder die Waffe abfeuern. Um das Eintauchen in das Spiel zu verbessern, wurde ein haptisches Feedback in Form von Motorbewegungen implementiert, das den Rückstoss der Waffe beim Abfeuern simuliert.
Die Spieler steuern die Bewegung im Spiel mithilfe der Rennpedale. Punkte werden vergeben, wenn Ziele mit der Waffe getroffen oder Pakete zwischen bestimmten Abhol- und Abgabestellen transportiert werden. Das Endergebnis berücksichtigt auch die Zeit, die benötigt wird, um das Level abzuschliessen, was eine zusätzliche Herausforderung darstellt.
VR - Display Integration
Um das Eintauchen in die virtuelle Welt noch weiter zu intensivieren, wurde ein Meta Quest 3-Headset hinzugefügt. Die Handsteuerungen des Quest ersetzten auch die selbstgebauten Handdruckknöpfe und Rennpedale und vereinfachten so die Steuerung sowohl der Armbewegungen als auch der Gesamtbewegung des Spielers im Spiel.
Die zusätzliche VR-Integration in Kombination mit dem Tragen von Arm-Exoskeletten für die Interaktion mit der Spielumgebung sorgte für ein einzigartiges und spannendes Erlebnis.
Zusammenfassung und Fazit
Dieses Projekt erwies sich als spannendes Experiment, bei dem neue Ideen und Technologien für die Entwicklung einer einzigartigen Exoskelett-Forschungsplattform getestet wurden. Viele Aspekte funktionierten gut und boten den Spielern ein unterhaltsames Erlebnis. In bestimmten Bereichen, wie der Integration zusätzlicher Sensoren, besteht jedoch noch weiterer Entwicklungsbedarf
Bei der Entwicklung von Spielen für diese Plattform ist es wichtig, das (momentane) Fehlen von Bein-Exoskeletten zu berücksichtigen, was die Möglichkeit, natürliche Beinbewegungen darzustellen, einschränkt. Folglich sind die intuitivsten und immersivsten Erfahrungen wahrscheinlich Cockpit-basierte Spiele, bei denen die Spieler ein mit Roboterarmen ausgestattetes Fahrzeug steuern. Stellen Sie sich einen Roboter auf Rädern vor, der einen Planeten säubert, ein U-Boot zur Tiefseeerkundung steuert, Piratenschätze sammelt, ein Raumschiff fliegt und Asteroiden abbaut, oder ähnliche kreative Szenarien.
Wenn Sie daran interessiert sind, ein solches Projekt im Rahmen Ihrer Forschung oder als Studentenprojekt durchzuführen, ist das EduExo Pro Exoskelett ein hervorragender Ausgangspunkt. Es bietet eine vielseitige und anpassungsfähige Hardware-Plattform, um Projekte mit wenig Aufwand zu beginnen.
Wichtiger Hinweis: Dies ist kein kommerziell erhältliches Produkt. Der in diesem Artikel beschriebene Hardwareaufbau ist nicht käuflich zu erwerben und wir können keine technische Dokumentation oder Handbücher bereitstellen, die über die hier veröffentlichten Details hinausgehen. Dies war ein reines Forschungsprojekt, das von mehreren Studenten durchgeführt wurde, und wir haben uns dafür entschieden, es zu teilen, in der Hoffnung, andere zu inspirieren, ähnliche Ideen zu verfolgen.
Weiterführende Informationen