Es klingt ein bisschen nach einem futuristischen Cyborg, was die TU Graz-PhD-Anwärter Okan Erat und Alexander Isop gerade entwickeln: quasi den menschlichen Körper mit dem einer Drohne zu verbinden. In ihrer Forschungsarbeit „Drone-Augmented Human Vision: Exocentric Control for Drones Exploring Hidden Areas“, die gerade im Journal „IEEE Transactions on Visualization and Computer Graphics“ veröffentlicht wurde, stellen sie das dazugehörige Konzept vor, mit dem sie vor allem Rettungseinsätze einfacher und für die menschlichen Rettenden ungefährlicher machen möchten. „Die Rettenden müssen oft ein sehr hohes Risiko eingehen, wenn sie zum Beispiel in einem eingestürzten Gebäude die Gefahrenzonen nicht kennen“, erklärt Okan Erat.
Die Publikation „Drone-Augmented Human Vision: Exocentric Control for Drones Exploring Hidden Areas“ ist kürzlich im Journal „IEEE Transactions on Visualization and Computer Graphic“ erschienen und kann online eingesehen werden.
Ungefährlicher Einsatz in Gefahrensituationen
Das neu entwickelte System sieht vor, zuallererst Drohnen in die Gefahrenzone zu schicken, die die Situation erkunden. „Das gibt es natürlich auch jetzt schon. Unser Konzept geht aber einen Schritt weiter: In engen und mit Hindernissen gespickten Räumen ist die Navigation einer Drohne mittels Joystick oder Ähnlichem sehr schwer und erfordert einige Übung. Zusätzlich ist es gar nicht möglich, eine Drohne zu steuern, die sich außer Sichtweite des oder der Steuernden befindet“, erklärt Okan Erat. Um das Sichtproblem zu lösen, wird nun mit dem von der Drohnenkamera aufgenommenen Bildmaterial ein virtuelles Abbild der tatsächlichen Umgebung erzeugt, worin die Userin oder der User mittels Virtual Reality-Brille – in diesem Fall eine handelsübliche HoloLens – eintauchen kann.
Das Versuchs-Setup: eine HoloLens im Vordergrund und die eigens gebaute Drohne im Hintergrund.
Die HoloLense macht es auch möglich, dass die jeweilige Kopfhaltung der Userin oder des Users an die Drohne übertragen wird und diese so flexibel die Blickrichtung anpassen kann. Zusätzlich kann die Drohne in diesem Setup mittels Körperbewegungen gesteuert werden – so als ob der eigene Körper mit der Drohne verschmolzen wäre. „Das ist die natürlichste Art der Steuerung, am einfachsten zu lernen und am schnellsten umzusetzen“, erzählen die Forscher. „Die Drohne sendet nicht einfach ein Videobild zurück, das erst am Computer angesehen und analysiert werden muss. Die Expertinnen und Experten können über das Headset direkt in die Umgebung eintauchen und die Drohne intuitiv durch sie hindurchsteuern.“
In einem Demonstrationsvideo auf YouTube zeigen die beiden jungen Forscher, wie das Drohnensystem im „droneSpace“ der TU Graz funktioniert.
Virtuelle oder erweiterte Realität
In ihren Laborversuchen haben die Forscher das gesamte Sichtfeld der Versuchsperson ausgeblendet und sie so komplett in ein virtuelles Abbild der Welt eintauchen lassen. Eine andere Möglichkeit wäre es, dass sich die Nutzenden halbtransparent Zusatzinformationen über die Realität einblenden lassen. „Das ist, als ob ich durch eine Wand schauen kann – quasi ein Röntgenblick“, erläutert Okan Erat.
Ein denkbares Szenario: Eine Wand muss durchbrochen werden, um einen Zugang zu eingeschlossenen Personen zu schaffen. Für die Rettenden ist dabei nicht klar, ob sich auf der anderen Seite der Wand etwa gefährliche Tanks oder elektrische Leitungen befinden. Mit Hilfe der Drohnenbilder können aber genau diese Gefahrenquellen über ein Headset direkt ins Sichtfeld der Bohrenden projiziert werden und diese wissen, an welcher Stelle gefahrlos ein Durchgang geschaffen werden kann.
Die Drohne wurde an der TU Graz im „droneSpace“, einem Drohnenlabor in der Grazer Inffeldgasse, im Rahmen des Projekts „UFO – Users Flying Organizer“ entwickelt, das sich mit autonomen Drohnen-Flugsystemen für Innenbereiche auseinandersetzt. „Die Drohne wurde speziell für das Fliegen in engen Innenräumen und für die Interaktion zwischen Mensch und Maschine konzipiert. Sie ist daher sehr leicht, die Propeller sind aus weichem Material und die Motoren haben eine vergleichsweise geringe Leistung“, erklärt Alexander Isop, der den Prototypen designt und das entsprechende Framework für das autonome Flugsystem entwickelt hat. Er bietet zusammen mit Friedrich Fraundorfer im „droneSpace“ Lehrveranstaltungen für interessierte Studierende an.
Die Drohne wurde im droneSpace der TU Graz eigens entwickelt.
Zukunftsvisionen
Die derzeit für die Forschung genutzten Drohnen sind realtiv groß – die Visionen für die Zukunft sind aber eher klein. Sehr klein, um genau zu sein: „Ich stelle mir zum Beispiel vor, dass die Drohnen irgendwann so klein wie Fliegen sind. Sie können dann im Schwarm ausgesendet werden und wesentlich umfassendere Bilder der Gefahrenzone senden. Und sie können an vielen verschiedenen Stellen gleichzeitig arbeiten“, erklärt Erat. Denn auch das ist eine Neuentwicklung der TU Graz-Forscher: Der User oder die Userin kann einfach zwischen mehreren Drohnen und damit mehreren Blickwinkeln wechseln und sich so zum Beispiel schnell in unterschiedliche Räume begeben, um die Situation ganzheitlich einschätzen zu können.
Bei der Steuerung der Drohne gibt es ebenfalls noch viel Raum für neue Ideen: „Die Entwicklung geht in die Richtung, dass der User immer einfachere und natürlichere Steuer-Befehle geben können soll, wie Sprachkommandos oder Gesten. Die Drohne hingegen muss in der Lage sein, immer komplexere Aufgaben selbstständig zu lösen. Zusätzlich ist auch wichtig, dass die Userin oder der User immer über den Status der Drohne Bescheid weiß – quasi, was die Drohne gerade denkt. Diese Interaktion zwischen Mensch und Maschine stellt für mich auch in Zukunft ein sehr interessantes Thema dar,“ ergänzt Isop. Ein Beispiel wäre, dass die Drohne durch einen einfachen Sprachbefehl selbstständig durch enge Passagen navigieren oder verschüttete Personen suchen und erkennen kann.
Auch in der Visualisierung will man sich weiterentwickeln: „Ich werde mich nun auf die Visualisierung und Textualisierung konzentrieren. Momentan ist es nur möglich, den aktuellen Bildausschnitt zu visualisieren. Aber ich möchte eine Art Gedächtnis schaffen, das dann zumindest für einen bestimmten Zeitraum auch noch mehr vom Raum erkennen lässt, damit man ihn so rekonstruieren kann“, erklärt Erat. Aber das ist nur der erste Schritt: „Wir möchten schlussendlich die Drohne so smart wie möglich machen. Sie soll schlussendlich selbst wissen, was die Userin oder der User von ihr möchte. Das ist das Big Picture“, schmunzelt der Wissenschafter.
Dieses Forschungsgebiet ist im FoE „Information, Communication & Computing“ verankert, einem der fünf Stärkefelder der TU Graz.
Mehr Forschungsnews aus diesen Bereichen finden Sie auf Planet research.
