Die Möglichkeiten, die sich beim Einsatz von Robotern bieten, werden immer umfangreicher und auch spektakulärer. Ein Punkt bleibt dabei aber wesentlich: Ohne menschliches Zutun vor oder während des Einsatzes wären Roboter nur recht teure Briefbeschwerer. Mit der Schnittstelle zwischen Mensch und Maschine und vor allem der benutzertauglichen Interaktion mit der Technik befasst sich Eduardo Veas vom Institute of Interactive Systems and Data Science der TU Graz. Human-Centered Computing nennt sich sein Forschungsbereich und wie der Name schon verrät, geht es darum, die Bedürfnisse der Anwender*innen beim Einsatz von Mensch-Computer-Systemen in den Mittelpunkt zu stellen.
„Wir haben etwa den Bereich Telepräsenz und Teleoperation. Dabei dient der Roboter als Avatar für eine Person. Die Bezeichnung Avatar beschreibt in diesem Zusammenhang nicht den Zweck, dass die Person als Roboter wahrgenommen wird, sondern sie soll durch den Roboter mit der Umgebung interagieren können“, erklärt Eduardo Veas. Das kann unterschiedliche Anwendungsbereiche betreffen, etwa die Bedienung und Wartung von Maschinen in gefährlichen Umgebungen oder die Erkundung von ungesicherten Stollen. Dafür muss der Roboter Sensordaten der Umgebung sammeln und so agieren, wie der Mensch es vorsieht. Dies kann durch direkte Bedienung oder auch autonom geschehen, wobei die Umsetzung der Autonomie für Eduardo Veas und sein Team in diesem Forschungsbereich nicht der zentrale Aspekt ist. Für sie steht die Präsentation der gesammelten Informationen und die Interaktion mit der Maschine mittels Virtual Reality im Mittelpunkt.
Per VR-Brille mit dem Roboter im Minenstollen
Gemeinsam mit der Montanuniversität Leoben arbeitet Eduardo Veas derzeit etwa an einem Projekt, bei dem ein Roboter einen Minenstollen mittels zahlreicher Kameras und Sensoren erkundet. Dabei soll er nicht nur die Umgebung erfassen und in Virtual Reality abbilden, sondern auch erkennen, ob sich Gase in dem Stollen befinden, bevor Menschen sich dorthin bewegen. „Gerade in so einer Umgebung gibt es viele Herausforderungen, in die Forschungsarbeit investiert werden muss. In diesem realen Szenario gibt es kein Licht, keinen Strom und zunächst auch keine Kommunikation. Die beste Strategie für den Aufbau der passenden Infrastruktur ist Gegenstand der Forschung. Unsere Arbeit konzentriert sich auf die Visualisierung von rekonstruierten Sensordaten. Aber auch die Rekonstruktion der Umgebung und die Interaktion in VR müssen erst noch weiter erforscht werden, damit sie wunschgemäß funktionieren. Es muss ein großes Team zusammenarbeiten, damit all diese Probleme gelöst werden können“, sagt Eduardo Veas.
An erster Stelle steht dabei die Interaktion mit dem Roboter, da damit alles weitere steht und fällt. Erst wenn diese reibungslos funktioniert, wird es auch möglich sein, die Umgebung ohne Probleme mittels VR mitzuverfolgen. Denn wenn die Bewegungen des Roboters nicht mit der Ausgabe in der VR-Brille zusammenpassen, wird das für die Träger*in zu einer unerfreulichen Angelegenheit, da sie sich fühlen, als wären sie seekrank. Ist das gemeistert, kann die Umgebungserkennung verbessert werden, um so über den Roboter ein möglichst realistisches Abbild der Umgebung und der vorherrschenden Bedingungen zu erhalten.
Steuern mit der Sprache
Um in der Interaktion mit der Maschine noch einen Schritt weiter zu gehen, arbeiten die Forschenden auch daran, die Steuerung mittels Spracheingabe umzusetzen. Speziell bei guter Umgebungserkennung ließe sich der Roboter dann genauer auf bestimmte Punkte hinsteuern, etwa einen Fleck auf dem Boden oder einen Punkt an der Wand. Vorerst hat das Team dafür auf eine Verbindung zu ChatGPT zurückgegriffen. Der Roboter empfängt über ein Speech-to-Text-Modul die Anweisung oder eine Frage, sendet den Text an ChatGPT, wo die Anweisung robotergerecht konvertiert oder eine Antwort formuliert wird, und letztendlich setzt der Roboter die Anweisung um oder gibt über ein Text-to-Speech-Modul die Antwort aus.
„Gerade das Umsetzen spezifischer Anweisungen in Bezug auf die Umgebung setzt voraus, dass der Roboter die Umgebung auch entsprechend wahrnehmen kann. Ohne die Wahrnehmung gibt es nur einfache Anweisungen, wie: gehe fünf Meter nach vorne oder dreh dich um ein paar Grad. Ist die Umgebungswahrnehmung gut, kann man dem Roboter sagen, er soll auf den Gesteinsbrocken zugehen, den roten Fleck an der Wand ansehen oder in die Felsnische hineingehen“, sagt Eduardo Veas. Um die Roboter diesbezüglich unabhängig zu machen, wird ChatGPT in einem nächsten Schritt gegen ein Sprachmodell ausgetauscht, das lokal läuft. Dann kann er für den Menschen sehen, hören, sprechen und sich in gefährliche Umgebungen wagen, während die Nutzerin oder der Nutzer sicher per VR-Brille zusieht und Anweisungen einspricht.
Dieses Forschungsprojekt ist im Field of Expertise „Information, Communication & Computing“ verankert, einem von fünf strategischen Schwerpunktfeldern der TU Graz.
Mehr Forschungsnews finden Sie auf Planet research. Monatliche Updates aus der Welt der Wissenschaft an der TU Graz erhalten Sie über den Forschungsnewsletter TU Graz research monthly.
