Kamera statt EMG: Transformer-Modell steuert Knie-Exoskelett

Das Problem mit den Muskelsensoren

Viele Exoskelette, die sich nach der Absicht ihres Trägers richten sollen, lesen dafür die elektrische Muskelaktivität ab, die Elektromyografie (EMG). Die Elektroden müssen für jede Person und an jedem Tag neu angelegt und kalibriert werden. Jun-ichiro Furukawa und Jun Morimoto vom RIKEN Guardian Robot Project in der Präfektur Kyoto halten das im Alltag für unpraktikabel und sehen darin einen Grund, warum EMG-gesteuerte Systeme bisher vor allem in Reha-Einrichtungen laufen. Ihr Ansatz kommt ohne Sensoren auf der Haut aus. Die Studie erschien am 11. Juni 2025 in der Fachzeitschrift npj Robotics. 

Was das System sieht und misst

Das Exoskelett unterstützt nur die Kniegelenke. Der Rahmen besteht aus Kohlefaser und wiegt pro Bein etwa 810 Gramm. Angetrieben wird jedes Knie von einem pneumatischen künstlichen Muskel des Herstellers Festo, der über einen Seilzug ein Drehmoment erzeugt. 

Als Eingaben dienen drei Quellen: eine RGB-Kamera an einer Brille, die die Umgebung aus Sicht des Trägers aufnimmt, ein Inertialsensor am Rumpf und Potentiometer in den Kniegelenken. Ein vortrainiertes Bildnetz (ResNet18) verdichtet das Kamerabild auf zehn Merkmale, die zusammen mit Winkeln und Geschwindigkeiten von Knie und Rumpf in ein Transformer-Modell gehen. Das Modell sagt 50-mal pro Sekunde voraus, ob das Knie gerade Hilfe braucht. Es kennt nur zwei Befehle: „active“ mit vollem Luftdruck von 0,7 Megapascal oder „free“ ohne Druck, sodass sich das Knie ungehindert bewegt. 

Trainiert wurde das Modell mit Daten, die ein Proband selbst gelabelt hat. Er hielt in jeder Hand einen Knopf und drückte ihn immer dann, wenn er Unterstützung wollte – beim Aufrichten aus der Hocke und beim Hochsteigen auf eine 25 Zentimeter hohe Stufe. Beim Gehen sollte das Exoskelett nichts tun. 

Ergebnisse: weniger Muskelarbeit, auch bei einem zweiten Probanden

Im Test absolvierten zwei gesunde Männer, 37 und 60 Jahre alt, je drei Minuten lang einen Parcours aus 30 Kniebeugen, bei denen sie einen Gegenstand vom Boden aufhoben, und 30 Stufenaufstiegen. Gemessen wurde die Aktivität von drei Oberschenkelmuskeln pro Bein, einmal mit dem gesteuerten Exoskelett und einmal ohne. Bei beiden Probanden lag die integrierte Muskelaktivität mit Exoskelett signifikant niedriger. Der zweite Proband hatte keine Trainingsdaten geliefert, das Modell lief bei ihm ohne Nachtraining. Auch der Anstieg der Herzfrequenz fiel mit Unterstützung meist geringer aus. Eine Ausnahme war die erste Hälfte des Durchgangs beim zweiten Probanden. 

Die Erkennung des Unterstützungsbedarfs erreichte einen F-Score von 0,95. Drei Vergleichsverfahren, die EMG-Signale statt Kamerabilder nutzten, kamen auf 0,91, 0,92 und 0,78. Ohne das vortrainierte Bildnetz fiel der Wert auf 0,75. 

Die Grenzen

Die Studie umfasst zwei Personen, beide ohne Bewegungseinschränkungen. Menschen mit Gangstörungen, für die solche Geräte gedacht sind, wurden nicht getestet. Die Autoren nennen das selbst als nächsten Schritt. 

Das Modell hängt stark am Bild. Bei Gegenständen mit neuer Form und Farbe blieb die Erkennung gut (F-Score 0,92 und 0,87). Bei zwei neuen Stufen brach sie auf 0,42 und 0,088 ein. Mit 40 Sekunden zusätzlicher Trainingsdaten stieg der Wert für beide Stufen wieder auf 0,95. Ein Modell, das nur mit diesen 40 Sekunden von Grund auf trainiert wurde, erreichte 0,71 und 0,61. 

Offen ist nach Angaben der Autoren auch, wie das System bei schlechtem Licht oder verdeckter Sicht arbeitet. Als weitere Schwäche nennen sie, dass die Entscheidungen des Transformers schwer nachvollziehbar sind. 

Was die Forscher sagen

Furukawa, korrespondierender Autor der Studie, sagt in der RIKEN-Pressemitteilung: „Diese Ergebnisse öffnen neue Türen für künftige Anwendungen tragbarer Roboter in Bereichen wie Gesundheitswesen, Rehabilitation und Altenpflege“ (Übersetzung). Morimoto betont die Übertragbarkeit: „Durch den Einsatz transformerbasierter KI passt sich unser System nicht nur an den körperlichen Zustand und die Umgebung des aktuellen Nutzers an, sondern zeigt auch Potenzial für eine verallgemeinerte Unterstützung über verschiedene Nutzer hinweg“ (Übersetzung).