Steuerung ohne Gelenksensoren
Klassische Industrieroboter sind so gebaut, dass man sie leicht berechnen kann: steife Glieder, präzise Gelenke, ein Winkelsensor in jedem Gelenk. Weiche oder aus mehreren Materialien gedruckte Roboter passen nicht in dieses Schema. Sie verformen sich, haben oft keine eingebauten Sensoren, und ihre Eigenschaften ändern sich mit der Zeit. Ein passendes mathematisches Modell von Hand zu erstellen, ist aufwendig – die Autoren beziffern die Modellierung durch Fachleute in ihrer Studie auf rund einen Monat.
Das Team um den Doktoranden Sizhe Lester Li, Assistant Professor Vincent Sitzmann und CSAIL-Direktorin Daniela Rus geht den umgekehrten Weg. Der Roboter führt zufällige Bewegungen aus, Kameras zeichnen auf, und ein neuronales Netz leitet daraus ab, welcher Steuerkanal welchen Teil des Körpers bewegt. „Denken Sie daran, wie Sie lernen, Ihre Finger zu steuern: Sie wackeln, Sie beobachten, Sie passen sich an“, sagt Li in der Mitteilung des MIT (Übersetzung). „Genau das macht unser System.“
Was das Netz lernt
Grundlage ist das sogenannte Neural Radiance Field (NeRF), ein Verfahren, das aus Bildern eine dreidimensionale Szene rekonstruiert. Neural Jacobian Fields erweitern es: Neben der Form des Roboters lernt das Netz für jeden Punkt im Raum, wie er sich bei einer Änderung der Motorbefehle verschiebt. In der Robotik heißt dieser Zusammenhang Jacobi-Matrix; hier wird er nicht von Hand hergeleitet, sondern aus einem einzelnen Kamerabild geschätzt.
Für das Training nahmen zwölf handelsübliche Tiefenkameras (Intel RealSense D415) den Roboter aus verschiedenen Blickwinkeln auf, während er zufällige Befehle ausführte. Zwei bis drei Stunden Video genügten laut Studie. Menschliche Beschriftung war nicht nötig. Im Einsatz reicht dann eine einzige Kamera; die Regelung läuft mit rund 12 Hertz.
Vier Roboter, ein Verfahren
Getestet wurde an einer pneumatischen Hand aus dem 3D-Drucker mit 15 Druckluftkanälen, die laut Studie rund 300 US-Dollar kostet und teils auf einem UR5-Industriearm montiert war. Dazu kamen eine weiche, handgelenkartige Plattform aus sogenannten Handed Shearing Auxetics mit vier Freiheitsgraden, die kommerzielle Allegro-Hand mit 16 Freiheitsgraden und der Poppy Ergo Jr, ein quelloffener Lernroboterarm aus 3D-gedruckten Teilen mit deutlichem Getriebespiel.
Die Messwerte aus der Studie: Bei der Allegro-Hand lag der Fehler beim vollständigen Schließen und Öffnen der Finger unter 3 Grad pro Gelenk und unter 4 Millimetern an jeder Fingerspitze. Die weiche Plattform erreichte ihr Ziel auch dann, als die Forschenden 350 Gramm Gewicht an einem Holzstab daran befestigten, mit einem Fehler von 7,3 Millimetern – ohne neues Training. Der Poppy-Arm zeichnete die Buchstaben M, I und T in die Luft, Bewegungen, die nicht in den Trainingsdaten vorkamen; der mittlere Fehler lag unter 6 Millimetern. Die Hand am UR5-Arm nahm ein Werkzeug aus einem Glas und schob damit einen Apfel.
Bemerkenswert ist für die Autoren, dass das Netz ohne jede Vorgabe herausfand, welcher Motor welchen Finger oder welches Segment bewegt.
Grenzen
Die Forschenden benennen die Einschränkungen selbst. Das Training braucht mehrere Kameras und muss für jeden Roboter wiederholt werden; ein Modell für viele verschiedene Roboter gibt es nicht. Kraft- und Tastsinn fehlen, was Aufgaben mit viel Kontakt erschwert. Die Studie nennt als Beispiel Laufroboter: Eine externe Kamera sieht nicht zuverlässig, ob ein Bein den Boden berührt. Zudem setzt das Verfahren langsame, quasistatische Bewegungen voraus; schnelle dynamische Effekte bildet es nicht ab.
Als Ausblick beschreibt das MIT, dass Bastler künftig die Zufallsbewegungen ihres Roboters mit dem Smartphone filmen und daraus ein Steuerungsmodell erzeugen könnten. Das ist eine Absicht, kein Ergebnis. Quellcode und Trainingsdaten haben die Autoren öffentlich auf GitHub und Hugging Face bereitgestellt.
Einordnung
Die Arbeit ist begutachtet und frei zugänglich erschienen; eingereicht wurde sie im Juli 2024. Finanziert wurde sie unter anderem von der US-amerikanischen National Science Foundation und dem Gwangju Institute of Science and Technology in Südkorea. Neu ist weniger die Idee, dass Roboter sich selbst beobachten, als die Allgemeinheit: Dasselbe Verfahren steuert eine starre Hand, eine weiche Plattform und einen wackeligen Bausatzarm, ohne dass jemand ein Modell des jeweiligen Roboters schreiben muss.
Quellen
Aktualisiert : Auf Basis der Primärquellen neu gefasst Erstveröffentlichung: .

Die Angaben in diesem Artikel wurden am 3. Oktober 2026 anhand der genannten Quellen geprüft.
Mehr zu Künstliche Intelligenz




