Neural Jacobian Fields: MIT steuert Roboter mit einer einzigen Kamera

Ein Team des MIT CSAIL lässt Roboter per Video lernen, wie ihr Körper auf Steuerbefehle reagiert. Danach genügt eine einzige Kamera als Sensor – auch für weiche Roboterhände ohne eingebaute Messtechnik.

Von Roboterwelt RedaktionAktualisiert 4 Min. LesezeitQuellen: 2
KI-generierte Illustration: weißer humanoider Roboter bewegt die Hände vor einer Kamera auf einem Stativ in einem hellen Labor
Foto: KI-generiert (Roboterwelt)

Steuerung ohne Gelenksensoren

Klassische Industrieroboter sind so gebaut, dass man sie leicht berechnen kann: steife Glieder, präzise Gelenke, ein Winkelsensor in jedem Gelenk. Weiche oder aus mehreren Materialien gedruckte Roboter passen nicht in dieses Schema. Sie verformen sich, haben oft keine eingebauten Sensoren, und ihre Eigenschaften ändern sich mit der Zeit. Ein passendes mathematisches Modell von Hand zu erstellen, ist aufwendig – die Autoren beziffern die Modellierung durch Fachleute in ihrer Studie auf rund einen Monat. 

Das Team um den Doktoranden Sizhe Lester Li, Assistant Professor Vincent Sitzmann und CSAIL-Direktorin Daniela Rus geht den umgekehrten Weg. Der Roboter führt zufällige Bewegungen aus, Kameras zeichnen auf, und ein neuronales Netz leitet daraus ab, welcher Steuerkanal welchen Teil des Körpers bewegt. „Denken Sie daran, wie Sie lernen, Ihre Finger zu steuern: Sie wackeln, Sie beobachten, Sie passen sich an“, sagt Li in der Mitteilung des MIT (Übersetzung). „Genau das macht unser System.“ 

Was das Netz lernt

Grundlage ist das sogenannte Neural Radiance Field (NeRF), ein Verfahren, das aus Bildern eine dreidimensionale Szene rekonstruiert. Neural Jacobian Fields erweitern es: Neben der Form des Roboters lernt das Netz für jeden Punkt im Raum, wie er sich bei einer Änderung der Motorbefehle verschiebt. In der Robotik heißt dieser Zusammenhang Jacobi-Matrix; hier wird er nicht von Hand hergeleitet, sondern aus einem einzelnen Kamerabild geschätzt. 

Für das Training nahmen zwölf handelsübliche Tiefenkameras (Intel RealSense D415) den Roboter aus verschiedenen Blickwinkeln auf, während er zufällige Befehle ausführte. Zwei bis drei Stunden Video genügten laut Studie. Menschliche Beschriftung war nicht nötig. Im Einsatz reicht dann eine einzige Kamera; die Regelung läuft mit rund 12 Hertz. 

Vier Roboter, ein Verfahren

Getestet wurde an einer pneumatischen Hand aus dem 3D-Drucker mit 15 Druckluftkanälen, die laut Studie rund 300 US-Dollar kostet und teils auf einem UR5-Industriearm montiert war. Dazu kamen eine weiche, handgelenkartige Plattform aus sogenannten Handed Shearing Auxetics mit vier Freiheitsgraden, die kommerzielle Allegro-Hand mit 16 Freiheitsgraden und der Poppy Ergo Jr, ein quelloffener Lernroboterarm aus 3D-gedruckten Teilen mit deutlichem Getriebespiel. 

Die Messwerte aus der Studie: Bei der Allegro-Hand lag der Fehler beim vollständigen Schließen und Öffnen der Finger unter 3 Grad pro Gelenk und unter 4 Millimetern an jeder Fingerspitze. Die weiche Plattform erreichte ihr Ziel auch dann, als die Forschenden 350 Gramm Gewicht an einem Holzstab daran befestigten, mit einem Fehler von 7,3 Millimetern – ohne neues Training. Der Poppy-Arm zeichnete die Buchstaben M, I und T in die Luft, Bewegungen, die nicht in den Trainingsdaten vorkamen; der mittlere Fehler lag unter 6 Millimetern. Die Hand am UR5-Arm nahm ein Werkzeug aus einem Glas und schob damit einen Apfel. 

Bemerkenswert ist für die Autoren, dass das Netz ohne jede Vorgabe herausfand, welcher Motor welchen Finger oder welches Segment bewegt. 

Grenzen

Die Forschenden benennen die Einschränkungen selbst. Das Training braucht mehrere Kameras und muss für jeden Roboter wiederholt werden; ein Modell für viele verschiedene Roboter gibt es nicht. Kraft- und Tastsinn fehlen, was Aufgaben mit viel Kontakt erschwert. Die Studie nennt als Beispiel Laufroboter: Eine externe Kamera sieht nicht zuverlässig, ob ein Bein den Boden berührt. Zudem setzt das Verfahren langsame, quasistatische Bewegungen voraus; schnelle dynamische Effekte bildet es nicht ab. 

Als Ausblick beschreibt das MIT, dass Bastler künftig die Zufallsbewegungen ihres Roboters mit dem Smartphone filmen und daraus ein Steuerungsmodell erzeugen könnten. Das ist eine Absicht, kein Ergebnis. Quellcode und Trainingsdaten haben die Autoren öffentlich auf GitHub und Hugging Face bereitgestellt. 

Einordnung

Die Arbeit ist begutachtet und frei zugänglich erschienen; eingereicht wurde sie im Juli 2024. Finanziert wurde sie unter anderem von der US-amerikanischen National Science Foundation und dem Gwangju Institute of Science and Technology in Südkorea. Neu ist weniger die Idee, dass Roboter sich selbst beobachten, als die Allgemeinheit: Dasselbe Verfahren steuert eine starre Hand, eine weiche Plattform und einen wackeligen Bausatzarm, ohne dass jemand ein Modell des jeweiligen Roboters schreiben muss. 

Roboterwelt Redaktion

Die Angaben in diesem Artikel wurden am 3. Oktober 2026 anhand der genannten Quellen geprüft.

Mehr zu Künstliche Intelligenz

Alle 85 Beiträge
Schräge Nahaufnahme einer grünen Platine mit eingestecktem Rechenmodul, auf dessen glänzendem Chip in der Mitte der Schriftzug NVIDIA eingraviert ist, ringsum Spulen, Kondensatoren, Steckverbinder und AnschlussklemmenFirmenporträtNVIDIA nach Jensen Huang: Der Chiplieferant der KI-Welle will auch das Gehirn der Roboter liefernNVIDIA verdient sein Geld mit den Chips, auf denen die großen KI-Modelle trainiert werden: 215,9 Milliarden US-Dollar Umsatz im Geschäftsjahr 2026, davon 193,7 Milliarden mit Rechenzentren. Seit dem 12. November 2026 fehlt dem Konzern aus Santa Clara der Mann, der ihn seit der Gründung 1993 geführt hat: Mitgründer Jensen Huang ist zurückgetreten, Finanzvorständin Colette Kress führt übergangsweise und legte am 17. November einen Quartalsumsatz von 115,8 Milliarden US-Dollar vor. Für die Robotik hat NVIDIA einen zweiten Stapel aufgebaut: den Bordrechner Jetson Thor, die Simulations- und Trainingswerkzeuge Isaac und Omniverse, die Weltmodelle Cosmos und die Robotermodelle GR00T, mit denen laut NVIDIA Humanoiden-Hersteller wie Agility, Boston Dynamics, NEURA, Agile Robots und Unitree arbeiten. Dem stehen die offene Nachfolge, Kartellverfahren in China und Frankreich, Exportkontrollen, die Abhängigkeit von Auftragsfertigern und die Frage gegenüber, wie viel der Nachfrage NVIDIA selbst finanziert.20.11.2026Weißer Jaguar I-Pace mit Waymo-Schriftzug, großem Sensoraufbau auf dem Dach und Kameras an den Kotflügeln steht auf einer Straße mit gelber Doppellinie. Im Hintergrund ein Bauzaun mit Graffiti, die Hochhäuser von San Francisco mit dem Salesforce Tower und ein Baukran unter blauem Himmel.AnalyseRobotaxis: Kalifornien verbannt Waymo von der Autobahn, Uber startet in MünchenKalifornien untersagt Waymo nach Fahrten in Autobahnbaustellen den fahrerlosen Betrieb auf Autobahnen. In München fahren Uber und Momenta seit dem 18. November mit Fahrgästen, kostenlos und mit Sicherheitskraft an Bord.19.11.2026Der rote vierbeinige Laufroboter ANYmal geht auf einem Schotterweg über eine Almwiese, vor ihm laufen zwei Kühe, links liegt ein See unter steilen grünen Felshängen; dazu der Schriftzug „We took our Robot Hiking“, „Seealpsee · Swiss Alps“ und „2.4 km lake loop · ROAM“VideoANYmal wandert um den Seealpsee: Laufroboter navigiert mit KIEin Laufroboter auf Bergtour: Das Robotic Systems Lab der ETH Zürich zeigt, wie ANYmal mit dem System ROAM an Kühen und Wanderern vorbei einen Alpensee umrundet.19.11.2026Humanoider Roboter von vorn vor weißem Hintergrund, vom Kopf bis zu den Oberschenkeln: ein Gerüst aus Metallrohren mit Kabelsträngen und schwarzen Gelenkantrieben, im Brustkorb ein blau leuchtender Lüfter, als Kopf ein Sensormodul mit mehreren Kameralinsen, an den Armen GreifhändeAnalyseFiktion und Wirklichkeit: Terminator – was autonome Waffen heute könnenIm Kino übernimmt Skynet die Welt und schickt den T-800 auf Menschenjagd. Echte Waffen sind davon weit entfernt, doch manche wählen ihre Ziele heute schon selbst. Was Loitering Munition und Drohnenschwärme können, was „human in the loop“ bedeutet und worüber die Staaten in Genf beraten.17.11.2026