PhysicsGen: Aus 24 VR-Vorführungen werden Tausende Robotertrajektorien

Das Datenproblem der Robotik

Sprachmodelle lernen aus Texten, die das Internet in riesiger Menge liefert. Für Roboter, die Gegenstände greifen, drehen und umsetzen sollen, gibt es keinen vergleichbaren Vorrat. Die Autoren der Studie halten fest, dass vorhandene Robotik-Datensätze um Größenordnungen kleiner sind als die Trainingsdaten von Sprachmodellen. Gute Daten entstehen meist, indem ein Mensch den Roboter fernsteuert. Das ist teuer, braucht spezielle Hardware und muss für jeden Robotertyp neu gemacht werden. Videos aus dem Netz gibt es reichlich, sie zeigen aber keine Bewegungen, die ein bestimmter Roboter direkt nachahmen könnte. 

Hier setzt PhysicsGen an, entwickelt am Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT und am Robotics and AI Institute. Erstautorin ist die damalige MIT-Doktorandin Lujie Yang, Seniorautor ist Russ Tedrake, Professor für Elektrotechnik und Informatik, Luft- und Raumfahrt sowie Maschinenbau am MIT. 

Vormachen in VR, verfeinern in der Simulation

Im ersten Schritt führt ein Mensch die Aufgabe mit den eigenen Händen vor. Eine Apple Vision Pro verfolgt dabei die Handbewegungen und überträgt sie in den Physiksimulator Drake, der die Berührungen zwischen Fingern und Objekt berechnet. Laut Studie dauerte es etwa sieben Minuten, 24 längere Vorführungen pro Robotersystem aufzunehmen. Für die Doppelarm-Aufgabe drehte die Person mit zwei Zeigefingern einen kleinen Würfel; das System skalierte Finger und Würfel anschließend auf zwei Roboterarme und eine große Kiste hoch. 

Im zweiten Schritt überträgt PhysicsGen die Handbewegungen auf den Körperbau des jeweiligen Roboters. Im dritten Schritt berechnet eine Trajektorienoptimierung Bewegungen, die unter echten physikalischen Bedingungen funktionieren, und zwar für viele Varianten: andere Objektgrößen, Massen, Reibungswerte und Startpositionen. Aus einer einzigen Vorführung entstehen so rund 100 verschiedene, physikalisch machbare Abläufe. 

Wie wichtig dieser Schritt ist, zeigt ein Vergleich in der Studie. Spielt man die übertragenen Handbewegungen ohne Optimierung einfach ab, gelingt die Aufgabe je nach Roboter nur in 4 bis 6 von 24 Fällen. Nach der Optimierung waren von jeweils 3000 Versuchen zwischen 2164 und 2462 erfolgreich. Getestet wurde mit drei Systemen: einer frei schwebenden Allegro-Roboterhand mit vier Fingern, zwei Kuka-LBR-iiwa-Armen und zwei Franka-Emika-Panda-Armen. 

Ergebnisse in Simulation und Labor

Mit den erzeugten Daten trainierten die Forschenden sogenannte Diffusion Policies, ein Verfahren des Imitationslernens. Die Allegro-Hand sollte einen Würfel durch mehrfaches Rollen und Drehen in eine Zielposition bringen. Mit nur den 24 Originalvorführungen gelang das in 10 von 48 Durchgängen (21 Prozent), mit den erzeugten Daten in bis zu 39 von 48 (81 Prozent). Bei den iiwa-Armen stieg die Quote in der Simulation von 56 auf 92 Prozent, bei den Panda-Armen von 29 auf 87,5 Prozent. 

Das MIT selbst beschreibt die Verbesserung für die Armpaare in seiner Pressemitteilung mit „bis zu 30 Prozent“. Das passt nicht zu den Tabellen der Studie, die Zuwächse von 36 und 58,5 Prozentpunkten ausweisen. Die oben genannten Werte stammen aus dem Paper. 

Auf echter Hardware mussten zwei iiwa-Arme eine 30 Zentimeter große Kiste auf einem Tisch in eine Zielposition kippen. Die Steuerung wurde ohne weiteres Nachtrainieren direkt übertragen. Die nur mit Originalvorführungen trainierte Version schaffte 6 von 23 Versuchen (26 Prozent), die mit 500 erzeugten Abläufen trainierte 17 von 23 (74 Prozent), die mit 1000 Abläufen 16 von 23 (70 Prozent). Die Roboter fingen dabei Fehler ab, etwa indem ein Arm die Kiste fester hielt, wenn sie verrutschte. Fehlschläge gingen unter anderem darauf zurück, dass die Kollisionsgeometrie der Arme im Modell fehlte. 

„Schon eine einzige Vorführung durch einen Menschen kann das Problem der Bewegungsplanung erheblich erleichtern“, sagt Russ Tedrake (Übersetzung). 

Grenzen und Ausblick

Die Autoren nennen selbst drei Einschränkungen. Menschliche Vorführungen nutzen nicht alle Fähigkeiten eines Roboters, etwa endlos drehbare Gelenke. Weit außerhalb der vorgeführten Situationen, zum Beispiel nach einem schweren Fehler, finden die trainierten Steuerungen kaum zurück. Und bislang arbeiten sie mit exakt bekannten Objektpositionen, im Laborversuch geliefert von einem Motion-Capture-System, nicht mit Kamerabildern. Laut MIT funktioniert der Ansatz bisher vor allem für starre Gegenstände; weiche Objekte wie Obst oder verformbare wie Ton lassen sich noch nicht gut simulieren. 

Als nächste Schritte nennt das Team Verstärkungslernen, Internetvideos als Ausgangsmaterial und das Übertragen auf neue Aufgaben. „Wir würden PhysicsGen gern nutzen, um einem Roboter das Eingießen von Wasser beizubringen, wenn er bisher nur darauf trainiert wurde, Geschirr wegzuräumen“, sagt Lujie Yang (Übersetzung). 

Gefördert wurde die Arbeit vom Robotics and AI Institute und von Amazon. Lujie Yang hat ihre Promotion am MIT inzwischen abgeschlossen und arbeitet laut ihrer Website bei Amazon Frontier AI & Robotics. Den Programmcode hat das Team bis Oktober 2026 nicht veröffentlicht; die Projektseite kündigt ihn weiterhin als „Coming Soon“ an.