Roboter lernen fühlen: Warum der Tastsinn zum nächsten Datenrennen der Robotik wird
von Roboterwelt Redaktion11. September 2026
Einen USB-Stecker einstecken, einen Schlüssel drehen, ein Ei umbetten: Für Roboterhände sind das bis heute Grenzfälle – weil ihre KI-Modelle nur sehen, aber nicht fühlen. Jetzt liefern sich Forschungsgruppen und Startups ein Wettrennen um taktile Datensätze, von 100 Stunden aus Berkeley bis zu 30.000 Stunden aus Shanghai.
Die großen Fortschritte der Robotik der letzten Jahre gehen auf sogenannte Vision-Language-Action-Modelle (VLAs) zurück: KI-Systeme, die auf riesigen Mengen an Bildern, Videos und Text vortrainiert und dann mit teleoperierten Roboter-Demonstrationen verfeinert werden. Sie falten inzwischen Wäsche, räumen Wohnzimmer auf und bedienen Küchengeräte – gesteuert allein über einen Videofeed und Sprachbefehle.
Warum Sehen nicht reicht
Sobald Fingerspitzengefühl gefragt ist, endet die Erfolgsgeschichte. Verformbare Materialien, kleine Objekte, enge Passungen – ein USB-Kabel einstecken oder einen Schlüssel im Schloss drehen – bleiben unzuverlässig. Der Grund: VLAs ignorieren eine der wichtigsten Informationsquellen, auf die sich Menschen bei genau diesen Aufgaben verlassen. Trevor Darrell, Informatikprofessor an der UC Berkeley, bringt es im Gespräch mit dem Fachmedium IEEE Spectrum auf den Punkt: Den Großteil der Feinmanipulation könnten Menschen mit geschlossenen Augen erledigen – Kraft, Rutschen und präzises Greifen ließen sich mit klassischen Bildsensoren schlicht nicht gut erfassen.
Dass taktile Sensoren trotzdem kaum genutzt werden, hat zwei Gründe: Ihre Daten sehen völlig anders aus als die Bilddaten, auf denen VLAs trainiert sind. Und es gibt schlicht viel zu wenige davon – taktile Datensätze liegen um Größenordnungen hinter den Internet-Mengen an Bild- und Textdaten zurück. Genau an diesen beiden Engpässen setzen mehrere aktuelle Projekte an.
T-Rex: Ein Tastsinn im Vier-Viertel-Takt
Darrells Team in Berkeley – unter den Autoren des zugehörigen Papers finden sich prominente Namen wie Fei-Fei Li, Pieter Abbeel, Jitendra Malik und Ken Goldberg – hat mit T-Rex einen eigenen Weg gewählt: Statt ein Modell von Grund auf mit Tastdaten zu trainieren, wird ein vortrainiertes VLA nachträglich mit einem Tastsinn ausgestattet. Grundlage sind 100 Stunden eigens gesammelter, hochwertiger taktiler Daten mit elementaren Bewegungsbausteinen – Wischen, Greifen, Drehen, Gießen – an mehr als 200 Haushaltsobjekten.
Die eigentliche Schwierigkeit lag im Timing. Taktiles Feedback nützt nur, wenn der Roboter schnell genug darauf reagieren kann – schneller, als die meisten Vision-Language-Modelle arbeiten. T-Rex löst das mit zwei getrennten Experten-Teilmodellen: Ein Action-Experte plant die Bewegung, ein Taktil-Experte, der viermal schneller läuft, korrigiert den Plan in Echtzeit anhand dessen, was der Roboter gerade fühlt.
Nach dem Feintuning mit rund 100 teleoperierten Demonstrationen erreichte das System bei zwölf anspruchsvollen Aufgaben – Glühbirne eindrehen, Zahnpasta auf die Bürste drücken, ein Ei zwischen Kartons umbetten – im Schnitt 65 Prozent Erfolgsquote und damit laut IEEE Spectrum fast das Doppelte des besten VLA-Modells. Das Paper selbst formuliert vorsichtiger: Die Erfolgsquote liege über 30 Prozent höher als bei der stärksten Vergleichsmethode.
Wie die Daten hinter T-Rex aussehen, lässt sich selbst erkunden: Das Team stellt einen interaktiven Visualizer bereit, der Kamerabild, Tastsignale und Handbewegungen einzelner Demonstrationen synchron abspielt.
Dort lassen sich 500 zufällig ausgewählte Aufnahmen aus dem Datensatz durchblättern, sortiert nach Objekt- und Bewegungstyp – zum T-Rex-Datensatz-Visualizer.
FTP-1: Ein Modell für 21 verschiedene Sensoren
Eine Schwäche räumt Darrell selbst ein: Seine Daten stammen von einer einzigen Hardware. Und genau da liegt das strukturelle Problem des Feldes. Roboterhände reichen vom Zweifinger-Greifer bis zur voll beweglichen Fünffingerhand, und Tastsensoren beruhen auf grundverschiedener Physik – manche messen Widerstandsänderungen, andere filmen die Verformung eines weichen Gel-Kissens. Die Folge: Fast jede Taktil-Forschung ist sensorspezifisch, Daten lassen sich zwischen Gruppen kaum austauschen.
Das Projekt FTP-1 – geleitet von Chengbo Yuan (Tsinghua-Universität, Peking) mit Partnern wie dem Robotikunternehmen Sharpa, der Shanghai Jiao Tong University, der UC Berkeley und der ETH Zürich – greift dieses Problem direkt an. Das Team aggregierte rund 3.000 Stunden taktiler Manipulationsdaten aus 26 öffentlich verfügbaren Quellen, die 21 verschiedene Sensortypen und diverse Roboterkörper abdecken. Vorbild war die Open-X-Embodiment-Kollaboration, die mit gepoolten Daten vieler Roboter Modelle hervorbrachte, die auf ungesehene Hardware übertragen. Der Trick von FTP-1: Alle Sensorsignale werden in ein gemeinsames Format übersetzt und auf die Schablone einer menschlichen Hand mit festen Funktionszonen abgebildet – Daumenspitze, Zeigefingerspitze, Handfläche und so weiter.
Das Ergebnis spricht für den Ansatz: Auf bekannten Sensoren verbesserte das Modell die Erfolgsquoten um 17,2 Prozent – und übertrug sein Können sogar auf zwei Sensortypen, die im Training gar nicht vorkamen, dort mit einem Plus von 31 Prozent. Yuan führt das darauf zurück, dass das Modell durch die Vielfalt der Trainingsdaten eine Art gesunden Menschenverstand des Tastens erworben habe. Als nächsten Schritt leitet er nach eigenen Angaben eine Kollaboration von 80 Institutionen, die taktile Daten nach einem standardisierten Verfahren sammeln soll.
NeoteAI: Skalierung auf 30.000 Stunden
Während die akademischen Datensätze in Hunderten bis Tausenden Stunden gemessen werden, hat die Fudan-Universität in Shanghai mit ihrem Spin-out NeoteAI bereits eine Größenordnung mehr vorgelegt: über 30.000 Stunden an Demonstrationen mit synchronisierten Bild- und Tastdaten, gesammelt mit einem proprietären Sensor an verschiedenen Roboterarmen und einem handgeführten Greifer.
Das darauf trainierte Modell reagiert nicht nur auf Berührung – es sagt auch voraus, was der Roboter fühlen müsste, und nutzt diese Erwartung, um Aktionen zu steuern und zu bewerten. Shunlin Lu, Postdoc an der Fudan-Universität und CTO von NeoteAI, wertet die Ergebnisse als klaren Beleg dafür, dass große und vielfältige Tastdaten deutliche Leistungssprünge bringen. Seine Schätzung für den Durchbruch: rund 100.000 Stunden, gesammelt in variablen Alltagsumgebungen statt im Labor. Taktile Intelligenz, so Lu, sei der nächste Schritt der physischen KI.
FELT: Fühlen ganz ohne Sensor
Einen dritten Weg zur Skalierung erprobt ein Team der University of Southern California mit Partnern der Columbia University: Statt neue Tastdaten zu sammeln, bringt ihr System FELT Robotern das Fühlen aus Bildern bei. Trainiert wurde es auf Demonstrationen alltäglicher Handgriffe, aufgenommen mit einem handgeführten Greifer, der gleichzeitig Kamerabilder und Druckdaten zweier Fingersensoren erfasst.
Das Modell lernte den Zusammenhang zwischen dem, was die Kamera beim Kontakt sieht, und dem Druck, den die Sensoren im selben Moment messen. Danach kann es aus dem Kamerabild allein plausible Tastsignale erzeugen – in einem einzigen Durchlauf und damit schnell genug für die Echtzeitsteuerung. Damit erhalten selbst Roboter ohne Tastsensoren einen rudimentären Tastsinn, der sich über vier kontaktreiche Testaufgaben als nützlich erwies. Die größere Ambition dahinter: die riesigen bereits existierenden Vision-Datensätze der Robotik nachträglich um eine Tast-Ebene anzureichern.
Dasselbe Grundproblem – zu wenige Trainingsdaten für geschickte Roboterhände – greift ein Team am MIT von der anderen Seite an: Es erzeugt die fehlenden Daten in der Simulation statt aus Kamerabildern. Wie das funktioniert, beschreibt unser Artikel über Simulation als Trainingsquelle für Fingerfertigkeit.
Der Einwand: Daten sind kein Allheilmittel
Bei aller Euphorie gibt es Gegenstimmen. Long Cheng von der Chinesischen Akademie der Wissenschaften hält rohe Datenmengen für nur die halbe Lösung: Daten seien gut – die Frage sei, wie man sie richtig nutze. Sein Argument: Kameras liefern einen kontinuierlichen Strom aus Millionen Pixeln, Tastsignale dagegen sind spärlich und treten nur in Kontaktmomenten auf. Modelle, die beides gleichzeitig verarbeiten, lernen deshalb schnell, den Tastsinn schlicht zu ignorieren.
Sein Gegenmittel, das er auf der Robotik-Konferenz IROS 2026 vorstellt: Ein Modell sagt aus dem Kamerabild voraus, was der Roboter fühlen müsste, und vergleicht die Vorhersage mit dem echten Tastsignal. Weicht beides stark voneinander ab, meldet der Sensor etwas, das der Roboter sonst übersehen würde – diese Überraschungssignale werden verstärkt, vorhersehbare gedämpft. Über fünf kontaktreiche Aufgaben erreichte der Ansatz im Schnitt 62,8 Prozent Erfolg, gegenüber 28,2 Prozent für dasselbe Modell ohne Tastsinn.
Auch Yuan mahnt zur Nüchternheit: Bislang habe das Tast-Training Roboter vor allem zu effizienteren Lernern bei Aufgaben gemacht, die ohnehin in Reichweite lagen. Für Probleme, die ohne Tastsinn wirklich unlösbar sind, könnten neue Algorithmen nötig werden.
Einordnung
Wie viel taktile Daten es für den Durchbruch bei der Feinmotorik braucht, ist offen – die Schätzungen reichen von neuen Algorithmen bis zu Lus 100.000 Stunden aus der realen Welt. Sicher ist: Das Feld durchläuft gerade denselben Wandel, den Sprach- und Bildmodelle vor Jahren erlebten – weg von handgebauten Speziallösungen, hin zu großen, standardisierten Datensätzen und Foundation-Modellen. Die ersten Belege, dass mehr Tastdaten und klügere Wege ihrer Nutzung Robotern bei den schwierigsten Aufgaben messbar helfen, liegen jetzt auf dem Tisch. Für alle, die auf Roboter warten, die mehr können als greifen und ablegen, ist das die vielleicht wichtigste Entwicklung des Jahres.
Dieselbe Verschiebung lässt sich auf der Baustelle beobachten: Auch dort sind nicht die Algorithmen der Engpass, sondern Datensätze aus echten Einsätzen, die alle Sonderfälle abdecken. Wie weit die Baurobotik damit ist, zeigt unser Artikel zum Stand der Roboter auf der Baustelle.
Häufige Fragen zum Tastsinn in der Robotik
Warum brauchen Roboter überhaupt einen Tastsinn?
Kameras erfassen weder Kraft noch Rutschen noch den genauen Kontaktzustand – genau die Informationen, auf die Menschen sich bei Feinarbeit verlassen. Aufgaben wie Stecker einstecken, Schrauben eindrehen oder verformbare Objekte handhaben scheitern deshalb oft an rein bildbasierten Systemen.
Was sind taktile Sensoren?
Sensoren, die Berührung, Druck oder Kraft messen. Die Bauformen unterscheiden sich grundlegend: Manche messen elektrische Widerstandsänderungen, andere filmen mit einer Kamera, wie sich ein weiches Gel-Kissen beim Kontakt verformt, wieder andere liefern Kraft-Drehmoment-Werte. Genau diese Vielfalt macht es so schwer, Tastdaten zwischen Systemen auszutauschen. Welche Sensortypen in der Robotik sonst noch zum Einsatz kommen und wie sie zusammenspielen, haben wir in einer Übersicht zur Sensorik moderner Roboter zusammengestellt.
Wie viele Daten braucht es für den Durchbruch?
Das ist die offene Kernfrage. Die aktuellen Datensätze reichen von 100 Stunden (T-Rex) über 3.000 Stunden (FTP-1) bis über 30.000 Stunden (NeoteAI). NeoteAI-CTO Shunlin Lu schätzt, dass etwa 100.000 Stunden aus realen Umgebungen neue Fähigkeiten freischalten könnten – andere Forscher halten neben mehr Daten auch neue Algorithmen für nötig.
Was bedeutet das für Alltags- und Haushaltsroboter?
Kurzfristig macht Tast-Training Roboter vor allem zuverlässiger bei Aufgaben, die sie im Prinzip schon beherrschen. Mittelfristig könnte es die Tür zu Tätigkeiten öffnen, die heute praktisch unmöglich sind – vom sicheren Umgang mit zerbrechlichen Gegenständen bis zur Feinmontage. Seriöse Zeitangaben dafür gibt es nicht.
Quellen
Alle Zahlen in diesem Artikel wurden am 11. September 2026 geprüft.
FTP-1-Projektseite – vortrainierte Modelle, Datensatz und Code
arXiv: FELT – Li et al.: Generating Tactile Signals from Vision (USC/Columbia, 22.07.2026)
FELT-Projektseite – Videos der vier Testaufgaben samt erzeugter Tastbilder
NeoteAI – Foundation-Report zum 30.000-Stunden-Datensatz und Demovideos des n0-twam-Modells
