Soft Tissue Robotics

Maschinelles Lernen und Policy Optimierung für die Handhabung weicher Materialien mit Industrierobotern

Projektförderung

Projektpartner

Hintergrund

Bei der Handhabung von weichen Materialien, beispielsweise von Kabeln, kommen die Standard-Steuerungs- und Regelungskonzepte an ihre Grenzen. Die zusätzlichen Freiheitsgrade durch das weiche Materialverhalten führen zu einem unteraktuierten System. Der Roboter kann das Material somit nur indirekt beeinflussen.
Modellbasierte Steuerungen sind auf genaue, schnell lösbare Modelle angewiesen, welche oft nicht vorhanden sind. Anstatt inverse Modelle zu suchen, um darauf die Planung und Steuerung zu basieren, kann direkt durch Trial-and-Error nach dem optimalen Verhalten gesucht werden.
Solche modellfreie Ansätze suchen mit Methoden des Maschinellen Lernens direkt nach einem optimalen Mapping von Eingangssignalen auf Steuersignale.

Abb.1: Visualisierung der Robotersimulation mit integriertem Modell eines Kabels. Die Simulation besteht aus der Steuerung, einem Roboter-Kinematikmodell und einem Mehrkörpermodells des Kabel.

Ziele

Es soll eine Umgebung entworfen werden, um Maschinelles Lernen und Policy-Optimierung für die Handhabung weicher Materialien mit Indus-
trierobotern einsetzbar zu machen. Die Umgebung ist Grundlage für das Erreichen der weiteren Ziele:

  • Erlernen von Handhabungsstrategien für Anwendungen mit flexiblen Objekten auf Basis eines anfangs definierten Endzustandes des flexiblen Objektes
  • Automatische Optimierung der Handhabungsstrategien auf Basis der in der Ausführung gewonnen Erfahrungen
Abb.2: Modellfreie Steuerungslösung zur Handhabung von weichen Objekten. Die Planung der Bewegung wird durch die Ausführung der Bewegung und dem resultierenden Feedback durch Lernansätze optimiert. Der Lernansatz optimiert bezüglich eines anfangs definierten Endzustands des weichen Objektes.

Lösungsansatz

Reinforcement Learning beschreibt eine Klasse von Problemen, welchen eine Vielzahl von Methoden des Maschinellen Lernens als Lösung gegenüberstehen. Dabei erlernt ein Agent durch Interaktion mit seiner Umgebung eine Strategie durch den Versuch eine Belohnung zu maximieren.
Die meisten Lösungsmethoden des Reinforcement Learning sind modellfrei, d.h. es wird ein direktes Mapping vom aktuellen Zustand zu der möglichst optimalen Aktion gesucht.
Der Lösungsansatz besteht darin, die steuerungstechnische Problemstellung der Handhabung von weichen Objekten, als Reinforcement Learning Problem zu definieren. Dadurch steht eine Vielzahl an interessanten Lösungsmethoden zur Verfügung wie in ABB.3 zu sehen ist. Die Steuerung wird dabei zum Teil in die Lernumgebung integriert, sodass die Lern-Algorithmen möglichst ohne Anpassung verwendet werden können. Der Agent hat somit einen Aktionsraum, welcher durch direkte Ausführung von Steuerungsfunktionen definiert ist.

Abb.3: Die sehr industriell geprägte Software-in-the-Loop Simulationsumgebung wird erweitert um als Standard-Reinforcement Learning Environment nutzbar zu werden. Dadurch stehen eine Vielzahl hoch performanter Lösungsverfahren des Reinforcement Learning Problems zur Verfügung.

Erwartete Ergebnisse

  • Simulationsumgebung zur Verknüpfung von Hardware-in-the-Loop-Simulationen mit weichen Objekten
  • Methode zur Programmierung von Industrierobotern für die Handhabung von weichen Objekten nur durch die Vorgabe eines Endzustands
  • Automatisiertes Suchen und Optimieren der Handhabungsstrategie mit zugehörigem Steuerungsprogramm durch Reinforcement Learning
  • Präzises Handhaben von weichen Objekten mit möglichst wenigen Trial-and-Error-Durchläufen

Ihr Ansprechpartner

Zum Seitenanfang