Masterarbeit: Optimierung von IL-Policies durch Reinforcement Learning

Summary: This master's thesis involves optimizing imitation learning policies for humanoid robots using reinforcement learning. The candidate will analyze RL methods, model tasks in NVIDIA Isaac Sim, implement training pipelines, and evaluate policy improvements in simulation and potentially real-world settings.

Wie das Engineering der Zukunft aussieht, erforschen wir am Fraunhofer IEM in Paderborn – gemeinsam mit starken Partnern und viel Leidenschaft für Technik. Unsere Teams entwickeln Lösungen, die wirklich in die Anwendung kommen: von smarten Produkten über vernetzte Produktionssysteme bis hin zu digitalen Services und moderner Software. Dabei denken wir Innovation vom ersten Konzept bis zur Umsetzung. Und genau hier kommst Du ins Spiel!

In der Abteilung Industrial Automation untersuchst Du, wie sich durch Imitation Learning erlernte Manipulationsstrategien humanoider Roboter mithilfe von Reinforcement Learning verbessern lassen.

Hier sorgst Du für Veränderung

• Analyse und Auswahl geeigneter RL-Verfahren zur Nachoptimierung von IL-Policies mit dem Ziel, Erfolgsrate und Robustheit zu verbessern.
• Modellierung der Manipulationsaufgabe und Roboterplattform in NVIDIA Isaac Sim/Isaac Lab sowie Evaluation der bestehenden, mit realen Daten trainierten IL-Policy. Bei Bedarf Anpassung oder Training einer Simulationspolicy unter Einbeziehung realer und zusätzlicher simulierter Demonstrationen.
• Implementierung einer modularen RL-Trainingspipeline zur Verbesserung der IL-Ausgangspolicy in der Simulation, einschließlich Definition der Belohnungsfunktion und Erfolgskriterien sowie Dokumentation von Trainingsablauf und Rechenzeit.
• Vergleich der Ausgangspolicy mit der verbesserten Policy in der Simulation anhand von Erfolgsrate, Fehlerbehandlung und Bewegungsqualität. Untersuchung der Übertragbarkeit auf denselben realen Roboter für dieselbe Aufgabe. Ergänzende Realversuche nach Abstimmung mit dem Betreuer, sofern Hardware verfügbar ist und die technischen Voraussetzungen für einen sicheren Betrieb erfüllt sind.
• Vergleich der Ausgangspolicy mit der verbesserten Policy in der Simulation anhand von Erfolgsrate, Fehlerbehandlung und Bewegungsqualität. Untersuchung der Übertragbarkeit auf denselben realen Roboter für dieselbe Aufgabe. Ergänzende Realversuche nach Abstimmung mit dem Betreuer, sofern Hardware verfügbar ist und die technischen Voraussetzungen für einen sicheren Betrieb erfüllt sind.

Hiermit bringst Du Dich ein

• Du befindest dich in einem Masterstudium der Informatik, Robotik, Automatisierungstechnik, Elektrotechnik oder einen vergleichbaren Studiengang.
• Du besitzt gute Programmierkenntnisse in Python.
• Du verfügst über Grundkenntnisse in maschinellem Lernen und Reinforcement Learning.
• Du zeichnest dich durch eine selbstständige und strukturierte Arbeitsweise sowie Interesse an experimenteller Forschung aus .

Was wir für Dich bereithalten

• Du erhältst spannende Einblicke in aktuelle Forschungsprojekte mit hoher gesellschaftlicher Relevanz im Bereich Automatisierung und lernst, wie wissenschaftliche Erkenntnisse in die Praxis umgesetzt werden.
• Dich erwartet ein interdisziplinäres und engagiertes Team, in dem Eigeninitiative geschätzt und Dir viel Gestaltungsspielraum geboten wird.
• Dank flexibler Arbeitszeiten kannst du Deine Tätigkeit optimal mit Deinem Studium vereinbaren und wertvolle Praxiserfahrungen sammeln.
• Du hast die Möglichkeit, eigene Ideen einzubringen und an der Schnittstelle zwischen Forschung und Industrie aktiv mitzuwirken.
• Bei dieser Position handelt es sich um eine unbezahlte Tätigkeit.

Wir wertschätzen und fördern die Vielfalt der Kompetenzen unserer Mitarbeitenden und begrüßen daher alle Bewerbungen – unabhängig von Alter, Geschlecht, Nationalität, ethnischer und sozialer Herkunft, Religion, Weltanschauung, Behinderung sowie sexueller Orientierung und Identität. Schwerbehinderte Menschen werden bei gleicher Eignung bevorzugt eingestellt. Unsere Aufgaben sind vielfältig und anpassbar – für Bewerber\*innen mit Behinderung finden wir gemeinsam Lösungen, die ihre Fähigkeiten optimal fördern.

Mit ihrer Fokussierung auf zukunftsrelevante Schlüsseltechnologien sowie auf die Verwertung der Ergebnisse in Wirtschaft und Industrie spielt die Fraunhofer-Gesellschaft eine zentrale Rolle im Innovationsprozess. Als Wegweiser und Impulsgeber für innovative Entwicklungen und wissenschaftliche Exzellenz wirkt sie mit an der Gestaltung unserer Gesellschaft und unserer Zukunft.

Bereit für Veränderung? Dann bewirb Dich jetzt, und mach einen Unterschied! Nach Eingang Deiner Online-Bewerbung erhältst Du eine automatische Empfangsbestätigung. Dann melden wir uns schnellstmöglich und sagen Dir, wie es weitergeht.

Fragen zu dieser Position beantwortet Dir gerne:

Fachliche Fragen beantwortet Dir gerne: Für Fragen rund um den Bewerbungsprozess steht Dir zur Verfügung:

Herr Kevin Salataj Herr Fatih Ufuk

📧 kevin.salataj@iem.fraunhofer.de 📧 fatih.ufuk@iem.fraunhofer.de

📞+49 5251 5465-163 📞+49 5251 5465-142

Fraunhofer-Institut für Entwurfstechnik Mechatronik IEM

<a href="http://www.iem.fraunhofer.de<input id="tor\_\_fcustInstituteLinkRMK" type='hidden' value='27309' >" target="\_blank" rel="noopener">www.iem.fraunhofer.de

Kennziffer: 86041 Bewerbungsfrist:

[In der ausgewählten Sprache nicht übersetzt]