Selbstlernende Regler auf Basis von Deep Reinforcement Learning Algorithmen

Die vorliegende Arbeit hat zum Ziel, Deep Reinforcement Learning Algorithmen für die Regelung industrieller Prozesse nutzbar zu machen. Dazu werden zunächst die notwendigen theoretischen Grundlagen erarbeitet und anschließend die Bandbreite der existierenden Algorithmenklassen dargestellt. Für weitere Untersuchungen wird der vielversprechende Soft Actor Critic Algorithmus verwendet und weiterentwickelt, sodass er zur Regelung realer dynamischer Systeme eingesetzt werden kann. Um die Funktionalität des Konzepts zu testen, werden sieben verschiedene Systeme vorgestellt und deren Modelle abgeleitet. Erste Tests werden an linearen Systemen durchgeführt, wobei sowohl das Führungsgrößenverhalten als auch die Störgrößenkompensation untersucht werden. Darüber hinaus wird eine Methode entwickelt, um stationäre Genauigkeit im geschlossenen Regelkreis zu gewährleisten. Anschließend erfolgt eine Validierung des Reinforcement Learning Reglers an nichtlinearen Systemen, wobei der Einfluss der Abtastzeit sowie einer Strategieglättungsregularisierung untersucht wird. Darüber hinaus werden Methoden zur Reduktion der Trainingszeit diskutiert. Im weiteren Verlauf wird eine auf Reinforcement Learning basierende Gain-Scheduling-Struktur entwickelt und ein Training am realen System auf industrieüblicher Hardware durchgeführt. Schließlich wird der entwickelte Deep Reinforcement Learning Regler zur Feuerungsleistungsregelung an einem Modell eines Müllheizkraftwerks eingesetzt. Abschließend wird eine Empfehlung gegeben, in welchen Systemen der Einsatz dieser Methoden sinnvoll erscheint.