Verteidigung der Diplomarbeit

Transkript

1 Fakultät Informatik Institut für Angewandte Informatik, Lehrstuhl Technische Informationssysteme Verteidigung der Diplomarbeit Entwurf eines Prozessregelungssystems auf der Basis von Künstlichen Neuronalen Netzen (KNN) und Schaffung einer Test-, Auswertungs- und Visualisierungs-Umgebung für die Analyse von Regelungssystemen Denis Stein Dresden, 22. Januar 2007

2 Gliederung des Vortrags Motivation und Einordnung Regelungstechnische Grundlagen Künstliche neuronale Netze Virtuelle Sensoren Plasma-Beschichtungsprozess und Anforderungen an dessen Regelung Untersuchungen Zusammenfassung und Ausblick TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 2 von 40

3 Gliederung des Vortrags Motivation und Einordnung Regelungstechnische Grundlagen Künstliche neuronale Netze Virtuelle Sensoren Plasma-Beschichtungsprozess und Anforderungen an dessen Regelung Untersuchungen Zusammenfassung und Ausblick TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 3 von 40

4 Anwendungsbeispiel Plasma-Beschichtungsprozess Aufgabe: Erzeugung einer konstanten Schichtdicke (z. B. dünner Korrosionsschutz auf Karosserieteilen) erst 210 Sekunden nach Beschichtung Messung der entstandenen Schichtdicke möglich Totzeitverhalten Reaktion auf Nachstellungen auch frühestens nach diesem Zeitintervall sichtbar über längeren Zeitraum qualitativ schlechtere Erzeugnisse Signalverlauf Eingangssignal Zeit in Sekunden 1 Ausgangssignal 0.8 Signalverlauf Zeit in Sekunden TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 4 von 40

5 Einordnung der Diplomarbeit (Bisherige) Untersuchungen Hauptseminar: Totzeitregelungen allgemein Großer Beleg: Regelung eines vereinfachten Modells des Plasma-Beschichtungsprozesses mittels P I-, P ID-Reglern und SMITH-Prädiktoren Diplomarbeit: Einsatz eines virtuellen Sensors auf Basis künstlicher neuronaler Netze und Vergleich mit SMITH-Prädiktoren Interdisziplinärer Charakter bessere Lösung von regelungstechnischen Problemstellungen (P I-Regler, Totzeit etc.) durch verbesserte Messtechnik (virtueller Sensor) mit Methoden der künstlichen Intelligenz (Vorhersage mit Hilfe von künstlichen neuronalen Netzen) TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 5 von 40

6 Gliederung des Vortrags Motivation und Einordnung Regelungstechnische Grundlagen Künstliche neuronale Netze Virtuelle Sensoren Plasma-Beschichtungsprozess und Anforderungen an dessen Regelung Untersuchungen Zusammenfassung und Ausblick TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 6 von 40

7 Totzeitsysteme (T t -Systeme) Beschreibung Zeitintervall T t, nach dessen Ablauf eine Ausgangsgröße eines Übertragungsgliedes auf eine Eingangsgrößenänderung zu reagieren beginnt (Mann et al., vgl. [MSF03, S. 420]) Informationsverzug Signalverlauf Eingangssignal Zeit in Sekunden Ausgangssignal Zeitbereich: y(t) = x(t T t) Übertragungsfunktion im Bildbereich der LAPLACE- Transformation: G(s) = e s T t weiteres Übertragungsverhalten möglich Signalverlauf Zeit in Sekunden TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 7 von 40

8 Regelung Standardregelkreis mit Einheitsrückführung gezielte Beeinflussung des Verhaltens der (festen) Strecke durch Rückkopplung und (variablen) Regler Bezeichner: w(t) Führungsgröße e(t) Regelabweichung y(t) Stellgröße x(t) Regelgröße v(t) und u(t) Streckeneingangs- bzw. -ausgangssignal z 1 (t) und z 2 (t) Störgrößen TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 8 von 40

9 Häufig verwendete Regler für totzeitbehaftete Prozesse I P I-Regler Spezialfall des P ID-Reglers (ohne Differenzialanteil) im Gegensatz zum SMITH-Prädiktor nicht vordergründig zur Regelung totzeitbehafteter Strecken Übertragungsfunktion: G(s) = K R Parameter T n s SMITH-Prädiktor besitzt explizites Modell der Strecke: G M (s) = G M,1 (s) e s T t,m 5 Parameter: 3 im Streckenmodell und 2 im P I-Regler bei Einstellung nach Hägglund 3 Parameter (vgl. [Häg96]) bei exaktem Streckenmodell wirkt Totzeit nur noch als Zeitverzug des Streckenausgangs TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 9 von 40

10 Häufig verwendete Regler für totzeitbehaftete Prozesse II Aufbau des SMITH-Prädiktors TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 10 von 40

11 Gliederung des Vortrags Motivation und Einordnung Regelungstechnische Grundlagen Künstliche neuronale Netze Virtuelle Sensoren Plasma-Beschichtungsprozess und Anforderungen an dessen Regelung Untersuchungen Zusammenfassung und Ausblick TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 11 von 40

12 Künstliche neuronale Netze Beschreibung Abkürzung: KNN basieren auf den Erkenntnissen der Hirnforschung meist jedoch nicht viele Gemeinsamkeiten mit den biologischen Vorbildern sind datengesteuerte Modelle und erlernen Zusammenhänge aus Beispielen Einsatz insbesondere, wenn Formalisierung schwierig oder nicht möglich Leistungsfähigkeit entsteht durch die Zusammenschaltung vieler, parallel arbeitender Neuronen (Nervenzellen) Verallgemeinerung des Wissens möglich (Generalisierung) TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 12 von 40

13 Künstliches Neuron Aufbau eines künstlichen Neurons Bestandteile: beliebige Anzahl von Eingängen x = `x 1... x n T 1 Ausgang y Gewichte w T = `w 1... w n Bias b Beispiele für Neuronen: y = w T x + b (lineare Aktivierungsfunktion) y = tanh `w T x + b (Aktivierungsfunktion Tangens hyperbolicus) TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 13 von 40

14 Netzwerkarchitekturen I Schichten Eingangsschicht: Bereitstellung externer Eingangssignale ohne Neuronen nicht als Schicht mitgezählt Ausgangsschicht: Bereitstellung der Ausgangssignale verdeckte Schichten ( hidden layers ): alle dazwischenliegenden Schichten (sofern vorhanden) Richtung des Signalflusses rückgekoppelte Netze ( recurrent neural networks (RNN)): Rückkopplungen von Ausgangssignalen einer Schicht an die Eingänge derselben oder einer davorliegenden Schicht vorwärtsgerichtete Netze ( feed forward neural networks (FNN)): keine Rückkopplungen TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 14 von 40

15 Netzwerkarchitekturen II Zeitabhängigkeit statische Netze: Ausgangswert hängt nur von aktuellen Eingangswerten ab dynamische Netze: Ausgangswert hängt nicht nur von aktuellen Eingangswerten ab Signale mit Zeitindex k IN TDLs ( tapped delay lines ) stellen neben aktuellem Eingangswert eine gewisse Anzahl von vorherigen Eingangswerten zur Verfügung Beispiel: TDL mit 3 echten Verzögerungen 4 Eingangswerte TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 15 von 40

16 Netzwerkarchitekturen III Beispiel: 2-schichtiges vorwärtsgerichtetes statisches KNN mit 2 Eingängen TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 16 von 40

17 Training und Lernen I Einteilung der Lernverfahren überwachte bestärkende unüberwachte Überwachte Lernverfahren neben Eingangsdaten auch gewünschte Ausgangsdaten bekannt Anpassung der Gewichte durch Minimierung der Abweichung zwischen erzielten und gewünschten Ausgangsdaten oft Backpropagation Gradientenabstieg TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 17 von 40

18 Training und Lernen II Leistungsfähigkeit durch KNNs mit mindestens 1 verdeckten Schicht und Aktivierungsfunktion wie Tangens hyperbolicus Approximation kontinuierlicher Funktionen in beliebiger Genauigkeit möglich mit 2 hidden layers höhere Genauigkeit und meist weniger Neuronen nachgebildete Funktion unter anderem abhängig von Netzwerkarchitektur, Gewichten und Training ( offline-lernen ) nur wenig über optimale Konfiguration bekannt Probieren oder gezielte Veränderung eines KNNs Wissen im Netz schwierig interpretierbar TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 18 von 40

19 Training und Lernen III Probleme Unteranpassung: KNN zu schwach für Zusammenhang Überanpassung: kleiner Fehler auf Trainingsdaten aber schlechte Generalisierung 10 8 Trainingspaare Sollverlauf Näherung als Polynom 1. Ordnung Näherung als Polynom 2. Ordnung Näherung als Polynom 8. Ordnung 6 g(p) p TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 19 von 40

20 Gliederung des Vortrags Motivation und Einordnung Regelungstechnische Grundlagen Künstliche neuronale Netze Virtuelle Sensoren Plasma-Beschichtungsprozess und Anforderungen an dessen Regelung Untersuchungen Zusammenfassung und Ausblick TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 20 von 40

21 Virtuelle Sensoren Beschreibung Abkürzung: VS nicht-traditioneller Sensor ermittelt aus Signalen von physischen Sensoren (sekundäre Signale) Schätzungen ungemessener, aufwändig oder nur sporadisch online-messbarer Prozessgrößen (primäre Signale) Voraussetzung: genaue Sensoren viele weitere Bezeichnungen: z. B. inferential sensor oder soft sensor Realisierungsmöglichkeiten Verfahren ähnlich Reglerentwurf: modellbasiert datengesteuert (z. B. KNNs) TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 21 von 40

22 Entwurf virtueller Sensoren Phasen (insbesondere für KNNs) 1. Datenerfassung und -aufbereitung 2. Bestimmung der Modellstruktur 3. Bestimmung der Lernparameter und Durchführung des Trainings 4. Validierung 5. gegebenenfalls erneute Iteration, sonst Ende TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 22 von 40

23 Verwendung virtueller Sensoren VS als Sensor Ersatz temporärer installierter, unzuverlässiger oder zu teurer Sensoren z. B. in Raffinerien zur Schätzung von Oktanzahlen VS in der Regelung Schätzung der Regelgröße aus anderen Prozessgrößen einfachere Regler Einsatz auch bei totzeitbehafteten Prozessen zur Schätzung des aktuellen Regelgrößenwerts Reglerentwurf für totzeitfreie Strecke TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 23 von 40

24 Gliederung des Vortrags Motivation und Einordnung Regelungstechnische Grundlagen Künstliche neuronale Netze Virtuelle Sensoren Plasma-Beschichtungsprozess und Anforderungen an dessen Regelung Untersuchungen Zusammenfassung und Ausblick TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 24 von 40

25 Plasma-Beschichtungsprozess Beschreibung (korrigierte) Messdaten aus Versuchen zum Training von KNNs: Elektronenstrahlleistung N E Schichtdicke h (Totzeit T t zu N E 210 Sekunden) Temperatur T B SIMULINK-Modell für die Simulation der Strecke und als Modell im SMITH-Prädiktor 50 N E in kw Zeit in Sekunden h in µm Zeit in Sekunden 400 T B in C Zeit in Sekunden TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 25 von 40

26 Anforderungen und Gütekriterien Anforderungen Schwerpunkt liegt auf Eignungsprüfung von virtuellen Sensoren und Vergleich mit bisherigen Lösungen keine zu strengen Anforderungen betrachtete Anforderungen: Stabilität des Regelkreises BIBO-Stabilität ( bounded input bounded output ) gutes Führungsverhalten MSE ( mean squared error ) Ausregelung von Störungen MSE Gütekriterien BIBO-stabil, wenn bei endlicher Anregung am Eingang endliches Ausgangssignal MSE = 1 n np 2 x Soll (i) x Ist (i) mit: i=1 Sollverlauf x Soll Istverlauf x Ist Anzahl der Messwerte n TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 26 von 40

27 Gliederung des Vortrags Motivation und Einordnung Regelungstechnische Grundlagen Künstliche neuronale Netze Virtuelle Sensoren Plasma-Beschichtungsprozess und Anforderungen an dessen Regelung Untersuchungen Zusammenfassung und Ausblick TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 27 von 40

28 Simulationsumgebung und Untersuchungen Simulationsumgebung MATLAB R2007a (Version 7.4) SIMULINK (Version 6.6) Neural Network Toolbox (Version 5.0.2) Dokumentations- und/oder Implementationsfehler Untersuchungsziele Ermittlung geeigneter KNNs für den Einsatz als virtueller Sensor: Bestimmung von Anforderungen Auswahl geeigneter Netzwerkarchitekturen Training Eignungstest Einsatz ausgewählter KNNs als virtueller Sensor im Regelkreis Prüfung der Anwendbarkeit der KNNs auf ähnliche Problemstellung TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 28 von 40

29 Ermittlung geeigneter KNNs für den Einsatz als virtueller Sensor I Anforderungen in Kurzform Approximation eines komplexen, vermutlich nichtlinearen, zeitlichen Zusammenhangs (Funktionsapproximation) keine Mustererkennungs- oder Klassifikationsaufgabe Ausgewählte Netzwerkarchitekturen lineare Filter (dynamische) FNNs FTDNNs ( focused time-delay neural networks ) dynamische FNNs NARX-Netze ( nonlinear autoregressive networks with exogenous inputs ) dynamische RNNs TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 29 von 40

30 Ermittlung geeigneter KNNs für den Einsatz als virtueller Sensor II Aufbau eines 2-schichtigen FTDNNs mit 2 Eingängen und 1 Verzögerung TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 30 von 40

31 Ermittlung geeigneter KNNs für den Einsatz als virtueller Sensor III Aufbau eines 2-schichtigen NARX-Netzes mit 1 Eingang und 1 Verzögerung TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 31 von 40

32 Ermittlung geeigneter KNNs für den Einsatz als virtueller Sensor IV Untersuchungen 1.5 x Netzwerkarchitekturen 4 Eingangsignalkombinationen: Elektronenstrahlleistung optional Schichtdicke und/oder Temperatur 1 bis 3 Schichten bis zu 150 Verzögerungen MSE Trainingsdaten MSE Testdaten Anzahl Verzögerungen in TDL MSE Validierungsdaten MSE alle Daten Anzahl Verzögerungen in TDL Anzahl Verzögerungen in TDL Anzahl Verzögerungen in TDL TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 32 von 40

33 Ermittlung geeigneter KNNs für den Einsatz als virtueller Sensor V Auswertung MATLAB-Skripte wählen interessante Netze anhand des MSEs aus von untersuchten Netzen nur 17 wirklich gut lineare Filter ungeeignet 2-schichtige Netze meist besser als 1-schichtige 3-schichtige Netze meist schlechter als 1- oder 2-schichtige NARX-Netze benötigen weniger Gewichte als FTDNNs für gleichen Fehler NARX-Netze oft schlechter als FTDNNs mit gleicher Anzahl Schichten FTDNNs und NARX-Netze mit bis zu 50 Gewichten können den Datensatz mit Sprüngen, zufälligen Experimenten und leicht ansteigendem Verlauf gut nachbilden und verallgemeinern TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 33 von 40

34 Einsatz ausgewählter KNNs als virtueller Sensor im Regelkreis Untersuchungen 1 FTDNN und 4 NARX-Netze (andere abhängig von Eingangssignal Temperatur) 10 Testsignale (Nachbildung des Datensatzes, Störungen etc.) Vergleich mit SMITH-Prädiktor Ist (x) Soll (w) Schätzung (^x) Auswertung NARX-Netze schnell instabil SMITH-Prädiktor überlegen, da exaktes Modell und passender Regler kleinster auch bester VS Signalverläufe Zeit in Sekunden TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 34 von 40

35 Gliederung des Vortrags Motivation und Einordnung Regelungstechnische Grundlagen Künstliche neuronale Netze Virtuelle Sensoren Plasma-Beschichtungsprozess und Anforderungen an dessen Regelung Untersuchungen Zusammenfassung und Ausblick TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 35 von 40

36 Zusammenfassung der Diplomarbeit Erkenntnisse und Ergebnisse KNNs erlernen Zusammenhänge aus Beispielen ohne explizites Modell virtuelle Sensoren schätzen aus anderen Daten nicht, nur schwierig oder nur sporadisch messbare Prozessgrößen virtuelle Sensoren im Regelkreis einsetzbar, um Informationsverlust durch Totzeit zu minimieren vorwärtsgerichtete Netze (FTDNNs) mit weniger als 20 Gewichten als virtuelle Sensoren für Plasma-Beschichtungsprozess geeignet rückgekoppelte Netze wie NARX-Netze ermöglichten keine Verbesserung beste Netze auch auf ähnlichem Datensatz mit guten Ergebnissen allgemein für Problemstellung geeignet MATLAB und Dokumentation nicht fehlerfrei Entwicklung eines Prototyps einer MATLAB-basierten Test-, Auswertungsund Visualisierungs-Umgebung (TAVU) TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 36 von 40

37 Ausblick Weitere Untersuchungen und Erweiterungen Überarbeitung des virtuellen Sensors: Test anderer Netzwerkarchitekturen (z. B. RBF-Netze ( radial basis function )) Verwendung eines größeren Trainingsdatensatzes Einsatz anderer Lernverfahren, Gütekriterien etc. Start mit verschiedenen Initialisierungen der Gewichte Überarbeitung des Regelkreises: Optimierung der Parameter des P I-Reglers Verwendung des Signals Temperatur für den virtuellen Sensor Test von model predictive control als Alternative Weiterentwicklung TAVU: Erweiterung auf mehrere Tests Entwicklung einer grafischen Oberfläche TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 37 von 40

38 Ende Danke für Ihre Aufmerksamkeit! TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 38 von 40

39 Ende Danke für Ihre Aufmerksamkeit! Und nun besteht noch etwas Zeit, um Fragen zu stellen... TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 38 von 40

40 Literaturverzeichnis I Demuth, H. ; Beale, M. ; Hagan, M. ; The MathWorks (Hrsg.): Neural Network Toolbox 5: User s Guide. Natick: The MathWorks, März http: // Dokumentation für Neural Network Toolbox in MATLAB R2007a, Stand: Demuth, H. ; Beale, M. ; Hagan, M. ; The MathWorks (Hrsg.): Neural Network Toolbox 5: User s Guide. Natick: The MathWorks, September http: // Dokumentation für Neural Network Toolbox in MATLAB R2007b, Stand: Hägglund, T.: An industrial dead-time compensating PI controller. In: Control Engineering Practice 4 (1996), Nr. 6, S ISSN TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 39 von 40

41 Literaturverzeichnis II Mann, H. ; Schiffelgen, H. ; Froriep, R.: Einführung in die Regelungstechnik: analoge und digitale Regelung, Fuzzy-Regler, Regler-Realisierung, Software. 9. Aufl. München; Wien : Hanser, ISBN Nørgaard, M. ; Ravn, O. ; Poulsen, N.K. ; Hansen, L.K.: Neural Networks for Modelling and Control of Dynamic Systems: A Practitioner s Handbook. London; Berlin; Heidelberg [u.a.] : Springer, 2000 (Advanced Textbooks in Control and Signal Processing). ISBN TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 40 von 40

42 TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 41 von 40

43 Häufig verwendete Regler für totzeitbehaftete Prozesse (Fortsetzung) Wirkung eines exakten Streckenmodells beim SMITH-Prädiktor Strecke: G S (s) = G S,1 (s) e s T t,s Streckenmodell: G M (s) = G M,1 (s) e s T t,m exaktes Streckenmodell: G M (s) = G S (s) Totzeit T t,s wirkt nur noch als Verzögerung am Streckenausgang Regelkreis wird totzeitfrei TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 42 von 40

44 Netzwerkarchitekturen (Fortsetzung) Kurzschreibweise Notation für hier betrachtete Netze: R:N-S S T für vorheriges Beispiel: Anzahl der Netzeingänge p: R = 2 Anzahl der Schichten: T = 2 Anzahl der Verzögerungen: N = 0 Anzahl der Ausgänge a (i) sowie Neuronen der i-ten Schicht S i : S 1 = 3, S 2 = 1 Kurzschreibweise: 2:0-3-1 TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 43 von 40

45 Verwendung künstlicher neuronaler Netze Haupteinsatzgebiete in der Automatisierungstechnik KNNs als Modell des Prozesses (z. B. Simulation des Systemverhaltens, Grundlage für Reglerentwurf) KNNs als Regler (z. B. Heizung, Chemieanlagen, Raumschiffssteuerung) KNNs in Sensorik und Signalverarbeitung (z. B. Sensordiagnose, virtueller Sensor) TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 44 von 40

46 Entwurf virtueller Sensoren (Fortsetzung) I Datenerfassung und -aufbereitung Experimente im gewünschten Bereich des Prozessverhaltens Auswahl sekundärer Variablen Sparsamkeit als Ziel, Prozesskenntnis von Vorteil Filterung, Ausreißerkorrektur, Entfernung von Störungen etc. Löschen von Messdaten in dynamischen Systemen verfälscht Zeitbezug neue Experimente oder nicht löschen TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 45 von 40

47 Entwurf virtueller Sensoren (Fortsetzung) II Bestimmung der Modellstruktur Auswahl: statische oder dynamische Netze vorwärtsgerichtete oder rückgekoppelte Netze (rückgekoppelte benötigen meist weniger Gewichte) Netzwerk- und Neuronenarchitektur Regressor: Vektor der Eingangssignale sowie deren Verzögerungen bei guter Wahl reicht oft ein FNN mit TDL TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 46 von 40

48 Entwurf virtueller Sensoren (Fortsetzung) III Bestimmung der Lernparameter und Durchführung des Trainings Auswahl Lernverfahren und zugehöriger Parameter: abhängig von Modellstruktur meist Backpropagation Optimierung der Gewichte bezüglich eines Gütekriteriums bessere Schätzung und Generalisierung bei guter Durchführung der vorherigen Phasen Quotient aus Anzahl Trainingsbeispiele und Anzahl Gewichte sollte größer als 10 sein (z. B. Onkel Bernies Regel ) TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 47 von 40

49 Entwurf virtueller Sensoren (Fortsetzung) IV Validierung kleiner Fehler auf Trainingsdaten nicht automatisch beste Lösung, da Überanpassung möglich Kreuzvalidierung an anderen, nicht zum Training verwendeten Daten (Validierungs- und Testdaten) Validierungsdaten zum vorzeitigen Abbruch des Trainings verwendbar ( early stopping ): wenn Fehler auf Validierungsdaten ansteigt, Abbruch dadurch Gefahr der Überanpassung vermindert keine glatten Verläufe möglich TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 48 von 40

50 Entwurf virtueller Sensoren (Fortsetzung) V Ende oder erneute Iteration bei guten Ergebnissen Ende sonst Neustart in jeder Phase möglich ausgewählte Fehlerquellen: schlechte Datenaufbereitung oder unzureichende Experimente schlechte Wahl sekundärer Variablen Wahl einer ungeeigneten Netzwerkarchitektur einige Lösungsmöglichkeiten: Start des Trainings mit verschiedenen Initialisierungen (5 bis 7) Phase 3 neue Experimente Phase 1 TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 49 von 40

51 Verwendung virtueller Sensoren (Fortsetzung) VS als Sensor weitere Anwendungsbeispiele: Schmutz- und Abwasserbehandlung (z. B. Ammoniumkonzentration) Automobilbranche (z. B. Reifendruckschätzung) Duftmustererkennung (z. B. Aromen in japanischem Whiskey) Medizintechnik (z. B. Schätzung des Pulssignals aus EKG-Signal) TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 50 von 40

52 Plasma-Beschichtungsprozess (Fortsetzung) I Zweiter Datensatz 30 N E in kw T B in C h in µm Zeit in Sekunden Zeit in Sekunden Zeit in Sekunden TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 51 von 40

53 Plasma-Beschichtungsprozess (Fortsetzung) II SIMULINK-Modell 1 N_E MATLAB Function k_ne Produkt 1 T_1.s+1 T_1 1 T_2.s+1 T_2 T_t 1 h K_I 1 s K_I Integrator TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 52 von 40

54 Anforderungen und Gütekriterien (Fortsetzung) I Weitere Anforderungen gute Regeldynamik geringer Stellaufwand Robustheit des Reglers aber widersprüchlich, z. B. robust vs. genau Reglerwahl ist nur Kompromiss TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 53 von 40

55 Anforderungen und Gütekriterien (Fortsetzung) II Weitere Gütekriterien (Kenngrößenkriterien) bleibende Regelabweichung e = lim t e(t) Überschwingen ü (in Prozent) Anstiegszeit t ans Beruhigungszeit t stat Phasenreserve Φ R TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 54 von 40

56 Anforderungen und Gütekriterien (Fortsetzung) III Weitere Gütekriterien (Integralkriterien) R integral of absolute error IAE = e(t) dt t=0 R integral of time multiplied absolute error ITAE = t e(t) dt t=0 R 2 integral of squared error ISE = e(t) dt t=0 R 2 integral of time multiplied squared error ITSE = t e(t) dt t=0 TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 55 von 40

57 Anforderungen und Gütekriterien (Fortsetzung) IV Weitere Gütekriterien mean absolute percentage deviation MAPD = 100 n np x Soll (i) x Ist (i) i=1 x Soll (i) (in Prozent) R 2 Stellaufwand für Strecken mit Ausgleich Q S = d dt y(t) dt t=0 TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 56 von 40

58 Anforderungen und Gütekriterien (Fortsetzung) V Zuordnung der Gütekriterien zu den Anforderungen gutes Führungsverhalten e, IAE, ITAE, ISE, ITSE, MAPD Ausregelung von Störungen e, IAE, ITAE, ISE, ITSE, MAPD gute Regeldynamik ü, t ans, t stat, e geringer Stellaufwand Q S Robustheit des Reglers Φ R TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 57 von 40

59 Ausgewählte Fehler in der Neural Network Toolbox I Dokumentationsfehler newnarxsp: Parameter PR zu viel (vgl. [DBH07a, S ff.] und Datei newnarxsp, Zeile 1) trainbr: Variable mu max mit 1e-10 statt 1e10 angegeben (vgl. [DBH07a, S ff.] und Datei trainbr, Zeile 208) TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 58 von 40

60 Ausgewählte Fehler in der Neural Network Toolbox II Implementationsfehler trainlm: redundante Anweisungen: elseif isequal(net.performfcn, mse ), gxt = 2*gXt/numElementsA; elseif isequal(net.performfcn, mse ), gxt = 2*gXt; zweites elseif nie erreichbar jedoch andere Berechnung bei semantischer Korrektheit der ersten Zuweisung keine Auswirkungen TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 59 von 40

61 Ausgewählte Fehler in der Neural Network Toolbox III Dokumentations- oder Implementationsfehler dividevec: wählt aus übergebenen Daten im gewählten Umfang unter Wahrung der Reihenfolge zufällig einzelne aus Verlust des Zeitbezugs bei dynamischen Daten Ergebnisse nur bei gleicher Initialisierung der Zufallszahlen identisch in MATLAB R2007b nicht mehr enthalten Ersetzung durch 4 neue Funktionen insbesondere 1 für die zufällige Datenauswahl (vgl. [DBH07b, S. 5-54f.]) Reaktion des Herstellers The Mathworks alle Fehlermeldungen berechtigt an Entwickler weitergeleitet Behebung voraussichtlich in MATLAB R2008a TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 60 von 40

62 Ermittlung geeigneter KNNs für den Einsatz als virtueller Sensor (Fortsetzung) I Aufbau eines 2-schichtigen seriell-parallelen NARX-Netzes mit 1 echten Eingang und 1 Verzögerung TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 61 von 40

63 Ermittlung geeigneter KNNs für den Einsatz als virtueller Sensor (Fortsetzung) II Aufteilung der Trainingsdaten 48 Prozent Trainingsdaten jeweils 26 Prozent Validierungs- und Testdaten Kompromiss aus den Empfehlungen von Nørgaard et al. und Demuth et al. (vgl. [NRPH00, DBH07a]) N E in kw Signalverlauf Start Trainingsdaten Start Validierungsdaten Start Testdaten Zeit in Sekunden h in µm Signalverlauf Start Trainingsdaten Start Validierungsdaten Start Testdaten Zeit in Sekunden T B in C Signalverlauf Start Trainingsdaten Start Validierungsdaten Start Testdaten Zeit in Sekunden TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 62 von 40

64 Ermittlung geeigneter KNNs für den Einsatz als virtueller Sensor (Fortsetzung) III MSE-Verlauf von 2-schichtigen FTDNNs auf allen Daten (3D-Darstellung) MSE Anzahl verdeckter Neuronen Anzahl Verzögerungen in TDL TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 63 von 40

65 Ermittlung geeigneter KNNs für den Einsatz als virtueller Sensor (Fortsetzung) IV MSE-Verlauf von 2-schichtigen FTDNNs auf allen Daten (Konturen) Anzahl verdeckter Neuronen Anzahl Verzögerungen in TDL TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 64 von 40

66 Einsatz ausgewählter KNNs als virtueller Sensor im Regelkreis (Fortsetzung) I SIMULINK-Modelle y 2 z_1 2 z_2 3 y 2 z_1 2 z_2 3 1 w w e e y PI Regler y y Elektronen strahl leistung ESL(t) SD (t+t_t) Schicht dicke, MAXI mit Totzeit totzeit x 1 x 1 w w e y e y SMITH PI Regler y Elektronen strahl leistung ESL(t) SD (t+t_t) Schicht dicke, MAXI mit Totzeit totzeit 1 x Verzoegerung 1 z Schaetzung der aktuellen nn_1_net1_maxtdl _150_T_t_20 ESL(t) Schichtdicke SD^ (t) Rev = 1.8 SD(t+T_t) Abtastung behaftet behaftet sd^ 3 Neuronales Netz (NN ) als Virtueller Sensor (VS) Abtastung1 ESL: Elektronenstrahlleistung SD: Schichtdicke ESL: Elektronenstrahlleistung SD: Schichtdicke TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 65 von 40

67 Einsatz ausgewählter KNNs als virtueller Sensor im Regelkreis (Fortsetzung) II Verlauf am SMITH-Prädiktor Ist (x) Soll (w) Signalverläufe Zeit in Sekunden TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 66 von 40

68 TAVU (Fortsetzung) I Schematische Darstellung TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 67 von 40

69 TAVU (Fortsetzung) II Verwendeter Regelkreis y 2 z_1 2 z_2 3 1 w w e regler e y y Rev = 1.7 Submodell Regler y u strecke u v v Rev = 1.7 Submodell Strecke Totzeit x 1 x x TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 68 von 40

70 Ausblick (Fortsetzung) Weitere Untersuchungen und Erweiterungen Überarbeitung der verwendeten Daten: Signalvorverarbeitung (z. B. Glättung) neue und längere Experimente für einen größeren Trainingsdatensatz Überarbeitung des virtuellen Sensors: Untersuchung des Einflusses der Initialisierung der Zufallszahlen Einsatz von pruning-verfahren oder Regularisierung Prüfung einer Normierung der Eingangsdaten TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 69 von 40

71 TU Dresden, 22. Januar 2007 Verteidigung der Diplomarbeit Folie 70 von 40

72 1 0.8 Signalverlauf Eingangssignal Zeit in Sekunden 1 Ausgangssignal 0.8 Signalverlauf Zeit in Sekunden

73

74 10 8 Trainingspaare Sollverlauf Näherung als Polynom 1. Ordnung Näherung als Polynom 2. Ordnung Näherung als Polynom 8. Ordnung 6 g(p) p

75

76

77 50 N E in kw h in µm Zeit in Sekunden Zeit in Sekunden 400 T B in C Zeit in Sekunden

78 30 N E in kw h in µm Zeit in Sekunden Zeit in Sekunden 350 T B in C Zeit in Sekunden

79 N E in kw Signalverlauf Start Trainingsdaten Start Validierungsdaten Start Testdaten h in µm Zeit in Sekunden Signalverlauf Start Trainingsdaten Start Validierungsdaten Start Testdaten Zeit in Sekunden T B in C Signalverlauf Start Trainingsdaten Start Validierungsdaten Start Testdaten Zeit in Sekunden

80 1.5 x MSE Trainingsdaten MSE Validierungsdaten Anzahl Verzögerungen in TDL Anzahl Verzögerungen in TDL MSE Testdaten MSE alle Daten Anzahl Verzögerungen in TDL Anzahl Verzögerungen in TDL

81 MSE Anzahl verdeckter Neuronen Anzahl Verzögerungen in TDL 4 5

82 Anzahl verdeckter Neuronen Anzahl Verzögerungen in TDL

83 y 2 z_1 2 z_2 3 1 w w Verzoegerung 1 z e e y PI Regler Schaetzung y der aktuellen nn_1_net1_maxtdl _150_T_t_20 ESL(t) Schichtdicke SD^ (t) Rev = 1.8 SD(t+T_t) y Elektronen strahl leistung ESL(t) SD (t+t_t) Schicht dicke, MAXI mit Totzeit totzeit behaftet Abtastung x 1 x sd^ 3 Neuronales Netz (NN ) als Virtueller Sensor (VS) Abtastung1 ESL: Elektronenstrahlleistung SD: Schichtdicke

84 y 2 z_1 2 z_2 3 1 w w e e y y SMITH PI Regler y Elektronen strahl leistung ESL(t) SD (t+t_t) Schicht dicke, MAXI mit Totzeit totzeit behaftet 1 x ESL: Elektronenstrahlleistung SD: Schichtdicke

85 2 Ist (x) Soll (w) Schätzung (^x) Signalverläufe Zeit in Sekunden

86 2 1.8 Ist (x) Soll (w) Signalverläufe Zeit in Sekunden