Data Mining im Online Condition Monitoring: Vergleich gängiger statistischer Methoden

Transkript

1 Data Mining im Online Condition Monitoring: Vergleich gängiger statistischer Methoden 1 Data Mining im Online Condition Monitoring: Vergleich gängiger statistischer Methoden Bakk. Peter Holzer peter.holzer@predictive.at IPN Intelligent Predictive Networks OG Dipl.-Ing. Dr. Georg Pölzlbauer georg.poelzlbauer@predictive.at IPN Intelligent Predictive Networks OG 1 Abstract Statistische Methoden sind in modernen Fertigungs- und Wartungsprozessen unerlässlich. Wir stellen gängige statistische Verfahren gegenüber und testen ihre Tauglichkeit für den Einsatz in verschiedenen Szenarien des Condition Monitorings. Die Problemstellung und Ausgangslage für unsere Analyse ist die Bestimmung der Restlaufzeit einer Maschine oder Anlage; diese Maschine liefert über Sensormessungen laufend Daten über ihren Zustand. Aus den gesammelten Zeitreihen werden Modelle erstellt, die dann im Echtzeitbetrieb den nächsten Wartungszeitpunkt vorhersagen. Unter den untersuchten Methoden sind lineare und nicht-lineare Regressionsverfahren (u.a. lineare Regression, Support Vector Machines, Random Forests) und Survival Analyse Verfahren. Dabei betrachten wir auch den sonst gelieferten Informationsgewinn, den eine statistische Methode abgesehen von der Prognose des Wartungszeitpunkts liefern kann: Bei einigen der verwendeten Modelle können Rückschlüsse auf die Wichtigkeit einzelner Sensoren getroffen werden. Im letzten Teil unserer Untersuchung gehen wir auf die Verwertung der Ergebnisse unter betriebswirtschaftlichen Gesichtspunkten ein. Dabei zeigen wir die Konsequenzen auf Maschinenverfügbarkeit und Einsparungspotenziale, die mit den untersuchten Methoden erzielt werden können. Dieser Beitrag ist folgendermaßen aufgebaut: In Abschnitt 2 geben wir einen Überblick über die verwendeten statistischen Methoden im Condition Monitoring.

2 2 Data Mining im Online Condition Monitoring: Vergleich gängiger statistischer Methoden In Abschnitt 3 stellen wir diese Modelle anhand von Daten aus der Industrie gegenüber und vergleichen deren Performance und Tauglichkeit für den Praxiseinsatz. In Abschnitt 4 fassen wir die Ergebnisse zusammen. 2 Statistische Modelle im Condition Monitoring Condition Monitoring beschäftigt sich mit der Analyse von Maschinendaten mit dem Ziel die Funktionstüchtigkeit einer Maschine festzustellen und zu prognostizieren [Jardine06]. In diesem Abschnitt beschreiben wir die dafür notwendigen statistischen Modelle. Wir gehen hierbei von kontinuierlichen Messwerten aus, die z.b. von Sensoren für Temperatur, Drehmoment oder Schwingung geliefert werden. Auf Basis dieser Zeitreihendaten kann das Problem der Vorhersage als Regressionsmodell formuliert werden. Dabei wird zu jedem Zeitpunkt anhand der Messwerte die jeweilige Restlaufzeit (RLZ) geschätzt. Wir verwenden 3 Typen von Modellen: Lineare Regression, diverse nicht-lineare Verfahren und Survival Analysis, die in den folgenden Absätzen kurz skizziert werden. Die lineare Regression ist eine Methode, die lineare Abhängigkeiten von einer Zielvariable (hier: Restlaufzeit der Maschine) zu deren Kovariaten (hier: Sensormesswerte) modelliert. Im Allgemeinen werden durch die Kovariaten lineare Trends errechnet die Aufschlüsse darüber geben ob und wie stark der Wert der Zielvariable steigt oder fällt wenn sich die Kovariate verändert. Nicht-lineare Methoden finden neben linearen Trends auch komplexere mathematische Zusammenhänge, sind aber schwieriger zu interpretieren. Wir verwenden für unsere Experimente Support Vector Machines (SVM, [Vapnik95]), Random Forests (RF, [Breiman01]) und Generalized Additive Models (GAM, [Hastie90]). Für einen Überblick über diese Verfahren siehe [Hastie01]. Survival Analysis [Cox72] ist für die Analyse von Überlebenswahrscheinlichkeiten von Patienten entwickelt worden. Sie findet seit kurzem Anwendung in der Berechnung von Ausfallswahrscheinlichkeiten von Maschinen [Li07]. Unabhängig vom Einsatz einer der soeben genannten Methoden ist die in der Statistik übliche Vorgangsweise wie folgt: - Aufbau einer Datenhistorie mit ausreichender Anzahl Maschinenbrüche - Erstellen der Modelle mit einem Teil der gesammelten Daten (Trainingset) - Messen der Ergebnisse auf einem nicht zum Training verwendeten Testdatenset

3 Data Mining im Online Condition Monitoring: Vergleich gängiger statistischer Methoden 3 Dieses Vorgehen wird im nächsten Abschnitt anhand eines Praxisbeispiels demonstriert. 3 Fallstudie In dieser Studie betrachten wir eine Papiererzeugungsmaschine, deren laufender Betrieb von 28 Sensoren über einen Zeitraum von 430 Tagen überwacht wird. Die Zielvariable ist das Qualitätsniveau des erzeugten Papiers, welche als in Ordnung oder kritisch klassifiziert wird; letzteres definieren wir als Maschinenbruch und als das vorherzusagende Event. Kommt es im Laufe der Papiererzeugung zu einem kritischen Qualitätszustand, so muss die Anlage neu justiert werden. Dazu ist ein runterfahren und neuerliches hochfahren der Anlage notwendig, weshalb mit hohen Ausfallskosten durch Stillstand der Maschine zu rechnen ist. Ziel der Datenanalyse ist daher frühzeitig einen Qualitätsabfall zu erkennen und vorherzusagen, um in den laufenden Betrieb eingreifen zu können. Dadurch soll mittels zeitnaher Reparametrisierung der Anlage das Qualitätsniveau des Papiers gewährleistet werden. Die Sensormesswerte wurden alle 15 Minuten erfasst, und werden zu Analysezwecke als Laufschritte betrachtet. Über den Beobachtungszeitraum von 430 Tagen ergaben sich ca Messungen pro Sensor. In diesem Zeitraum ging die Anlage 5 Mal in den kritischen Qualitätszustand über. Da diese Anzahl an Events nicht für alle statistischen Methoden ausreichend ist, wurden für eine stabile Berechnung des zu Grunde liegenden mathematischen Modells, die Daten durch eine Bootstrap Simulation vervielfältigt [Efron79]. Dadurch wurde ein Trainigsdatenset mit 22 Events und ein Testdatenset mit 9 Events erzeugt. Die durchschnittliche Laufzeit eines Zyklus betrug 1272 Laufschritte, dies entspricht in etwa 318 Stunden.

4 4 Data Mining im Online Condition Monitoring: Vergleich gängiger statistischer Methoden Mittlere PZA 1 Mittlere FZPZA 2 Standardabweichung PZA Standardabweichung FZPZA RMSE 3 RPFR 4 Simple 601,54 668,83 365,99 352,76 755,79 66% Linear 270,50 131,00 224,92 169,90 366,78 77% GAM 230,66 150,75 187,24 44,63 295,08 88% RF 246,54 18,71 207,08 7,27 301,57 77% SVM 163,73 36,55 159,69 68,05 237,37 100% Survival 386,02 500,00 378,71 260,08 626,88 88% Tabelle 1: Gegenüberstellung der Prognosequalität der statistischen Modelle Tabelle 1 stellt die Ergebnisse der Prognose mit verschiedenen statistischen Modellen dar. Die Zeiten sind jeweils in Laufschritten angegeben. Als Vergleichsmodell dient das Simple Modell: Bei diesem wird unabhängig von den Sensordaten immer nach dem gleichen fixen Intervall gewartet wird. Das Simple Modell entspricht somit einem Fehlen eines Condition Monitoring Systems. Die Prognosezeitabweichung (PZA) ist die Differenz zwischen der prognostizierten Restlaufzeit (RLZ) und der tatsächlichen RLZ zu jedem Zeitpunkt der untersuchten Periode. Je niedriger dieser Wert ist, desto stabiler ist die Schätzung und umso besser ist das Model. Die mittlere PZA ist der Mittelwert all dieser Abweichungen im gesamten Zeitraum des Testdatensets. Die Fehler Zeit PZA (FZPZA) ist die PZA zu dem Zeitpunkt an dem das Modell eine Abschaltung der Anlage empfiehlt. Sie ist die maßgebende Kennzahl wie lange die Maschine noch laufen könnte bis sie das Event erleiden würde. Berechnet wird diese Kennzahl für jeden Wartungszyklus an dem die Abschaltung der Anlage empfohlen wurde, noch bevor das Event auftrat. Ein niedriger FZPZA Mittelwert steht daher für eine lange Laufzeit der Anlage und das Vermeiden unnötiger Wartungen. Die Standardabweichung der PZA und FZPZA fasst die Schwankungen der Vorhersagen des Modells in eine Kennzahl zusammen. Je höher 1 PZA = Prognosezeitabweichung; geringer ist besser 2 FZPZA = Fehlerzeit der Prognosezeitabweichung; geringer ist besser 3 RMSE = Root Mean Squared Error; geringer ist besser 4 RPFR = Rechtzeitig prognostizierte Fehlerrate; grösser ist besser

5 Data Mining im Online Condition Monitoring: Vergleich gängiger statistischer Methoden 5 dieser Wert ist, umso sensibler reagiert das Modell auf Messfehler. Somit sinkt auch die Zuverlässigkeit des Modells bei höheren Werten. Der root mean squared error (RMSE) ist ein statistisches Standardmaß für Regressionsprobleme, das die Aussagekraft des Modells in eine für unterschiedliche Modelle vergleichbare Kennzahl zusammenfasst. Je niedriger dieser Wert ist, desto präziser sind die Prognosen. Die rechtzeitig prognostizierte Fehlerrate (RPFR) gibt den Anteil an rechtzeitig vorhergesagten Events an. Das Simple Modell mit den fixen Wartungsperioden ist mit einer mittleren PZA von 601,54 das schlechteste aller Modelle. Die genauesten Prognosezeiten liefern die nicht-linearen Modelle wie das GAM, RF und die SVM. Die präzisesten Schätzungen ergaben sich durch die SVM, die auch in allen neun Zyklen rechtzeitig einen bevorstehenden Maschinenbruch erkannt hatten, und somit eine RPFR von 100% aufweisen. Das statistisch beste Modell im Sinne der RMSE sind ebenfalls die SVM mit einem Wert von 237,37. Abbildung 1: Prognostizierte RLZ vs. tatsächliche RLZ Abblidung 1 zeigt den Vergleich des linearen Modells mit den SVM anhand der Restlaufzeiten für die ersten fünf Zyklen. Die Prognosezeiten der SVM schwanken deutlich weniger als jene des linearen Modells. Am Beginn eines

6 6 Data Mining im Online Condition Monitoring: Vergleich gängiger statistischer Methoden Durchlaufzyklus weichen die Schätzungen der SVM zwar noch stärker von den tatsächlichen RLZen ab, jedoch werden sie mit fortlaufender Zeit immer präziser. Für den Maschinenbetreiber ist eine möglichst genaue prognostizierte RLZ nur dann relevant, wenn sich der Zyklus dem Ende neigt, um dann seine Wartungsstrategie zu planen. Es ist also für den Algorithmus des Modells nicht wichtig eine präzise Schätzung zu liefern wenn noch 1500 Laufschritte möglich scheinen, sondern wenn die prognostizierte RLZ gegen 0 geht. Dies ist auch ein möglicher Grund für das gute Abschneiden der SVM, obwohl sie zu Beginn eines Zyklus eher unpräzise Schätzungen liefern. Die eigentliche Relevanz der einzelnen Modelle ergibt sich für den Anlagenbetreiber durch betriebswirtschaftliche Kennzahlen wie den Ausfallkosten, Reparaturkosten, Betriebszeiten etc. der Maschine. In der Fallstudie bringt jede Betriebsstunde einen Umsatz von ein. Eine Wartungsarbeit kostet /h und verursacht einen Maschinenausfall von 10 Stunden. Ein Bruch wird mit /h Reparaturkosten und einen Maschinenausfall von 30 Stunden beziffert. Alle Kosten und Zeiten sind als Durchschnittswerte zu verstehen. Wir definieren Wartung als von dem Modell rechtzeitig vorhergesagten Event der zu einer geplanten Betriebsunterbrechung führt. Wir definieren Bruch als ein nicht rechtzeitig vorhergesagtes Event, bei dem die Maschine außerplanmäßig stillsteht. Die Profite berechnen sich aus den Betriebszeiten und den Kosten für Wartungs- bzw. im Falle eines Events aus Reparaturarbeiten. % Betrieb % Wartung % Bruch Profit Simple 93,8% 2,5% 3,7% Linear 95,9% 2,2% 1,9% GAM 96,4% 2,6% 1,0% RF 96,1% 2,1% 1,8% SVM 97,3% 2,7% 0% Survival 95,4% 3,4% 1,2% Tabelle 2: Gegenüberstellung der Modelle nach wirtschaftlichen Kriterien Tabelle 2 zeigt die Betriebszeiten bzw. Stillstandszeiten aufgrund von Wartung und Bruch der Anlage, in Prozent der gesamten Testlaufzeit, sowie den daraus resultierenden Profit. Folgt man den Wartungsstrategien der verschiedenen Modelle, ergeben die SVM den größtmöglichen Profit. Der Grund dafür ist die

7 Data Mining im Online Condition Monitoring: Vergleich gängiger statistischer Methoden 7 rechtzeitige Erkennung aller Events. Trotz vorzeitiger Wartungsarbeiten hat die Maschine mit dieser Strategie eine Auslastung von 97,3%. Die simple Wartungsstrategie mit fixen Perioden ist die unprofitabelste Methode. Würden die Wartungsarbeiten nach diesem fixen Intervallen durchgeführt, so ergäbe sich eine Auslastung von nur 93,8% und eine bruchverursachte Stehzeit von 3,7% in der gesamten Testphase. Mit den statistischen Modellen lassen sich auch Rückschlüsse finden, welche Sensoren für ein Event eine hohe Aussagekraft haben. Dies kann dafür genutzt werden um komplexe Zusammenhänge für Maschinenfehler besser zu verstehen und den Fokus einer Reparatur oder Wartung auf die entsprechende Komponente zu lenken. Abbildung 2 zeigt den Informationsgehalt der einzelnen Sensoren im linearen bzw. im RF Modell. Die zwei wichtigsten sind bei beiden Modellen in der Rangfolge identisch und liefern den größten Beitrag zur Voraussage des Events. Die weiteren Sensoren variieren etwas in ihrer Rangfolge, wobei diejenigen die wenig Einfluss auf die Prognosewerte haben in beiden Modellen ein niedriges Ranking haben. Abbildung 2: Informationsbeitrag der Sensoren

8 8 Data Mining im Online Condition Monitoring: Vergleich gängiger statistischer Methoden 4 Zusammenfassung In diesem Beitrag haben wir diverse statistische Methoden gegenübergestellt, nämlich lineare Regression, nicht-lineare Verfahren und Survival Analysis. Wir haben diese Modelle anhand eines Datensets aus der Praxis verglichen. Dabei haben die nicht-linearen Verfahren sowohl anhand der statistischen Kennzahlen als auch der simulierten Profitabilität am besten abgeschnitten. Verglichen mit dem Simple Modell ist festgestellt worden, dass sich der Einsatz eines Condition Monitoring Systems in jedem Fall lohnt. 5 Literaturverzeichnis [Breiman01] L. Breiman. Random Forests. Machine Learning 45 (2001), [Cox72] D. Cox. Regression models and life tables. Journal of the Royal Statistical Society 34 (1972), [Efron79] B. Efron. Bootstrap Methods: Another Look at the Jackknife. The Annals of Statistics 1 (1979), [Hastie90] T. Hastie. Generalized Additive Models. 1990, Chapman & Hall/CRC. [Hastie01] T. Hastie, R. Tibshirani, J. Friedman. The Elements of Statistical Learning: Data Mining, Inference, and Prediction. 2001, Springer. [Jardine06] A. Jardine. A review on machinery diagnostics and prognostics implementing condition-based maintenance. Mechanical Systems and Signal Processing 20 (2006), [Li07] Z. Li, S. Zhou, S. Choubey, C. Sievenpiper. Failure event prediction using the Cox proportional hazard model driven by frequent failure signatures. IIE Transactions 39 (2007), [Vapnik95] V. Vapnik. The Nature of Statistical Learning Theory. 1995, Springer.