NeuroBayes Ein statistisches Verfahren aus der Hochenergiephysik und sein Weg in die Wirtschaft

Transkript

1 NeuroBayes Ein statistisches Verfahren aus der Hochenergiephysik und sein Weg in die Wirtschaft Prof. Dr. Michael Feindt CETA - Centrum für Elementarteilchen- und Astroteilchenphysik Universität Karlsruhe Phi-T GmbH, Karlsruhe Kolloquium FB Statistik, Universität Dortmund 8. Januar 2007 Zufall Rein zufällige Ereignisse sind prinzipiell nicht vorhersagbar (auch bei genauer Kenntnis der Ausgangssituation!) Beispiele hierfür sind: Lottozahlen (Zu viele Einflussgrößen, deterministisches Chaos) radioaktiver Zerfall (Quantenmechanik) Elektronisches Rauschen

2 Vorhersehbar Bei einfachen klassischen physikalischen Prozessen das Ergebnis exakt vorhersagbar (eine Ursache erzeugt eine eindeutige Wirkung, Determinismus) Beispiele hierfür sind: Pendel, Planetenbahnen, Billard, Elektromagnetismus Wahrscheinlichkeit Viele Systeme: Mischung aus vorhersagbarer Komponente und Zufallskomponente. Wahrscheinlichkeitsaussage, Statistik Kernkompetenz: Extraktion der vorhersagbaren Komponente aus multidimensionalen Daten mit hohem stochastischen Anteil Bestimmung von Modell- Parametern aus Messdaten Individualisierung von Wahrscheinlichkeitsaussagen Individuelle Zukunftsprognosen individueller Kunde Mustermann mittlerer Kunde

3 Elementarteilchenphysik-Experimente Viele identische Versuche über Jahre: Kollisionen zwischen z.b. Elektronen und Positronen Quantenmechanik: Jedes Mal passiert etwas anderes! OPAL Experiment am LEP

4 Fermilab Technologietransfer aus der internationalen Spitzenforschung Optimiert durch weltweiten Wettbewerb, um aus den begrenzten und teuren Daten möglichst viele neue physikalische Erkenntnisse zu extrahieren. CERN LHC <phi-t> NeuroBayes Neuronale Netzwerke: Selbstlernende Verfahren, der Natur nachempfunden Frontal Lobe Motor Cortex Parietal Cortex Temporal Lobe Brain Stem Occipital Lobe Cerebellum

5 Neuronale Netzwerke Die Information (das Wissen, die Expertise) steckt in den Verbindungen zwischen den Nervenzellen NeuroBayes - Prinzip Input Preprocessing NeuroBayes Teacher: Lernen von komplizierten Zusammenhängen aus bestehenden Datenbanken (im Prinzip Backpropagation) Significance control NeuroBayes Expert: Prognosen für unbekannte Daten Postprocessing Output

6 Funktionsweise: Training und Anwendung Historische / simulierte Daten Datensatz a =... b =... c = t =! NeuroBayes Teacher Aktuelle Daten Expertensystem Expertise Wahrscheinlichkeit, dass Hypothese stimmt (bei Klassifikation) oder Wahrscheinlichkeitsdichte für die gesuchte Größe t Datensatz a =... b =... c = t =? NeuroBayes Expert f t t NeuroBayes Aufgabe 1: Klassifikation Binaräres Target: Das Ergebnis jedes einzelnen Ereignisses wird entweder ja oder nein sein. Beispiele: > Dieses Elementarteilchen ist ein K-Meson. > Deutschland wird 2006 Weltmeister. jetzt P=0 > Kunde Schmidt wird im nächsten Jahr Liquiditätsprobleme haben. > Kunde Müller wird dieses Produkt kaufen. > Der Aktienkurs von Borussia Dortmund wird Ende 2007 höher sein als heute. Resultat: Bayes sche a posteriori-wahrscheinlichkeit, dass die Antwort,,ja sein wird.

7 Naïve neuronale Netzwerke und Kritik Wir haben das probiert, aber es gab keine guten Resultate und das Trainieren dauert ewig. - In lokalem Minimum stecken geblieben - Trainieren nicht robust, zu naiver Algorithmus Wir haben das probiert aber es war schlechter als unser 100 Mannjahre-High-Tech-Algorithmus - Zu naive Input-Variablen gewählt - Benutze den fancy Algorithmus-Output als INPUT! Wir haben das probiert aber die Prognosen waren falsch - Übertraining: das Netz hat statistische Schwankungen gelernt Ja, aber wie kann man systematische Unsicherheiten abschätzen? - Wie kann man das sonst bei korrelierten Input-Variablen? - Tests auf Daten und Monte Carlo möglich <phi-t> NeuroBayes > beruht auf neuronalen Algorithmen der 2. Generation, Bayes scher Regularisierung, optimiertem Preprocessing mit Transformation und Dekorrelation der Input-Variablen und (nichtlinearer) Korrelation zum Output. > lernt extrem schnell durch Methoden 2. Ordnung > ist extrem robust gegen Ausreißer > ist quasi immun gegen Auswendiglernen statistischen Rauschens > liefert schon bei wenig Statistik sinnvolle Prognosen kann > binäre Entscheidungen treffen (klassifizieren) > Vorhersagen machen inklusive Unsicherheiten > komplette Wahrscheinlichkeitsdichten berechnen

8 Umfeld und Einflüsse auf Phi-T -Technologie Physik: Auswertung quantenmechanischer Experimente Optimierung der Auflösung und Effizienz komplexer Apparate Monte Carlo-Simulationen Effiziente Programmierung, internationale Großprojekte, optimierte Bibiliotheken Informatik: Lerntheorie, Generalisierungsfähigkeit Neuronale Netze, Support-Vektor-Maschinen Mathematik: Statistik, insb. Bayes-Statistik, robuste statistische Verfahren Numerische Verfahren, Regularisierung Neurobiologie: Auf- und Abbau von Komplexität im Gehirn, Pruning-Verfahren, Lernfähigkeit, Rauschunterdrückung Versicherungsmathematik, Finanzmathematik, Zeitreihenanalyse NeuroBayes Aufgabe 2: Bedingte Wahrscheinlichkeitsdichten Wahrscheinlichkeitsdichte für reellwertige Zielfunktionen: Für jeden möglichen reellen Wert wird eine Wahrscheinlichkeit(sdichte) prognostiziert. Daraus können alle statistischen Größen wie Erwartungswert, Median, Modus, Standardabweichung, Percentile etc. abgeleitet werden. Beispiele: > Energie eines Elementarteilchens > Preisänderung einer Aktie oder Option > Umsatz eines Artikels > Kosten, die ein einzelner Versicherter verursacht

9 Vorhersage der kompletten Wahrscheinlichkeitsverteilung r f ( t x) Erwartungswert Standardabweichung Volatilität Abweichungen von der Normalverteilung, z.b. Crash-Wahrscheinlichkeit Wahrscheinlichster Wert Z.B. sehr interessant für die Preisbildung von Derivaten, z.b. Optionen Hedge Fonds mit Lupus Alpha Asset Management t Einige Anwendungen in der Teilchenphysik DELPHI (hauptsächlich Vorgänger von NeuroBayes) Kaon, proton, electron id Inklusive Rekonstruktion von B-Mesonen: E, φ, θ, Q-Wert B**, B s ** Anreicherung B Fragmentationsfunktion Limit auf B s -Oszillation B 0 -Mischung B- F/B-Asymmetrie B-> wrongsigncharm CDF II: (work in progress) Elektronen-ID, Myon-ID, Kaon/Proton-ID Optimierung von Resonanz-Rekonstruktion (X, Y, B s, B s **) Spin-Paritäts-Analyse, Likelihood Analysen B-Tagging for top, Higgs, usw. B-Flavour Tagging für Oszillationsanalyse (B s Oszillationen)

10 Physik- BeispieI 1 (DELPHI, CERN) Klassifikation: Hadronenidentification (DELPHI am CERN): Signalhöhe verdoppelt bei konstantem Untergrundlevel durch eine der ersten NeuroBayes- Klassifikationen Original-Methode : einige Millionen CHF Konkurrierende Gruppen! Vergleich mit konventionellem neuronalen Netz Optimal mögliche Prognose (immer alles richtig) (von Experten optimiert) Gleiche Input-Variablen! Quelle: Doktorarbeit Ulrich Kerzel, 2005, Univ. Karlsruhe. Elektronenidentifikation für das CDF-Experiment am Fermi National Laboratory, Chicago

11 Physik- Beispiel 2 (DELPHI, CERN) Optimierte Rekonstruktion von reellwertigen Größen: erweiterte Regression Auflösung massiv verbessert und Bias korrigiert durch NeuroBayes-Technologie (schmaler Peak um +-0) Physik- Beispiel 3 (DELPHI, CERN) Auflösung des inklusiv rekonstruierten Auflösung des inklusiv rekonstruierten Azimuthalwinkels von B-Hadrons Azimuthalwinkels von B-Hadrons im DELPHI- Detektor im DELPHI- Detektor erste neuronale Rekonstruktion einer Richtung erste neuronale Rekonstruktion einer Richtung NeuroBayes NeuroBayes phi-richtung phi-richtung Bester Bester klassischer" klassischer" chi**2- chi**2- Fit Fit (BSAURUS) (BSAURUS) Nach Selektion auf NeuroBayes Fehler-Schätzer: Keine Keine Selektion: Nach Selektion auf NeuroBayes Fehler-Schätzer: Selektion: Auflösung massiv verbessert, keine Schwänze Verbesserte Verbesserte Auflösung Auflösung massiv verbessert, keine Schwänze Auflösung ==> erlaubt zuverlässige Selektion guter Ereignisse ==> erlaubt zuverlässige Selektion guter Ereignisse

12 Hadron-Collider: Monte Carlo Simulation für für Resonanzproduktion mit unterschiedlichen J PC PC -Annahmen (durch Gewichtung). Aber keine guten Monte Carlo-Simulationen für für Untergrund verfügbar. Idee: nimm Untergrund aus Seitenbändern der der Daten, achte darauf, dass Masse nicht gelernt werden kann! Teste dies! X(3872) Analyse: X softe NeuroBayes Selektion Signalartig Untergrundartig kaum Signalverlust

13 Harter NeuroBayes Schnitt: Sehr sauberes X(3872) Signal Training mit Gewichten: Neuronale Netwerk- Spin Paritäts-Analyse Benutze Seitenbänder als Untergrund-Sample Benutze Phasenraum- Monte Carlo als Signal-Sample Berechne quadrierte Übergangsmatrixelemente für spezifische Spin-Paritäts-Annahmen und benutze diese als Gewicht im Training Harter Schnitt auf NeuroBayes-Output sollte bei Training mit korrekter Hypothese das Signal besonders gut anreichern

14 J PC PC =1 =1 (ππ) s Hypothese s Sehr harter NeuroBayes Schnitt: nicht so so gute Hypothese für für X J PC PC =1 =1 (ππ) ss Hypothese Sehr harter NeuroBayes Schnitt: Eine gute Hypothese für für X CDF II II (auch ohne NN): X(3872) kann nur durch (präferiert) or or Beschrieben werden. Zerfall in in J/ψ ρisospin-verletzend wenn einfaches Charmonium. Guter Kandidat für für ein ein D^*D Molekül

15 Search for fororbitally excited B ss in in B + K -- (with B + J/ψ K) K) (Martin Heck, Michal Kreps, M.F.) NeuroBayes helps helps in in finding hitherto undiscovered hadrons Clear Clear evidence for for two two peaks Stability against network cuts cuts proven Making MC for forhadronic background without specific model: Multidimensional correlated regression using NeuroBayes Use data in non-resonance region as signal Use phase space MC as background Train NeuroBayes network, NN output O is Bayesian a posteriori probability that event stems from signal (i.e. data distribution) rather than phase space MC: O=P(S) with P(S)+P(B)=1 Calculate weight W= P(S)/P(B) = O/(1-O) Phase space MC events with this weight W look like data! MC modelling of complicated background is possible! Opens new roads for likelihood fits

16 Some kinematical variable distributions (J/ψ π + π - selection) Black: real data Red: weighted phase space MC NeuroBayes: Increase of of efficiency at at same purity as as best cut based selection: Improve significance from 18.4 to to 22.1 Optimisation of of B ss reconstruction for forb ss oscillation analysis

17 Presse (Die Welt vom 21. April 2006) Erfolg Diese,,künstliche Intelligenz kann viele komplizierte Zusammenhänge besser erkennen als z.b. ihre Autoren selbst. Wenn sie erstmal gefunden sind, sind sie oft auch für den Menschen verständlich und nachvollziehbar. Sehr erfolgreiche Anwendungen in der Physik. Viele Millionen gespart. Viele Analysen erst ermöglicht.

18 Erkenntnis Diese Methoden sind nicht nur in der Physik anwendbar <phi-t>: Ausgründung aus der Universität Karlsruhe, gefördert durch das exist-seed-programm des Bundesministeriums für Bildung und Forschung Historie NeuroBayes -Spezialisierung für die Wirtschaft in Universität Karlsruhe Okt. 2002: GmbH gegründet, erste bezahlte Aufträge Juni 2003: Umzug in neues Büro 199 qm IT-Portal Karlsruhe Exklusivrechte für NeuroBayes. Referenzprojekte/Lizenznehmer: Badische Versicherungen BGV dm drogerie markt Otto-Versand Thyssen-Krupp Steel Lupus Alpha Asset Management Versicherungskammer Bayern AXA Krankenversicherung Libri

19 Conditional probability density reconstruction: Aim: Aim: r Bayesian Bayesian estimator estimator f ( t x) for for a a single single multidimensional multidimensional measurement measurement x r.. x r x r "Components "Components of of may may be be correlated. correlated. "Components "Components of of should should be be correlated correlated to to t t or or its its uncertainty. uncertainty. "All "All this this should should be be learned learned automatically automatically in in a a robust robust way way from from data data bases bases "containing "containing Monte-Carlo Monte-Carlo simulations simulations or or historical historical data. data. Note: Note: Conditional Conditional probability probability density density contains contains much much more more information information than than just just the the mean mean value, value, which which is is determined determined in in a a regression regression analysis. analysis. It It also also tells tells us us something something about about the the uncertainty uncertainty and and the the form form of of the the distribution, distribution, in in particular particular non-gaussian non-gaussian tails. tails. Conditional probability densities in particle physics What is the probability density of the true B momentum in this semileptonic B candidate event taken with the CDF II detector with these n tracks with those momenta and rapidities in the hemisphere, which are forming this secondary vertex with this decay length and probability, this invariant mass and transverse momentum, this lepton information, this missing transverse momentum, this difference in Phi and Theta between momentum sum and vertex topology, etc pp t x r r f ( t x)

20

21

22 Bayesian Regularisation Use Bayesian arguments to regularise network learning: Likelihood Prior Posterior Evidence Learn only statistically relevant information, suppress statistical noise

23

24

25

26 input variables ordered by relevance (standard deviations of additional information)

27 Ramler-plot (extended correlation matrix) Ramler-II-plot (visualize correlation to target)

28 Visualisation of single input-variables Visualisation of correlation matrix Variable 1: Training target

29 Visualisation of network performance Purity vs. efficiency Signal-effiziency vs. total efficiency (Lift chart) Visualisation of NeuroBayes network topology

30

31 Wettbewerb der Methoden Data-Mining-Cup 2005: Erkennen von Betrug im Internet-Handel 531 Teilnehmer aus 176 Universitäten aus 41 Ländern. 6 Karlsruher Studenten haben von Phi-T NeuroBayes zur Verfügung gestellt bekommen: Top-Platzierungen: Positionen 2,3,4,5,6,7 Wettbewerb der Methoden II Data-Mining-Cup 2006: Vorhersage, ob in gegebenen ebay- Auktionen überdurchschnittliche Preise erzielt werden. 579 Teilnehmer von177 Universitäten aus 42 Ländern. 11 Karlsruher Studenten bekamen Phi-T NeuroBayes und Unterstützung in Vorlesung und Computer- Praktikum. Top Positionen: v.l.n.r.: : Simon Honc, Moritz Schlie, Jens Salomon 1,2,3,4, 6,7, 9,10, 12, 16, 22!

32 Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Risikoanalyse für Kfz-Versicherung BGV Badischen Gemeinde-Versicherungen: seit Mai 2003: radikal neuer Tarif für junge Fahrer! Neue Variablen zur Prämienbestimmung hinzugefügt. Korrelationen werden berücksichtigt. Risiko und herkömmliche Prämie liegen bis zu Factor 3 auseinander! Auch die Wahrscheinlichkeitsdichte der Kosten kann vorhergesagt werden. Stornorisiken sind auch gut prognostizierbar Sogar Großschäden kann man mit Fuzzy-Logik und NeuroBayes angehen NeuroBayes Michael Feindt Uni Dortmund, 9. Januar Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Die Ungerechtigkeit von Versichrungsprämien Verhältnis des von NeuroBayes ermittelten Schaden-Erwartungswerts zur bezahlten Prämie (normiert auf gleiche Prämeinsumme): Anzahl Kunden Die Mehrheit der Kunden (mit kleinem Risiko zahlt zu viel) Weniger als die Hälfte der Kunden (mit höheren Risiken) zahlen nicht genug, einige viel zu wenig. Diese werden von vorsichtigeren Fahrern subventioniert. Risiko/Prämie NeuroBayes Michael Feindt Uni Dortmund, 9. Januar

33 Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Storno-Prognose für eine Versicherung Die Vorhersagen treffen wirklich ein Test auf zukünftigem Jahr NeuroBayes Michael Feindt Uni Dortmund, 9. Januar Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Nicht nur,,theorie, Sondern funktioniert auch in der,,praxis : Bestätigung auf Versicherungskonferenz NeuroBayes Michael Feindt Uni Dortmund, 9. Januar

34 Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Presse NeuroBayes Michael Feindt Uni Dortmund, 9. Januar Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Presse Die Welt, 13. Sept NeuroBayes Michael Feindt Uni Dortmund, 9. Januar

35 Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Stornorate in einem großen Finanzinstitut Wirkliche Stornorate als Funktion der NeuroBayes - Prognose Sehr gute Übereinstimmung Innerhalb der statistischen Fehler NeuroBayes Michael Feindt Uni Dortmund, 9. Januar Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Umsatz-Prognose für dm drogerie markt Zeithorizont 1 Tag bis ½ Jahr in die Zukunft für ca Filialen Rot: wahrer Umsatz Grün: 1 Sigma Prognoseintervall Gelb: 2 Sigma-Prognoseintervall NeuroBayes Michael Feindt Uni Dortmund, 9. Januar

36 Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Presse NeuroBayes Michael Feindt Uni Dortmund, 9. Januar Umsatzprognose im Versandhandel Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA NeuroBayes Michael Feindt Uni Dortmund, 9. Januar

37 Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Prognose des Leistungsbetrags für PKV Pilotprojekt bei einer großen Privat-Krankenversicherung Prognose des Leistungsbetrags im Folgejahr für jede versicherte Person / Tarif mit Konfidenz-Intervallen 4 Jahre zum Trainieren, Test auf dem folgenden Jahr Ergebnisse: Wahrscheinlichkeits-Dichte für jede Kunden/Tarif Kombination Kunde N Mann, 44 Tarif XYZ123 seit ca. 17 Jahre Sehr gute Testresultate! Birgt Potenzial für eine wirkliche Kostenreduzierung imgesundheitswesen! NeuroBayes Michael Feindt Uni Dortmund, 9. Januar Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Prognose von Finanzmärkten Auf NeuroBayes basierender Hedge-Fonds aufgelegt. Einer von 4 erfolgreichen Kandidaten von ca. 70 Bewerbern im Lupus Alpha Talent-Hotel. Test NeuroBayes Michael Feindt Uni Dortmund, 9. Januar

38 Start Idee NeuroBayes Idee Hintergrund Ziele NeuroBayes f(t x) Beispiele Historie Anwendung Prinzip Funktion Beispiel Konkurrenz Projekt l Forschung Projekt ll Ablauf Spiel Summary A BA Das <phi-t> Mausspiel: oder: sogar ihr ``freier Wille ist vorhersagbar // NeuroBayes Michael Feindt Uni Dortmund, 9. Januar Dokumentation Basics: M. Feindt, A Neural Bayesian Estimator for Conditional Probability Densities, E-preprint-archive physics M. Feindt, U. Kerzel, The NeuroBayes Neural Network Package, Nuclear Instruments and Methods A 559(2006) 190 Web Sites: (deutsch & englisch) (Physik- Resultate mit NeuroBayes) www-ekp.physik.uni-karlsruhe.de/~feindt (einige NeuroBayes Vorträge können hier gefunden werden)