Kapitel 6: Regression

Transkript

1 udwg-maxmlas-uverstät Müche Isttut für Iformatk ehr- ud Forschugsehet für Datebaksysteme Skrpt zur Vorlesug Kowledge Dscovery Databases m Sommersemester 05 Kaptel 6: Regresso Vorlesug: PD Dr. Arthur Zmek Übuge: Dr. Tobas Emrch Skrpt 05 Johaes Aßfalg, Chrsta Böhm, Karste Borgwardt, Mart Ester, Eshref Jauza, Kar Kalg, Peer Kröger, Jörg Sader, Matthas Schubert, Arthur Zmek Databases_I_(KDD_I)

2 Regresso Klassfkato: Jedes Obekt o hat ee Klasse C {C,,.., C k } Klassfkator: O C C st dskret!! Regresso: Jedem Obekt o st ee Zelvarable Y zugeordet. Regresso: O Aufgabe der Regresso st de Vorhersage ees kotuerlche Wertes. Zum Bespel : Vorhersage des erwartete Absatzes ees Produkts oder empfohlee Mege a Dügemttel für ee bestmmte Bodetyp Kowledge Dscovery Databases I: Regresso

3 Arte der Regresso leare Regresso gesuchte Vorhersage-Varable Y verhält sch lear. multple Regresso leare Regresso, be der Y vo eem Vektor abhägt. cht-leare Regresso allgemeer Fall, de beschrebee Regressosfukto muss cht lear se. z.b. ogstc Regresso, Posso Regresso Kowledge Dscovery Databases I: Regresso

4 eare Regresso Gegebe: Obekt st durch Zufallsvarable X beschrebe. Tragsobekte habe zusätzlch och Auspräguge der Zelvarable Y. Aahme: Y X De beobachtete Werte vo Y weche mt kostater Varaz vo der e ab. Gesucht: e, auf der Erwartugswerte lege. ösug: Mmere quadratsche Fehler (east Squares Methode) erwartetes Gehalt Y { D.h. bestmme ud, so dass s s Y X mmal wrd. Arbetserfahrug Jahre X st der Abstad vo der ageommee Regressosgerade. Kowledge Dscovery Databases I: Regresso

5 eare Regresso ösugsasatz: De partelle Abletuge ach ud ergebe folgede Abschätzuge. Stegug: s ( x s E( x))( y ( x E( x)) E( y)) Y-Achseabschtt: E( Y ) E( X ) Kowledge Dscovery Databases I: Regresso

6 Multple Regresso Multple Regresso: Obekt wrd durch d-dmesoale Featurevektor beschrebe. Aahme: Y st vo eer ear- Kombato abhägg. Y d X ösug: mmere quadratsche Fehler (east Squares Methode) Achtug: Es ergbt sch ee Regressoshyperebee!! s s Y d k ( k X, k ) Kowledge Dscovery Databases I: Regresso

7 Ncht-eare Regresso Gegebe: Zufallsvarable X ud Zelvarable Y. Aahme: Y hägt cht-lear vo X ab. Bespel: polyomelle Regresso Aahme: 5 Y X X 3 X ösug: Defere eue Varable. X = X, X =X, X 3 =X 3 öse leare multple Regresso 0 -,5 - -,5 - -0,5 0 0,5,5, Datepukte Regressowerte -5 Y X X 3X 3 Kowledge Dscovery Databases I: Regresso

8 Ncht-eare Regresso höhere Komplextät des Polyoms (=mehr Varable, d.h., Frehetsgrade) bessere Apassug Probleme: Overfttg Outler verzerre de Schätzug Bld-Quelle: Kowledge Dscovery Databases I: Regresso

9 Weterführede Regressosverfahre -sestve Fehlerfukto bs etzt müsse alle Pukte auf Regressosgerade lege. Aber: Häufg st Abstad vo der e och akzeptabel => defere Rad mt Größe, dem der Fehler tolerert wrd. Y { X ( x, y, f ) y f ( x) max(0, y f ( x) ) oder als quadratscher Fehler f(x)-y ( x, y, f ) y f ( x) Kowledge Dscovery Databases I: Regresso f(x)-y

10 Support Vector Regresso Auf Bass der -sestve Fehlerfukto ka ma etzt e Optmerugsproblem ählch zu dem der SVMs defere Prmäres OP : * mmere uter Nebebedgug für.. se J ( w, b, ) w C y w x b, * w x b, y ud, * P Type vo Slack-Varable für überhalb ud uterhalb des Zelwertes y * P Beachte: * =0, da Obekt etweder überhalb oder uterhalb der Regressosgerade legt. Kowledge Dscovery Databases I: Regresso

11 Support Vector Regresso Überführt ee Form mt agrage Multplkatore: Beachte, dass herbe glt: * =0 ud * =0 Verallgemeertes Problem mt Kerelfukto: C x x y, ) ( * * * * Duales OP: maxmere mt Bedgug ud 0, 0 *,=.. * 0 x x K y, ) ( Duales OP: maxmere mt Bedgug ud -C C, =.. 0 Kowledge Dscovery Databases I: Regresso

12 Support Vector Regresso Amerkuge: Über Kerel lässt sch bequem cht-leare Regresso realsere Trag mt de gleche ösugsverfahre we be SVMs für de Klassfkato Es gbt wetere Varate: z.b. Rdge-Regresso. Herbe st = 0, d.h. es hadelt sch um east Squares Regresso mt eer Eschräkug der Gewchte. Rdge Regresso : mmere uter Nebebedgug für.. se y w x b, J ( w, b, ) w, =,..,l Kowledge Dscovery Databases I: Regresso

13 Fazt Regresso Regresso löst e ählches Problem we Klassfkato. Vorhersage: kotuerlche Werte. Regressosgerade köe häufg aalytsch bestmmt werde. weterführede Verfahre mt Kerelfuktoe Amerkug: De Klassfkatos-Methode ogstsche Regresso ergbt sch als Awedug vo Regresso auf das Klassfkatos-Problem be umerscher Iterpretato der Klassevarable (Klasse A: Y =, Klasse B: Y = 0). Kowledge Dscovery Databases I: Regresso