Textklassifikation und Informationsextraktion
|
|
|
- Stefan Amsel
- vor 5 Jahren
- Abrufe
Transkript
1 Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen etklassfkaton und Informatonsetrakton obas Scheffer Peter Hader Paul Prasse
2 Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe etklassfkaton, Informatonsetrakton 2
3 etklassfkaton, Informatonsetrakton etklassfkator: Ordnet enen et ener Menge von nhaltlchen Kategoren zu. Wrd aus annoterten Daten gelernt. Anendungsbespel: Postengangsverarbetung. Informatonsetrakton: Identfkaton defnerter Felder n Dokument. Auch aus Daten gelernt. Anendungsbespel: Automatserung von Dokumentenverarbetungsprozessen. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 3
4 etklassfkaton: Repräsentaton Nach okenserung rd et durch Vektor repräsentert. Vektorraummodell: Vektor der Worthäufgketen für probablstsche Modelle. FIDFRepräsentaton für lneare Verfahren. Wortrehenfolge blebt unberückschtgt. Vektorraummodell mt NGrammen: Wrd für Spamerkennung verendet. Jedes NGramm durch Dmenson repräsentert, oder Sparse Bnar Polnomal Hashng oder Orthogonal Sparse NGrams. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 4
5 Repräsentaton Jedes NGramm durch Dmenson repräsentert, Nur NGramme, de auch tatsächlch auftreten. Sparse Bnar Polnomal Hashng Fenster der Brete N rd über et geschoben, Jede elmenge von bs zu N okens, de n deser Rehenfolge auftauchen und das am etesten rechts stehende oken benhalten, st ene Dmenson, Orthogonal Sparse Bgrams. Fenster der Brete N rd über et geschoben, Jedes Paar aus enem belebgen oken m Fenster und dem am rechten Fensterrand stehenden oken st en Merkmal. SBPH und OSB: NGramme mt Platzhaltern. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 5
6 Klassfkator / Entschedungsfunkton Für ene bnäre Klassfkaton oder rd ene Entschedungsfunkton f gelernt. Je größer f, desto ahrschenlcher st, dass zur Klasse gehört. Wenn f θ, dann entschede h, sonst h. Klassfkator h, Entschedungsfunkton f. Der Wert für θ verschebt false postves zu false negatves. Optmaler Wert hängt von Kosten ener postven oder negatven Fehlklassfkaton ab. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 6
7 Evaluaton von etklassfkatoren Fehlklassfkatonsahrschenlchket Häufg ncht aussagekräftg, el P sehr klen. We gut snd 5% Fehler, enn P3%? Idee: Ncht Klassfkator beerten, sondern Entschedungsfunkton. Precson / Recall PrecsonRecallKurve beertet Entschedungsfunkton, Jeder Wert für θ entsprcht Punkt auf PRKurve. FMeasure: Durchschntt aus Precson und Recall. Recever Operatng Characterstc ROCKurve Beertet Entschedungsfunkton, Fläche unter ROCKurve Ppostves Bespel hat höheren fwert als negatves Bespel Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 7
8 ROCAnalse Entschedungsfunkton Schellert Klassfkator. Großer Schellert: Mehr postve Bsp falsch. Klener Schellert: Mehr negatve Bsp falsch. Beertung der Entschedungsfunkton unabhängg vom konkreten Schellert. ReceverOperatngCharacterstcAnalse Kommt aus der Radartechnk, m 2. Weltkreg entckelt. Beertung der Qualtät von Entschedungsfunktonen. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 8
9 ROCKurven Charakterseren das Verhalten des Klassfkators für alle möglchen Schellerte. XAchse: False Postves : Anzahl negatver Bespele, de als postv klassfzert erden. YAchse: rue Postves : Anzahl postver Bespele, de als postv klassfzert erden. rue Postves perfekte Funkton bessere Funkton zufällges Raten Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe False Postves 9
10 Bestmmen der ROCKurve von f Für alle postven Bespele p n estmenge Füge fp n sorterte Lste Lp en. Für alle negatven Bespele n n estmenge Füge fn n sorterte Lste Ln en. tp fp 0 Wederhole solange Lp und Ln ncht leer snd. Wenn Lp Element Ln Element dann ncrementtp und Lp LP Net. Wenn Ln Element Lp Element dann ncrementfp und Ln Ln Net. Zechne neuen Punkt fp, tp Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 0
11 Flächennhalt der ROCKurve Flächennhalt AUC kann durch Integreren Summeren der rapezflächennhalte bestmmt erden. p zufällg gezogenes Postvbespel n zufällg gezogenes Negatvbespel heorem: AUC Pfp > fn. Beesdee: ROCKurve mt nur enem Postv und enem Negatvbespel Flächennhalt 0 oder ; Durchschntt veler solcher Kurven AUC. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe
12 Precson / Recall Alternatve zur ROCAnalse. Stammt aus dem Informaton Retreval. rue postves Precson rue false postves rue postves Recall rue postve false negatves Precson: Prchtg als postv erkannt Recall: Pals postv erkannt st postv Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 2
13 Precson / Recall Zusammenfassungen der Kurve n ener Zahl: Mamum FMeasure: Mamum über alls p,rpaare auf der Kurve: 2 Precson Recall Fmeasure Precson Recall PrecsonRecallBreakevenPont: Derjenge Wert PRBEP für den glt: Precsonθ Recallθ PRBEP. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 3
14 Precson / Recall radeoff recall precson Precson/RecallKurven Welcher Klassfkator st der Beste / Schlechteste Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 4
15 Bestmmen der PerformanceMaße Performance auf ranngsmenge etrem optmstscher Schätzer für Performance für unbekannte ete. Zum Schätzen der Performance erden ete verendet, de ncht zum raneren verendet urden. ranngundest: Verende 80% der Daten zum raneren, 20% der Daten zum Messen der ROC Kurve, PRKurve, oder Fehlklassfkatonsahrsch. NFoldCrossValdaton: ele Daten n n ele, ederholtes raneren mt n elen. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 5
16 Fehlerschätzung Algorthmus ranngandest Auftelen der Datenbank n ranngsmenge und estmenge. h Lernalgorthmus ranngsmenge Bestmme Ê anhand der estmenge. h Lernalgorthmus alle Bespele Lefere Hpothese h zusammen mt Fehlerschätzer Ê ± Ê Ê 20% m ranngandest st für große Datenbanken gut anendbar. Problematsch für klene Datenbanken Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 6
17 NFold CrossValdaton Algorthmus NCV Bespele S Blde n eta glech große Blöcke S,..., Sn von Bespelen, de zusammen S ergeben. Ê0. For... N Ê Ê/N h Lernalgorthmus S \ S Ê Ê emprscher Fehler von h auf S h Lernalgorthmus S Lefere Hpothese h mt Fehlerschätzer Ê ± Ê Ê m Wenn S n, hesst das Verfahren LeaveoneOut. Nur lecht pessmstscher Schätzer. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 7
18 Lneare Klassfkatoren f 0 sgn f f 0 Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 8
19 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 9 Lneare Klassfkatoren Umformulerung mt zusätzlchem, konstanten Engabeattrbut 0 : 0 f f sgn n n n n n n n n f
20 Roccho : Mttelpunkt der neg. Bespele : Mttelpunkt der pos. Bespele rennebene: Normalenvektor f 0 Bestmmung von 0 : Mttelpunkt /2 muss auf der Ebene legen. f / 2 / Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 20
21 Roccho rennebenen hat mamalen Abstand von den Mttelpunkten der Klassen. ranngsbespele können falsch klassfzert erden. Dfferenz der Mttelerte kann schlechter Normalenvektor für Dskrmnaton sen. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 2
22 Perzeptron Lneares Modell: Zel: f Für alle Bespele, : f > 0 Für alle Bespele, : f < 0 Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 22
23 Perzeptron Lneares Modell: Zel: Für alle Bespele, : f > 0 Für alle Bespele, : f < 0 Zel: Für alle Bespele: f f Bespel legt auf der rchtgen Sete der Ebene. > 0 Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 23
24 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 24 Perzeptron Lneares Modell: Zel: Für alle Bespele: PerzeptronOptmerungskrterum: 0 > f f { } L P J,,0 mn
25 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 25 Perzeptron Lneares Modell: Zel: Für alle Bespele: PerzeptronOptmerungskrterum: Subgradent für Bespel, : 0 > f f { } L P J,,0 mn > sonst 0 enn 0, P J
26 Perzeptron Lneares Modell: PerzeptronOptmerungskrterum: Subgradent für Bespel, : Gradentenaufsteg: Wederhole, für alle Bespele mt 0 f J P J P, L mn {,0} 0, enn > 0 sonst Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 26
27 PerzeptronAlgorthmus Lneares Modell: f Perzeptronranngsalgorthmus: Solange noch Bespele, mt der Hpothese nkonsstent snd, terere über alle Bespele Wenn 0 dann Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 27
28 PerzeptronAlgorthmus Perzeptron fndet mmer ene rennebene, enn ene estert Optmerungskrterum st konkav. Estert mmer ene rennebene? Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 28
29 MargnPerzeptron PerzeptronKlassfkaton: Perzeptron: für alle Bespele muss gelten Bespel legt auf der rchtgen Sete der Ebene. MargnPerzeptron: f > 0 > δ Bespel mndestens δ von rennebene entfernt. δ Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 29
30 MargnPerzeptronAlgorthmus Lneares Modell: f Perzeptronranngsalgorthmus: Solange noch Bespele, mt der Hpothese nkonsstent snd, terere über alle Bespele Wenn δ dann Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 30
31 MargnMamerung Perzeptron: für alle Bespele muss gelten > 0 MargnPerzeptron: > δ Fnde Ebene, de alle Bespele mndestens δ von Ebene entfernt. Fester, vorengestellter Wert δ. MargnMamerung: Fnde Ebene, de alle Bespele mndestens δ von Ebene entfernt. Für den größtmöglchen Wert δ. δ Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 3
32 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 32 MargnMamerung MargnMamerung: Fnde Ebene, de alle Bespele mndestens δ von Ebene entfernt. Für den größtmöglchen Wert δ. Mamere δ unter der Nebenbedngungen: für alle Bespele, gelte Mnmere unter der Nebenbedngung: für alle Bespele, : > > δ > δ δ
33 SoftMargnMamerung HardMargnMamerung: Mnmere unter der Nebenbedngungen: für alle Bespele, : SoftMargnMamerung: C ξ Mnmere unter den Nebenbedngungen: für alle Bespele, : Alle ξ 0. >ξ > SoftMargnEbene estert mmer, HardMargnEbene ncht! Slack ξ Margn / 33 Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe
34 SoftMargnMamerung SoftMargnMamerung: Mnmere C ξ unter den Nebenbedngungen: für alle Bespele, : Alle ξ 0. Ensetzen von ξ n Optmerungskrterum ergbt ma{0, Mnmere: >ξ C } δ δ Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe Slack ξ Margn / 34
35 SoftMargnMamerung SoftMargnMamerung: Mnmere: Mnmerung mt Gradentenverfahren. C ma{0, } Annäherung durch dfferenzerbare Varante Huber statt HngeLoss, dann NetonVerfahren. Krterum st konve, es gbt genau en Mnmum. Prmale Support Vector Machne. δ δ Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe Slack ξ Margn / 35
36 SoftMargnMamerung SoftMargnMamerung: Mnmere: C Mnmerung mt Gradentenverfahren. Wederhole: E H η E ma{0, } H Enthält Summe über alle Bespele δ Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 36
37 Logstsche Regresson SVM: großer Entschedungsfunktonsert ~ hohe Scherhet der Vorhersage. Aber: bem lernen ncht auf korrekte Kalbrerung der Klassenahrschenlchketen optmert. f8.3 Rsko enes Fehlers? Logstsche Regresson: Vorhersage der Klassenahrschenlchket. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 37
38 Logstsche Regresson Baes Regel: Logodd rato: P a ln p p p p p P p P p P P P P P σ a ep a Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 38
39 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 39 Logstsche Regresson Lkelhood jeder Klasse normalvertelt, gemensame Kovaranzmatr für bede Klassen. Loggodds rato: Σ Σ 2 ep 2 2 / 2 / µ µ π d p [ ] 0 ln 2 2 ln ep 2 2 ep 2 ln 2 / 2 / 2 / 2 / d d P P P P P P a Σ Σ Σ Σ Σ Σ Σ Σ Σ µ µ µ µ µ µ µ µ µ µ µ µ π µ µ π
40 Logstsche Regresson Lkelhood jeder Klasse normalvertelt, gemensame Kovaranzmatr für bede Klassen. p 2π Loggodds rato: a [ Σ µ ] d ep µ Σ µ / 2 / 2 Σ 2 P µ ln µ Σ µ µ Σ µ 2 2 P 0 Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 40
41 Logstsche Regresson Wenn ze klassen jeels normalvertelte Lkelhood mt derselben Kovaranzmatr haben, dann nmmt P dese Form an: P σ 0 ep 0 lnearer Klassfkator P logstsche Funkton Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 0 4
42 Logstsche Regresson Bsher: Motvaton der Form des logstschen Klassfkatonsmodells. Falls Klassenvertelungen bekannt ären, könnten r und 0 aus µ, µ und Σ herleten. Snd aber ncht bekannt. Vertelungsannahme muss auch ncht stmmen. Jetzt: We fnden r tatsächlch Parameter und 0? Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 42
43 Logstsche Regresson Pror über Parameter: Normalvertelung, ~ N[0,σ ]. Posteror: Verlustfunkton: P L N N σ p [[ E, L log p L, p ]] σ [[ ]] p N [[ ]]logσ [[ ]]log σ 2 σ ' Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 43
44 Logstsche Regresson Verlustfunkton st konve und dfferenzerbar. Gradentenabsteg führt zum Mnmum. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 44
45 MultklassenKlassfkaton Bnäre Klassfkaton: Lneare Klassfkaton: MultklassenKlassfkaton: Endlche Menge von KlassenLabels, Ansatz: Statt sgn 0 jetzt arg ma f, {, } sgn 0 Y Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 45
46 Lernen mt strukturerten Ausgaben Klassfkaton be mehr als ze Klassen: f bekommt jetzt ze Parameter. Gemensame Merkmale von En und Ausgabe: * arg ma f, f, Φ, Glecher Ansatz für Multklassen, Sequenz und StrukturLernen, Rankng. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 46
47 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 47 Lernen mt strukturerten Ausgaben Constrants be normaler SVM: Für alle, : Constrants mt strukturerten Ausgaben: Für alle, : und alle : ξ > ξ ξ > Φ Φ Φ > Φ,,,,
48 Lernen mt strukturerten Ausgaben Gegeben: L Wederhole bs alle Sequenzen korrekt vorhergesagt erden. Iterere über alle Bespele,. Bestmme arg ma Φ, Wenn Φ, < Φ, MargnVerletzung dann füge Constrant Φ, Φ, ξ dem Workng Set hnzu. Löse Optmerungsproblem für Engabe, Ausgabe, und negatve PseudoBespele orkng set. Lefere zurück.,,...,, m m Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 48
49 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 49 MultklassenSVM Klassfkaton be mehr als ze Klassen: MultklassenMerkmale:, arg ma * f,, f Φ Λ Φ Λ ]] [[... ]] [[, ]] [[... ]] [[ k k φ φ φ
50 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 50 MultklassenSVM Jede Klasse hat prvaten Abschntt des Gechtsvektors: Φ ]] [[... ]] [[... ]] [[... ]] [[ ]] [[... ]] [[, k n k n n n k k k
51 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 5 MultklassenSVM Jede Klasse hat prvaten Abschntt des Gechtsvektors: Bespel: Φ ]] [[ ]] [[ ]] [[,
52 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 52 Klassfkaton mt aonomen Klassen n Baumstruktur:, arg ma * f,, Φ f,..., d Λ Λ Λ... d Λ Λ Λ Φ ]] [[... ]] [[... ]] [[... ]] [[..., d n d d d n d φ φ φ
53 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 53 Klassfkaton mt aonomen Jeder Knoten hat enen prvaten Abschntt des Gechtsvektors. Pfade telen sch Abschntte, enn se gemensame Knoten benhalten. Λ Λ Λ Φ d d k d n d k d n n n d n d d d n d d d d k d k ]] [[... ]] [[... ]] [[... ]] [[ ]] [[... ]] [[... ]] [[... ]] [[ ,
54 Sequentelle En/Ausgaben Z.B. Wortarterkennung: Egennamenerkennung, Informatonsetrakton: Gemensame Repräsentaton von En und Ausgabe. Curost klls the cat. <Noun, Verb, Determner, Noun> Barbe meets Ken. <Person,, Person> * arg ma f, f, Φ, Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 54
55 Sequentelle En/Ausgaben Attrbut für jedes Paar benachbarter Labels t und t φ 23 t, t [[ t Noun t Verb ]] Curost klls the cat Attrbut für jedes Paar aus Engabe und Ausgabe. φ 234 t, t [[ t Noun Labellabel: t φ t, t. LabelBeobachtung: t φ t, t. Gemensamer Merkmalsvektor Φ, t,φ 23 t, t,,φ 234 t, t,... Gechtsvektor, 23,, 234, t cat ]] Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 55
56 Sequentelle En/Ausgaben: Dekoderung Um ene Sequenz zu klassfzeren, muss * arg ma f, berechnet erden. Das argma geht über alle möglchen Sequenzen eponentell vele n der Länge. f, Φ, summert über Merkmale benachbarter LabelPaare und Merkmale von Paaren. Mt dnamscher Programmerung kann argma n lnearer Zet berechnet erden Vterb. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 56
57 Sequentelle En/Ausgaben: Dekoderung Gemensamer Merkmalsvektor Φ, t,φ 23 t, t,,φ 234 t, t, φ 23 t, t [[ t Noun φ 234 t, t [[ t Noun t Verb ]] t John ]] Fnde argma Φ, effzent mt ranstonsmatr A{a σ,τ } und Beobachtungsmatr B {b t,σ }, σ,τ {,N,V,D}: a,n V V N N N N b 2,N Db,N D D D b 4,N b Curost klls the 3,N cat V V Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe HM SVM benutzt 2best Vterb Dekoderung. 57
58 VterbAlgorthmus Defnton: Score, der n Φ, erzeugt rd, enn t σ und t τ. Defnton: Score, der n Φ, erzeugt rd, enn t σ und Wort t erschent. Gesucht: a στ b S t σ, t τ t S t σ, t σ arg ma Φ, arg ma,..., S,..., N,,..., N N Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 58
59 Scheffer/Saade: Sprachtechnologe Scheffer/Hader/Prasse: Sprachtechnologe 59 VterbAlgorthmus, heorem heorem: Bees: Lneare Bestmmung des höchstscorenden Pfades mt dnamscher Programmerung.,...,,,,..., ma,..., λ σ σ δ t t t t S t ma t t t b a τ στ σ σ δ τ δ ma,...,,,..., ma ma,...,...,...,,,..., ma,...,,,,..., ma,...,,...,,..., t t t t t t t t t t t t t t t b a b a S S S S S t t t τ στ σ τ στ σ σ δ σ σ τ τ τ δ
60 Lernen mt strukturerten Ausgaben Bespel: POSaggng Wortarterkennung Satz Curost klls the cat Geünscht: argma Φ, <N,V,Det,N> Eplzt: Φ,<N,V,Det,N> Φ,<N,N,N,N> Φ,<N,V,Det,N> Φ,<N,N,N,V> Φ,<N,V,Det,N> Φ,<N,N,V,N> Φ,<N,V,Det,N> Φ,<N,V,N,N> ZU VIELE!!! Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 60
61 Lernen mt strukturerten Ausgaben Hdden Markov Support Vector Machne. LargeMargnAnsatz: γ /. mn ½ 2 C ξ s.d. Φ, Φ, ξ ξ 0. Iteratves ranng. Negatve Constrants erden hnzugefügt, enn bem ranng Fehler auftrtt. Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 6
62 Lernen mt strukturerten Ausgaben Gegeben: L Wederhole bs alle Sequenzen korrekt vorhergesagt erden. Iterere über alle Bespele,. Bestmme arg ma Φ, Wenn Φ, < Φ, MargnVerletzung dann füge Constrant Φ, Φ, ξ dem Workng Set hnzu. Löse Optmerungsproblem für Engabe, Ausgabe, und negatve PseudoBespele orkng set. Lefere zurück.,,...,, m m Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe 62
63 Scheffer/Hader/Prasse: Scheffer/Saade: Sprachtechnologe Fragen? 63
Textklassifikation und Informationsextraktion
Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen etklassfkaton und Informatonsetrakton obas Scheffer Paul Prasse Mchael Großhans Ue Dck etklassfkaton, Informatonsetrakton etklassfkaton,
HUMBOLDT-UNIVERSITÄT ZU BERLIN. Institut für Informatik Lehrstuhl Wissensmanagement. Textklassifikation. Tobias Scheffer Ulf Brefeld
HUMBOLDTUNIVERSITÄT ZU BERLIN Insttut für Informatk Lehrstuhl Wssensmanagement Textklassfkaton Tobas Scheffer Ulf Brefeld Textklassfkaton Textklassfkator: Ordnet enen Text ener Menge von nhaltlchen Kategoren
Kapitel 8: Kernel-Methoden. Maschinelles Lernen und Neural Computation
Kaptel 8: Kernel-Methoden SS 009 Maschnelles Lernen und Neural Computaton 50 Ausgangsbass: Perceptron Learnng Rule Δw y = Kf = 0Ksonst K"target" = Kf Rosenblatt (96) Input wrd dazugezählt (abgezogen),
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Niels Landwehr
Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen Graphsche Modelle els Landwehr Zusammenfassung Pfade Zusammenfassung: en Pfad --Y-Z- st B A E Blockert be Y, wenn Dvergerende Verbndung,
Textklassifikation, Informationsextraktion
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen Textklassifikation, Informationsextraktion Tobias Scheffer Thomas Vanck Textklassifikation, Informationsextraktion 2 Textklassifikation,
Die Annäherung der Binomialverteilung durch die Normalverteilung am Beispiel eines Modells der Schadenversicherung
am Bespel enes Modells der chadenverscherung Für das Modell ener chadenverscherung se gegeben: s w s. n 4 chaden enes Verscherungsnehmers, wenn der chadenfall entrtt Wahrschenlchket dafür, dass der chadenfall
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen
Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen Zusammenfassung: Lernprobleme, Bayes sches Lernen, Evaluerung Chrstoph Sawade/Nels Landwehr/Paul Prasse Slva Makowsk obas Scheffer Überblck
Modelle, Version Spaces, Lernen
Unverstät Potsdam Insttut ür Inormatk Lehrstuhl Maschnelles Lernen Maschnelles Lernen Modelle Verson Spaces Lernen Tobas Scheer Mchael Brückner Klasskaton Engabe: Instanz Objekt X. Können durch Attrbut-Vektoren
Kapitel 4: Unsicherheit in der Modellierung Modellierung von Unsicherheit. Machine Learning in der Medizin 104
Kaptel 4: Unscherhet n der Modellerung Modellerung von Unscherhet Machne Learnng n der Medzn 104 Regresson Modellerung des Datengenerators: Dchteschätzung der gesamten Vertelung, t pt p p Lkelhood: L n
Daten sind in Tabellenform gegeben durch die Eingabe von FORMELN können mit diesen Daten automatisierte Berechnungen durchgeführt werden.
Ene kurze Enführung n EXCEL Daten snd n Tabellenform gegeben durch de Engabe von FORMELN können mt desen Daten automatserte Berechnungen durchgeführt werden. Menüleste Symbolleste Bearbetungszele aktve
Klassifikation mit dem Perceptron von Rosenblatt. Vom Perceptron zum Multilagen-Perceptron. Error-Backpropagation Lernregel
Neuronale Verfahren zur Funktonsaromaton Klassfkaton mt em Percetron von Rosenblatt Vom Percetron zum Multlagen-Percetron Error-Backroagaton ernregel Raale Bassfunktonen-Netze PD Dr Martn Stetter, Semens
Informatik II. Minimalpolynome und Implikanten. Minimalpolynome. Minimalpolynome. Rainer Schrader. 27. Oktober Was bisher geschah: Definition
Informatk II Raner Schrader und Implkanten Zentrum für Angewandte Informatk Köln 27. Oktober 2005 1 / 28 2 / 28 Was bsher geschah: jede Boolesche Funkton kann durch enfache Grundfunktonen dargestellt werden
Kapitel 7: Ensemble Methoden. Maschinelles Lernen und Neural Computation
Kaptel 7: Ensemble Methoden 133 Komtees Mehrere Netze haben bessere Performanz als enzelne Enfachstes Bespel: Komtee von Netzen aus der n-fachen Kreuzvalderung (verrngert Varanz) De Computatonal Learnng
18. Dynamisches Programmieren
8. Dynamsches Programmeren Dynamsche Programmerung we gerge Algorthmen ene Algorthmenmethode, um Optmerungsprobleme zu lösen. We Dvde&Conquer berechnet Dynamsche Programmerung Lösung enes Problems aus
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Graphische Modelle. Niels Landwehr
Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen Graphsche Modelle els Landwehr Überblck Graphsche Modelle: Syntax und Semantk Graphsche Modelle m Maschnellen Lernen Inferenz n Graphschen
Bayessches Lernen (3)
Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen Bayessches Lernen (3) Chrstoph Sawade/Nels Landwehr Jules Rasetaharson Tobas Scheffer Überblck Wahrschenlchketen, Erwartungswerte, Varanz
Näherungsverfahren. Wiederhole den Algorithmusbegriff. Erläutere die Begriffe: Klasse der NP-Probleme. Probleme. Probleme. Approximative Algorithmen
Näherungsverfahren Wederhole den Algorthmusbegrff. Erläutere de Begrffe: Klasse der P-ProblemeP Probleme Klasse der NP-Probleme Probleme Approxmatve Algorthmen Stochastsche Algorthmen ALGORITHMEN Def.:
Bedingte Entropie. Bedingte Entropie. Bedingte Entropie. Kapitel 4: Bedingte Entropie I(X;Y) H(X Y) H(Y) H(X) H(XY)
Bedngte Entrope Kaptel : Bedngte Entrope Das vorherge Theorem kann durch mehrfache Anwendung drekt verallgemenert werden H (... H ( = Ebenso kann de bedngt Entrope defnert werden Defnton: De bedngte Entrope
14 Schätzmethoden. Eigenschaften von Schätzungen ˆθ. Sei ˆθ n eine Schätzung eines Parameters θ, die auf n Beobachtungen beruht.
14 Schätzmethoden Egenschaften von Schätzungen ˆθ Se ˆθ n ene Schätzung enes Parameters θ, de auf n Beobachtungen beruht. ˆθn n θ Konsstenz (Mnmalforderung) Eˆθ n = θ Erwartungstreue Eˆθ n n θ Asymptotsche
(Theoretische) Konfidenzintervalle für die beobachteten Werte: Die Standardabweichung des Messfehlers wird Standardmessfehler genannt:
(Theoretsche Konfdenzntervalle für de beobachteten Werte: De Standardabwechung des Messfehlers wrd Standardmessfehler genannt: ( ε ( 1- REL( Mt Hlfe der Tschebyscheff schen Unglechung lassen sch be bekanntem
Grundgedanke der Regressionsanalyse
Grundgedanke der Regressonsanalse Bsher wurden durch Koeffzenten de Stärke von Zusammenhängen beschreben Mt der Regressonsrechnung können für ntervallskalerte Varablen darüber hnaus Modelle geschätzt werden
Sortieren. Thomas Röfer. Permutationen Naives Sortieren Sortieren durch Einfügen, Auswählen, Vertauschen, Mischen QuickSort Comparator
Unverstät Bremen Sorteren Thomas Röfer Permutatonen Naves Sorteren Sorteren durch Enfügen, Auswählen, Vertauschen, Mschen QuckSort Comparator Unverstät Bremen Rückblck Suchen Identtät/Flache/Tefe Glechhet
Streuungs-, Schiefe und Wölbungsmaße
aptel IV Streuungs-, Schefe und Wölbungsmaße B... Lagemaße von äufgketsvertelungen geben allen weng Auskunft über ene äufgketsvertelung. Se beschreben zwar en Zentrum deser Vertelung, geben aber kenen
Modelle, Version Spaces, Lernen
Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen Maschnelles Lernen Modelle, Verson Spaces, Lernen Chrstoph Sawade/Nels Landwehr Domnk Lahmann Tobas Scheffer Überblck Problemstellungen:
Modelle, Version Spaces, Lernen
Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen Maschnelles Lernen Modelle, Verson Spaces, Lernen Chrstoph Sawade/Nels Landwehr Slva Makowsk Tobas Scheffer Überblck Problemstellungen:
6. Übung zur Linearen Algebra II
Unverstät Würzburg Mathematsches Insttut Prof. Dr. Peter Müller Dr. Peter Fleschmann SS 2006 30.05.2006 6. Übung zur Lnearen Algebra II Abgabe: Bs Mttwoch, 14.06.2006, 11:00 Uhr n de Brefkästen vor der
Sortieren. Thomas Röfer. Permutationen Naives Sortieren Sortieren durch Einfügen, Auswählen, Vertauschen, Mischen QuickSort Comparator
Unverstät Bremen Sorteren Thomas Röfer Permutatonen Naves Sorteren Sorteren durch Enfügen, Auswählen, Vertauschen, Mschen QuckSort Comparator Unverstät Bremen Rückblck Suchen Identtät/Flache/Tefe Glechhet
Dynamisches Programmieren
Marco Thomas - IOI 99 -. Treffen n Bonn - Dynamsches Programmeren - Unverstät Potsdam - 8.02.999 Dynamsches Programmeren 957 R. Bellmann: Dynamc Programmng für math. Optmerungsprobleme Methode für Probleme,.
5. Gruppenübung zur Vorlesung. Höhere Mathematik 1. Wintersemester 2012/2013
O. Alaya, S. Demrel M. Fetzer, B. Krnn M. Wed 5. Gruppenübung zur Vorlesung Höhere Mathematk Wntersemester /3 Dr. M. Künzer Prof. Dr. M. Stroppel Lösungshnwese zu den Hausaufgaben: Aufgabe H 6. Darstellungen
5 Gemischte Verallgemeinerte Lineare Modelle
5 Gemschte Verallgemenerte Lneare Modelle Wr betrachten zunächst enge allgemene Aussagen für Gemschte Verallgemenerte Lneare Modelle. Se y der beobachtbare Zufallsvektor und u der Vektor der ncht-beobachtbaren
Standardnormalverteilung / z-transformation
Standardnormalvertelung / -Transformaton Unter den unendlch velen Normalvertelungen gbt es ene Normalvertelung, de sch dadurch ausgeechnet st, dass se enen Erwartungswert von µ 0 und ene Streuung von σ
Resultate / "states of nature" / mögliche Zustände / möglicheentwicklungen
Pay-off-Matrzen und Entschedung unter Rsko Es stehen verschedene Alternatven (Strategen) zur Wahl. Jede Stratege führt zu bestmmten Resultaten (outcomes). Man schätzt dese Resultate für jede Stratege und
Lineare Regression (1) - Einführung I -
Lneare Regresson (1) - Enführung I - Mttels Regressonsanalysen und kompleeren, auf Regressonsanalysen aserenden Verfahren können schenar verschedene, jedoch nenander üerführare Fragen untersucht werden:
Die Leistung von Quicksort
De Lestung von Qucsort Jae Hee Lee Zusammenfassung Der Sorteralgorthmus Qucsort st als ens der effzenten Sorterverfahren beannt. In deser Ausarbetung werden wr sene Komplextät zuerst möglchst präzse schätzen
Stützvektormethode (SVM) Erinnerung: Funktionslernen. Beispiel: Funktionenlernen. Reale Beispiele
technsche unverstät Fakultät für Inforatk technsche unverstät Fakultät für Inforatk Stützvektorethode (SVM) Maxeren der Brete ener separerenden Hyperebene axu argn ethod Transforaton des Datenraus durch
Kapitel 2: Klassifikation. Maschinelles Lernen und Neural Computation
Kaptel 2: Klassfkaton Maschnelles Lernen und Neural Computaton 28 En enfacher Fall En Feature, Hstogramme für bede Klassen (z.b. Glukosewert, Dabetes a/nen) Kene perfekte Trennung möglch Entschedung: Schwellwert
Fachbereich Mathematik Prof. K. Grosse-Brauckmann D. Frisch WS 2007/08 10./ Gruppenübung
Fachberech Mathematk Prof. K. Grosse-Brauckmann D. Frsch WS 27/8./.. 6. Übungsblatt zur Lnearen Algebra für Physker Gruppenübung Aufgabe G7 (Kern, Bld, Rang und Orthogonaltät) Gegeben se ene lneare Abbldung
Sequential minimal optimization: A fast Algorithm for Training Support Vector machines
Sequental mnmal optmzaton: A fast Algorthm for Tranng Support Vector machnes By John C. Platt (998) Referat von Joerg Ntschke Fall der ncht-trennbaren Tranngs-Daten (/) In der Realtät kommen lnear ncht-trennbare
Definition des linearen Korrelationskoeffizienten
Defnton des lnearen Korrelatonskoeffzenten r xy x y y r x xy y 1 x x y y x Der Korrelatonskoeffzent st en Indkator dafür, we gut de Punkte (X,Y) zu ener Geraden passen. Sen Wert legt zwschen -1 und +1.
Fallstudie 1 Diskrete Verteilungen Abgabe: Aufgabentext und Lösungen schriftlich bis zum
Abgabe: Aufgabentext und Lösungen schrftlch bs zum 15. 6. 2012 I. Thema: Zehen mt und ohne Zurücklegen Lesen Se sch zunächst folgenden Text durch! Wr haben bsher Stchprobenzehungen aus Grundgesamtheten
Maschinelles Lernen (Zusammenfassung)
Unverstät Potsdam Insttut für Informatk Lehrstuhl (Zusammenfassung) Chrstoph Sawade /Nels Landwehr/Paul Prasse Domnk Lahmann Tobas Scheffer Überblck Lernprobleme Entschedungsbäume Bayes sches Lernen Lneare
Information Retrieval: Grundlagen & Modellierung
HUMBOLDT-UNIVERSITÄT ZU BERLIN Insttut für Informatk Lehrstuhl Wssensmanagement Informaton Retreval: Grundlagen & Modellerung Tobas Scheffer Ulf Brefeld Informaton Retreval Repräsentaton, Specherung, Zugrff
e dt (Gaußsches Fehlerintegral)
Das Gaußsche Fehlerntegral Φ Ac 5-8 Das Gaußsche Fehlerntegral Φ st denert als das Integral über der Standard-Normalvertelung j( ) = -,5 n den Grenzen bs, also F,5 t ( ) = - e dt (Gaußsches Fehlerntegral)
Regressionsgerade. x x 1 x 2 x 3... x n y y 1 y 2 y 3... y n
Regressonsgerade x x x x 3... x n y y y y 3... y n Bem Auswerten von Messrehen wrd häufg ene durch theoretsche Überlegungen nahegelegte lneare Bezehung zwschen den x- und y- Werten gesucht, d.h. ene Gerade
Multilineare Algebra und ihre Anwendungen. Nr. 6: Normalformen. Verfasser: Yee Song Ko Adrian Jenni Rebecca Huber Damian Hodel
ultlneare Algebra und hre Anwendungen Nr. : Normalformen Verfasser: Yee Song Ko Adran Jenn Rebecca Huber Daman Hodel 9.5.7 - - ultlneare Algebra und hre Anwendungen Jordan sche Normalform Allgemene heore
1 Finanzmathematik. 1.1 Das Modell. Sei Xt
1.1 Das Modell Se Xt der Pres enes Assets zur Zet t und X = X ) 1 d der Rd +-dmensonale Presprozess. Das Geld kann auch zu dem rskolosen Znssatz r be ener Bank angelegt werden. Der Wert deser Anlage wrd
Funktionsgleichungen folgende Funktionsgleichungen aus der Vorlesung erhält. = e
Andere Darstellungsformen für de Ausfall- bzw. Überlebens-Wahrschenlchket der Webull-Vertelung snd we folgt: Ausfallwahrschenlchket: F ( t ) Überlebenswahrschenlchket: ( t ) = R = e e t t Dabe haben de
Vorlesung 3 Differentialgeometrie in der Physik 13
Vorlesung 3 Dfferentalgeometre n der Physk 13 Bemerkung. Ist M Manngfaltgket, p M und φ : U R n Karte mt p U, so nennt man U auch Koordnatenumgebung und φ auch Koordnatensystem n p. Bespel 2.4 Seen R >
Rotation (2. Versuch)
Rotaton 2. Versuch Bekannt snd berets Vektorfelder be denen das Lnenntegral über ene geschlossene Kurve Null wrd Stchworte: konservatve Kraft Potentalfelder Gradentenfeld. Es gbt auch Vektorfelder be denen
Übungsblatt 7 Lösungsvorschläge
Insttut für Theoretsche Informatk Lehrstuhl Prof. Dr. D. Wagner Übungsblatt 7 Lösungsvorschläge Vorlesung Algorthmentechnk m WS 09/10 Problem 1: Mnmale Schnttbass Approxmatonsalgos relatver Gütegarante
Spiele und Codes. Rafael Mechtel
Spele und Codes Rafael Mechtel Koderungstheore Worum es geht Über enen Kanal werden Informatonen Übertragen. De Informatonen werden dabe n Worte über enem Alphabet Q übertragen, d.h. als Tupel w = (w,,
Übungsklausur zur Vorlesung Wahrscheinlichkeit und Regression Lösungen. Übungsklausur Wahrscheinlichkeit und Regression Die Lösungen
Übungsklausur Wahrschenlchket und Regresson De Lösungen. Welche der folgenden Aussagen treffen auf en Zufallsexperment zu? a) En Zufallsexperment st en emprsches Phänomen, das n stochastschen Modellen
Diskrete Logarithmen. Teil II
Dskrete Logarthmen Ron-Gerrt Vahle Hendrk Radke Unverstät Potsdam Insttut für Informatk Semnar Kryptographe SS2005 Tel II Glederung Pohlg-Hellman Index-Calculus Theoretsche Grenzen Endlche Körper Eplog
12 UMPU Tests ( UMP unbiased )
89 1 UMPU Tests ( UMP unbased ) Nach Bemerkung 11.8(b) exstert m Allgemenen ken zwesetger UMP- Test zu enem Nveau α. Deshalb Enschränkung auf unverfälschte Tests: ϕ Φ α heßt unverfälscht (unbased) zum
Beispiel: Textklassifikation
Bespel: Textklassfkaton To: ruepng@ls8.cs.undortmund.de Subject: Astonshng Guaranteed XXX Pctures FREE! Gao In the next mnutes you are gong to learn how to get access to totally FREE xxx pctures. Let me
-70- Anhang: -Lineare Regression-
-70- Anhang: -Lneare Regressn- Für ene Messgröße y f(x) gelte flgender mathematsche Zusammenhang: y a+ b x () In der Regel läßt sch durch enen Satz vn Messwerten (x, y ) aber kene Gerade zechnen, da de
Kurs Mikroökonometrie Rudolf Winter-Ebmer Thema 3: Binary Choice Models Probit & Logit. Wahlentscheidung Kauf langlebiger Konsumgüter Arbeitslosigkeit
BINARY CHOICE MODELS 1 mt Pr( Y = 1) = P Y = 0 mt Pr( Y = 0) = 1 P Bespele: Wahlentschedung Kauf langlebger Konsumgüter Arbetslosgket Schätzung mt OLS? Y = X β + ε Probleme: Nonsense Predctons ( < 0, >
Facility Location Games
Faclty Locaton Games Semnar über Algorthmen SS 2006 Klaas Joeppen 1 Abstract Wr haben berets sehr häufg von Nash-Glechgewchten und vor allem von deren Exstenz gesprochen. Das Faclty Locaton Game betet
Stochastische Prozesse
INSTITUT FÜR STOCHASTIK SS 009 UNIVERSITÄT KARLSRUHE Blatt 4 Prv.-Doz. Dr. D. Kadelka Dpl.-Math. W. Lao Übungen zur Vorlesung Stochastsche Prozesse Musterlösungen Aufgabe 16: (Success Run, Fortsetzung)
Lineare Optimierung Dualität
Kaptel Lneare Optmerung Dualtät D.. : (Dualtät ) Folgende Aufgaben der lnearen Optmerung heßen symmetrsch dual zuenander: und { z = c x Ax b x } max, 0 { Z b A c } mn =, 0. Folgende Aufgaben der lnearen
Beschreibung des Zusammenhangs zweier metrischer Merkmale. Streudiagramme Korrelationskoeffizienten Regression
Beschrebung des Zusammenhangs zweer metrscher Merkmale Streudagramme Korrelatonskoeffzenten Regresson Alter und Gewcht be Kndern bs 36 Monaten Knd Monate Gewcht 9 9 5 8 3 4 7.5 4 3 6 5 3 6 4 3.5 7 35 5
binäre Suchbäume Informatik I 6. Kapitel binäre Suchbäume binäre Suchbäume Rainer Schrader 4. Juni 2008 O(n) im worst-case Wir haben bisher behandelt:
Informatk I 6. Kaptel Raner Schrader Zentrum für Angewandte Informatk Köln 4. Jun 008 Wr haben bsher behandelt: Suchen n Lsten (lnear und verkettet) Suchen mttels Hashfunktonen jewels unter der Annahme,
Mathematische und statistische Methoden II
Methodenlehre e e Prof. Dr. G. Menhardt 6. Stock, Wallstr. 3 (Raum 06-206) Sprechstunde jederzet nach Verenbarung und nach der Vorlesung. Mathematsche und statstsche Methoden II Dr. Malte Perske perske@un-manz.de
Stützvektormethode (SVM)
Stützvektorethode (SVM) Maeren der Brete ener separerenden Hperebene au argn ethod Transforaton des Datenraus durh Kernfunkton Strukturelle Rskonerung Vladr Vapnk The Nature of Statstal Learnng Theor Sprnger
Multivariate Analysemethoden
Multvarate Analysemethoden q-q-plot Methode zur Prüfung der Multvaraten Normalvertelung Günter Menhardt Johannes Gutenberg Unverstät Manz Prüfung der NV-Annahme Vertelungsanpassung/Prüfung Prüfung der
Sei T( x ) die Tangente an den Graphen der Funktion f(x) im Punkt ( x 0, f(x 0 ) ) : T( x ) = f(x 0 ) + f (x 0 ) ( x - x 0 ).
Taylorentwcklung (Approxmaton durch Polynome). Problemstellung Se T( x ) de Tangente an den Graphen der Funkton f(x) m Punkt ( x 0, f(x 0 ) ) : T( x ) = f(x 0 ) + f (x 0 ) ( x - x 0 ). Dann kann man de
Arbeitsgruppe Radiochemie Radiochemisches Praktikum P 06. Einführung in die Statistik. 1. Zählung von radioaktiven Zerfällen und Statistik 2
ETH Arbetsgruppe Radocheme Radochemsches Praktkum P 06 Enführung n de Statstk INHALTSVERZEICHNIS Sete 1. Zählung von radoaktven Zerfällen und Statstk 2 2. Mttelwert und Varanz 2 3. Momente ener Vertelung
Nullstellen Suchen und Optimierung
Nullstellen Suchen und Optmerung Typsche Probleme: De optmale Bahnkurve De Mnmerung des Erwartungswertes ür den Hamltonan Wr möchten ene Funkton mnmeren oder mameren solch en Problem wrd Optmerung genannt!
Übung zur Vorlesung - Theorien Psychometrischer Tests II
Übung zur Vorlesung - Theoren Psychometrscher Tests II N. Rose 9. Übung (15.01.2009) Agenda Agenda 3-parametrsches logstsches Modell nach Brnbaum Lnkfunktonen 3PL-Modell nach Brnbaum Modellglechung ( =
Übersicht der Vorlesung
Überscht der Vorlesung. Enführung. Bldverarbetung 3. Morphologsche Operatonen 4. Bldsegmenterung 5. Merkmale von Objekten 6. Klassfkaton 7. Dredmensonale Bldnterpretaton 8. Bewegungsanalyse aus Bldfolgen
Kapitel 4: Lernen als Optimierung. Maschinelles Lernen und Neural Computation
Kaptel 4: Lernen als Optmerung 71 Lernen als Funktonsoptmerung Gegeben: Fehlerfunkton (.a. neg. log Lkelhood) n z.b.: 2 E E ( ) ( ( ) W = f x ; W t ) n = 1 ( ) ( ( ) ( = + ) ( ( W t log f x t f x ) n ;
Technische Universität München Zentrum Mathematik Diskrete Optimierung: Fallstudien aus der Praxis. Das Cutting Stock-Problem
1 Problem Technsche Unverstät München Zentrum Mathematk Dskrete Optmerung: Fallstuden aus der Praxs Barbara Wlhelm Mchael Rtter Das Cuttng Stock-Problem Ene Paperfabrk produzert Paperrollen der Brete B.
Das zum dualen Problem (10.2) gehörige Barriere-Problem lautet analog
60 Kaptel 2. Lneare Optmerung 10 Innere-Punkte-Verfahren Lteratur: Geger, Kanzow, 2002, Kaptel 4.1 Innere-Punkte-Verfahren (IP-Verfahren) oder nteror pont methods bewegen sch m Gegensatz zum Smplex-Verfahren
Stochastische Prozesse
INSTITUT FÜR STOCHASTIK SS 2009 UNIVERSITÄT KARLSRUHE Blatt 2 Prv.-Doz. Dr. D. Kadelka Dpl.-Math. W. Lao Übungen zur Vorlesung Stochastsche Prozesse Musterlösungen Aufgabe 7: (B. Fredmans Urnenmodell)
Analysis I. Vorlesung 17. Logarithmen. R R, x exp x,
Prof. Dr. H. Brenner Osnabrück WS 2013/2014 Analyss I Vorlesung 17 Logarthmen Satz 17.1. De reelle Exponentalfunkton R R, x exp x, st stetg und stftet ene Bjekton zwschen R und R +. Bewes. De Stetgket
Lineare Regression. Stefan Keppeler. 16. Januar Mathematik I für Biologen, Geowissenschaftler und Geoökologen
Mathematk I für Bologen, Geowssenschaftler und Geoökologen 16. Januar 2012 Problemstellung Bespel Maß für Abwechung Trck Mnmum? Exponentalfunktonen Potenzfunktonen Bespel Problemstellung: Gegeben seen
1 Definition und Grundbegriffe
1 Defnton und Grundbegrffe Defnton: Ene Glechung n der ene unbekannte Funkton y y und deren Abletungen bs zur n-ten Ordnung auftreten heßt gewöhnlche Dfferentalglechung n-ter Ordnung Möglche Formen snd:
4.6 Das Pumping-Lemma für reguläre Sprachen:
Theoretsche Informatk 1 Vorlesungsskrpt vom Fretag, 30 Jun 000 Index: Erstellt von: (Matrkelnummer: 70899) Sete : 46 Das Pumpng-Lemma für reguläre Sprachen 1 Satz W 1 Zugrundelegende Idee des Pumpng-Lemma
Gauss sche Fehlerrrechnung
Gauss sche Fehlerrrechnung T. Ihn 24. Oktober 206 Inhaltsverzechns Modell und Lkelhood 2 Alle Standardabwechungen σ snd bekannt, bzw. de Kovaranzmatrx der Daten st bekannt: Mnmeren der χ 2 -Funkton. 6
Konkave und Konvexe Funktionen
Konkave und Konvexe Funktonen Auch wenn es n der Wrtschaftstheore mest ncht möglch st, de Form enes funktonalen Zusammenhangs explzt anzugeben, so kann man doch n velen Stuatonen de Klasse der n Frage
Beschreibende Statistik Mittelwert
Beschrebende Statstk Mttelwert Unter dem arthmetschen Mttel (Mttelwert) x von n Zahlen verstehen wr: x = n = x = n (x +x +...+x n ) Desen Mttelwert untersuchen wr etwas genauer.. Zege für n = 3: (x x )
Statistik Exponentialfunktion
! " Statstk " Eponentalfunkton # $ % & ' $ ( )&* +, - +. / $ 00, 1 +, + ) Ensemble von radoaktven Atomkernen Zerfallskonstante λ [1/s] Lebensdauer τ 1/λ [s] Anzahl der pro Zetenhet zerfallenden Kerne:
4. Musterlösung. Problem 1: Kreuzende Schnitte **
Unverstät Karlsruhe Algorthmentechnk Fakultät für Informatk WS 05/06 ITI Wagner 4. Musterlösung Problem 1: Kreuzende Schntte ** Zwe Schntte (S, V \ S) und (T, V \ T ) n enem Graph G = (V, E) kreuzen sch,
Numerische Methoden II
umersche Methoden II Tm Hoffmann 23. Januar 27 umersche Bespele umersche Methoden zur Approxmaton von Dervatpresen: - Trnomsche Gttermethode - Implzte Fnte Dfferenzen - Explzte Fnte Dfferenzen - Crank-colson
Modelle, Version Spaces, Lernen
Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen Maschnelles Lernen Modelle, Verson Spaces, Lernen Chrstoph Sawade/Nels Landwehr Jules Rasetaharson Tobas Scheffer Überblck Problemstellungen:
Mi , Dr. Ackermann Übungsaufgaben Gewöhnliche Differentialgleichungen Serie 13
M. 3. 5-4. 45, Dr. Ackermann 6..4 Übungsaufgaben Gewöhnlche Dfferentalglechungen Sere 3.) Bestmmung ener homogenen Dfferentalglechung zu gegebenen Funktonen y (partkuläre Lösungen) enes Fundamentalsystems.
50 Matrixnormen und Eigenwertabschätzungen
50 Matrxnormen und Egenwertabschätzungen 501 Motvaton De Berechnung der Egenwerte ener Matrx st aufwändg (vgl Kaptel 45, Kaptel 51) Kann man de Egenwerte ener Matrx mt gerngem Aufwand abschätzen? Des spelt
Grundlagen der Mathematik I Lösungsvorschlag zum 12. Tutoriumsblatt
Mathematsches Insttut der Unverstät München Wntersemester 3/4 Danel Rost Lukas-Faban Moser Grundlagen der Mathematk I Lösungsvorschlag zum. Tutorumsblatt Aufgabe. a De Formel besagt, daß de Summe der umrahmten
Lösungen zum 3. Aufgabenblock
Lösungen zum 3. Aufgabenblock 3. Aufgabenblock ewerber haben n enem Test zur sozalen Kompetenz folgende ntervallskalerte Werte erhalten: 96 131 11 1 85 113 91 73 7 a) Zegen Se für desen Datensatz, dass
Universität Potsdam Institut für Informatik Lehrstuhl Maschinelles Lernen. Bayessches Lernen
Unverstät Potsdam Insttut für Informatk Lehrstuhl Maschnelles Lernen Bayessches Lernen Chrstoph Sawade/Nels Landwehr Jules Rasetaharson Tobas Scheffer Überblck Wahrschenlchketen, Erwartungswerte, Varanz
3. Lineare Algebra (Teil 2)
Mathematk I und II für Ingeneure (FB 8) Verson /704004 Lneare Algebra (Tel ) Parameterdarstellung ener Geraden Im folgenden betrachten wr Geraden m eukldschen Raum n, wobe uns hauptsächlch de Fälle n bzw
2.1 Einfache lineare Regression 31
.1 Enfache lneare Regresson 31 Regressonsanalyse De Regressonsanalyse gehört zu den am häufgsten engesetzten multvaraten statstschen Auswertungsverfahren. Besonders de multple Regressonsanalyse hat große
(2) i = 0) in Abhängigkeit des Zeitunterschieds x ZeitBus ZeitAuto für seinen Arbeitsweg.) i = 1) oder Bus ( y
5. Probt-Modelle Ökonometre II - Peter Stalder "Bnar Choce"-Modelle - Der Probt-Ansatz Ene ncht drekt beobachtbare stochastsche Varable hängt von x ab: x u 2 u ~ N(0, ( Beobachtet wrd ene bnäre Varable
Gitterbasierte Kryptosysteme (Ajtai-Dwork, Regev) Sebastian Pape
Gtterbaserte Kryptosysteme (Ajta-Dwork, Regev) Sebastan Pape Überblck Motvaton Gtter SVP, usvp, Gtterbassredukton Kryptosysteme Ajta-Dwork Regev (2003), Regev (2005) Zusammenfassung Gtterbaserte Kryptosysteme
Lösungen der Aufgaben zu Kapitel 2
Lösungen der Aufgaben zu Kaptel Abschntt 1 Aufgabe 1 Wr benutzen de Potenzrechenregeln, um ene Potenz von mt geradem Eponenten n oder mt ungeradem Eponenten n + 1 we folgt darzustellen: n n und n+1 n n
Empirische Wirtschaftsforschung
Emprsche Wrtschaftsforschung Prof. Dr. Bernd Süßmuth Unverstät Lepzg Insttut für Emprsche Wrtschaftsforschung Volkswrtschaftslehre, nsbesondere Ökonometre 5. Enfaches OLS-Regressonsmodell 5.1. Herletung