StatistischeModellierung,Klassikationund LokalisationvonObjekten email:hornegger@informatik.uni-erlangen.de LehrstuhlfurMustererkennung(Informatik5), Martensstrae3,91058Erlangen, JoachimHornegger ZusammenfassungIndieserArbeitwirdeinneuerAnsatzzurmodellbasiertenErkennungundLokalisierungdreidimensionalerObjekttengeometrischenBeschreibungensinddiehiereingesetztenObjektmodelleWahrscheinlichkeitsdichten.DieseerlaubendieBerechnungeinelichkeitstheoretischesMa,dasdieGrundlagefurdieRealisierungsta- DichtewertesfureinbeobachtetesBildundlieferndamiteinwahrschein- ModelldichtenwerdenVerfahrenzurautomatischenModellgenerierung MethodenzurParameterschatzungwiebeispielsweisedieMaximum{ Klassikationerlautert.DiebenotigtenmathematischenHilfsmittelsind tistischerklassikatorendarstellt.nebenderallgemeinenstrukturvon ingrauwertbildernvorgestellt.entgegendenublicherweiseverwende- undverfahrenzurezientenoptimierungkontinuierlicherfunktionen. Likelihood{SchatzungundderExpectation{Maximization{Algorithmus ausbeispielaufnahmensowiealgorithmenzurlokalisierungundzur DieexperimentelleEvaluierungdesentwickeltenAnsatzesunddieAn- 1Einfuhrung wendungaufandereproblemstellungendermustererkennungunterstrei- chendievorteileundtragweitestatistischerklassikatoren. DieMustererkennungbeschaftigtsichmitderEntwicklungvonVerfahrenzur AnalyseundInterpretationvonSensordatenundndetdamitindenunterschiedlichstenBereichenderIndustrieundderForschungpotentielleAnwender.SowerdenAlgorithmenderMustererkennungzurErkennungvonSpracheoderauch zuranalysevonbilddateneingesetzt.mitzunehmenderrechenleistungvon sindkostengunstige,ezienteundrobustelosungen,diedieakzeptanzschwellederbenutzeruberschreiten.letztereistziemlichhochanzusetzen,davielalgorithmeneinsetzen.beispielsweisegeltenbelegleserinbankenoderscanner StandardhardwaregibtesimmermehrAnwendungen,dieMustererkennungs- ansupermarktkassenbereitsheutevielerortsalsselbstverstandlich.wesentliche VoraussetzungenfurdieProduktreifevonAlgorithmenderMustererkennung nerschriftzeichen vommenschenproblemlosundmitgroerzuverlassigkeit gelostwerden. AufgabenderMustererkennung wiezumbeispieldaslesenhandgeschriebenemteilgebietdermustererkennung,dasalleaktivitatenumfat,diemitder DasRechnersehen,mitdemsichderfolgendeBeitragbefat,zahltzuei-

Qualitatskontrolle,dieDetektionundVerfolgungsichbewegenderObjekte,die VerarbeitungvisuellerDatenimZusammenhangstehen:Dierechnergestutzte AnalysemedizinischerBilddatenoderdiebereitserwahnteHandschriftenerkennungsindtypischeAnwendungsbeispieledesRechnersehens.ZudenschwierigstenProblemendesRechnersehenszahltdieErkennungundLokalisierunsesProblemnurfurSpezialfallealsgelost,wobeiinvielenAnwendungendie diemiteinerstandard{videokameraaufgenommenwerden.bisheutegiltdie- verfugbarenalgorithmenhinterdenerwartungenundanforderungenderindu- istsomitimmernochvongroemwissenschaftlicheminteresse,undesbestehtin diesemteilbereichdermustererkennungnocheinerheblicherforschungsbedarf. strieliegen.einverfahren,dasdieklassikationundlokalisierungbeliebiger Objekteermoglicht,gibtesbishernicht.DasProblemder3D{Objekterkennung fahrenbetrachtet,dieesdembenutzererlauben,einobjektvoreineroboter- besorgtsichdieinformation,diefurdieerkennungsowiefurdielokalisierung benotigtwird.die2d{ansichtendes3d{objektssowiedasstatistischevergefuhrtekamerazulegen.derrechnererlerntdannselbstandigdasobjektund AlslangfristigesZielder3D{BildverarbeitungwirddieEntwicklungvonVer- dreidimensionalerobjekteunterverwendungvongrauwert{oderfarbbildern, haltenbeobachteterbildmerkmaleakquiriertdercomputerselbstandig.eine len.diefolgendenabschnittefuhreneintheoretischeskonzeptein,dassichan dieserzielsetzungorientiertunddiesbezuglicheinenwesentlichenbeitragleistet. manuelleunterstutzungoderdiebereitstellungeinescad{modellssollentfal- unterschiedlichemoglichkeitenzurstochastischenmodellierungvonobjekten vorgestellt.diezumautomatischentrainingundzurlokalisierungsowieklassikationerforderlichenalgorithmensindgegenstandderabschnitte4und5. BemerkungenfuhrtdernachsteAbschnittdieallgemeinenGrundkonzeptestatistischerKlassikatorenfurdieBildverarbeitungein.Aufbauenddaraufwerden DieArbeituntergliedertsichinsgesamtinachtTeile:Nachdeneinleitenden SchlubemerkungenrundendieArbeitab. dieexperimentellenergebnisseinabschnitt6.einkurzereinblickinweitere EinsatzmoglichkeitendervorgestelltenstatistischenModellierungsowieeinige EinenEindruckderLeistungsfahigkeitderentwickeltenVerfahrenvermitteln 2StatistischeObjekterkennung GrundenderDatenreduktionundderEzienzsteigerungwerdenausMustern klassenzugeordnet.eintypischesklassikationsproblemistdieerkennungvon Merkmaleberechnet,dieeineKlassikationderbeobachtetenMusterzulassen. BeiderKlassikationwerdenMerkmaleeinesMusterseinervonKMuster- SensorenliefernimKontextderMustererkennungsogenannteMuster.Aus Objekten.Abbildung1zeigtvierunterschiedlichePolyeder.JedesdieserObjektedenierteineMusterklasse,dieimweiterenVerlaufmit1,2,3und 4bezeichnetwerden.DieKlassikationsaufgabebestehtbeispielsweiseinder ErkennungdieservierKlasseninbeliebigenGrauwertbildernbeivariierender Objektlage,beiunterschiedlicherBeleuchtungoderauchbeiheterogenemHin-

1 Abbildung1.Polyedrische3D{Objekte 2 3 4 datenfurdiemusterklasse2entscheidet. ersichausgehendvondeninabbildung2,rechts,dargestelltensegmentierungs- tergrund.abbildung2(links)zeigteinbeispielfureinmuster,dasklassiziert dieeinsegmentierungsverfahrenliefert[3].vomklassikatorwirderwartet,da werdensoll.alsmerkmalewerdenhierfureckpunkteundverticesherangezogen, zunehmen.beimodellbasiertenansatzenzurobjekterkennungwirddieahn- lichkeitzwischenprototypen,densogenanntenmodellen,unddenbeobachteten Merkmalengemessen.DieEntscheidungfalltdannfurdiejenigeMusterklasse, derenmodelldiegroteahnlichkeitzumbeobachtetenmusteraufweist.hierfur GrundsatzlichgibtesunterschiedlicheMoglichkeiten,dieKlassikationvorden.StatistischeKlassikatorensetzendieBayes{Entscheidungsregeleinund entscheidensichfurdiejenigeklasse,diefureinegegebenebeobachtungo konneneinabstandsmaminimiertoderwahrscheinlichkeitenmaximiertwer- diea{posterioriwahrscheinlichkeitp(jo)maximiert.bayes{klassikatoren zeichnetihreoptimalitataus.unterbestimmtenvoraussetzungenminimiert diebayes{entscheidungsregeldiewahrscheinlichkeitfureinefehlklassikation. GelingtalsodieLosungeinerKlassikationsaufgabedurchdieRealisierungeines eskeinenanderenklassikatorgebenkann,dereinegeringerefehlerrateaufweist.wesentlichfurdenbayes{klassikatoristdiekenntnisdera{posteriori Bayes{Klassikators,sostellteinErgebnisderEntscheidungstheoriesicher,da WahrscheinlichkeitendereinzelnenMusterklassen. renzkoordinatensystemsbestimmtwerden.hinzukommt,daindenmeisten undorientierungdesobjektesbezuglicheinesgeeignetzudenierendenrefe- desobjekteserforderlich.nebenderklassennummermuauchdieposition genommenwerden,soistzusatzlichzurklassikationauchdielokalisierung GesetztdenFall,einerkanntesObjektsollmiteinemRobotergreiferauf- benden,sondernmehrereobjektebeiheterogenemhintergrund. AnwendungenvonMehrobjektszenenausgegangenwerdenkann.InallerRegel wirdsichnichteineinzelnesobjektvorhomogenemhintergrundinderszene rungvonobjektensomitdietransformationeinerbildmatrixineinesymboli- schebeschreibung.abbildung3zeigteineinfachesbeispielfureineszenemit mehrerenobjektenunddergewunschtensymbolischenbeschreibung,dieneben AusformalerSichtbeschreibteinVerfahrenzurErkennungundLokalisie-

Abbildung2.EinGrauwertbildunddaskorrespondierendeErgebniseinesEckendetektors InderSzenebendensich: {ObjektderKlasse3mitden {ObjektderKlasse2mitden {ObjektderKlasse1mitden LageparameternR3undt3 LageparameternR2undt2 LageparameternR1undt1 Abbildung3.TransformationeinesGrauwertbildesineinesymbolischeBeschreibung {einunbekanntesobjekt DasZielstatistischerVerfahrenzurObjekterkennungbestehtnundarin,dieseTransformationmittelsprobabilistischerMethodendurchzufuhren.Vonden Algorithmen,diedieBerechnungdersymbolischenBeschreibungubernehmen, denklassennummernauchdielageparameterdereinzelnenobjektebeinhaltet. wirderwartet,dasierobust,schnell,zuverlassigundexibelsindundnach erreichtundwerdenkommerziellvertrieben.dergrundhierfuristzweifellosdem EinsatzstatistischerVerfahrenundderRealisierungvonBayes{Klassikatoren MoglichkeitkeineSpezialhardwareerfordern. sehabenalgorithmenzurautomatischenspracherkennungbereitsproduktreife zuzuschreiben.auchinderbildverarbeitungzahlenstatistischeverfahrenzu ImGegensatzzuVerfahrenfurdieObjekterkennungundfurdieSzenenanaly- eszahlreicheargumentegibt,diedeneinsatzvonstatistikzurerkennungvon schemodellierungmoglicherstorgroenbeiderbildaufnahme[6,7,8],obgleich VerfahrenzurObjekterkennungbislangaus.StatistischeMethodenbeschranken sichgrotenteilsaufproblemstellungenderbildvorverarbeitungunddiestatisti- etabliertenmethoden,jedochbliebderkonsequenteeinsatzprobabilistischer Objektensinnvollerscheinenlassen[4]: {DerungebrocheneSiegeszugstatistischerVerfahreninderautomatischen Spracherkennungmotiviert,ahnlicheAnsatzeauchfurdieBildverarbeitung zuerarbeiten.

{DieEntscheidungstheoriegewahrleistetdieOptimalitatdesBayes{Klassikators. {Storungen,diebeispielsweisedurchvariierendeBeleuchtungoderdurchSensorrauschenhervorgerufenwerden,erforderneineadaquatemathematische Modellierung. moglicherweisediemodellierungunddenentwurfvonalgorithmenzurlokalisationundklassikation.diemathematischestatistikverfugtuberzahlspieldiemaximum{likelihood(ml)oderdiemaximum{a{posteriori(map) BeispielefurModellesindMarkovkettenoderMarkov{Zufallsfelder[6].Zur reicheforschungsergebnissezurmodellierungundzurparameterschatzung. BerechnungderfreienParameterderDichtefunktionenkonnenzumBei- {VerfugbaretheoretischeErgebnissedermathematischenStatistikerleichtern vonobjektenistdiedenitiongeeigneterwahrscheinlichkeitsdichten,diedie DaszentraleProblembeiderstatistischenKlassikationundLokalisation SchatzungangewendetundtheoretischeAussagenuberdieRobustheitvon Berechnungvona{posterioriWahrscheinlichkeitenerlauben.ImGegensatzdazu Schatzwerteneingesetztwerden. konnendiea{prioriwahrscheinlichkeitendermusterklassenauseinerklassisichtlichist,wiediestatistischenmodelle imfolgendenauchmodelldichteziertenstichprobeuberrelativehaugkeitengeschatztwerden.danichtoen- genannt zukonstruierensind,isteshilfreich,zunachstdenprozederbildentstehungausgeometrischersowiestatistischersichtzubetrachtenscherobjekte.durchrotationundtranslationimraumwerdendiesegeometrischenmerkmaletransformiert,d.h.,eineaneabbildunggegebendurcheine RotationsmatrixRundeinemTranslationsvektorttransformiertdieMerkmale Ein3D{ObjektkanndurcheineMengevonMerkmalenreprasentiertwerden. BeispielsweiseeignensichLinienoderEckpunktezurCharakterisierungpolyedri- immodellraum.dainderbildebeneprojiziertemodellmerkmalebeobachtetwerden,mussendiedreidimensionalenmodellmerkmaleinszweidimensionaleprojiziertwerden(projektionp).aufgrunddertatsache,dageometrischemerkmale wiezumbeispieleckpunkteeinespolyedersausverrauschtengrauwertbildern beivariierenderbeleuchtungberechnetwerden,sinddiebeobachtetenmerkmale beieinerfehlerfreienaufnahmeundsegmentierungwaren.segmentierungsfehler operatorr).diemerkmalebendensichnichtexaktanderstelle,andersie furdieeskeinegeometrischeentsprechungimmodellgibt(segmentierungsoperators).abbildung4zeigtmehreresegmentierungsergebnissevonbildern,die beikonstanterobjektlageundvariierenderbeleuchtungaufgenommenwurden. DiesogenannteSelbstverdeckungObewirkthier,danichtalleModellmerkmale derbildebenefehlerhaftundweiseneinprobabilistischesverhaltenauf(rausch- fuhrendazu,daeinigemerkmalefehlenoderweiteremerkmalehinzukommen, korrespondierendemerkmaleimbildhaben. halbdesstatistischenobjektmodellsreprasentiertwerdenmussen(vgl.abbil- dung5).alsgrundlagefurdiefolgendenabschnittedientdiehypothese,da ursprunglichen3d{geometriebiszurtransformationindenbildrauminner- Zusammenfassendstelltsichsomitheraus,dadieeinzelnenSchrittevonder

Abbildung4.SegmentierungsergebnissebeivariierenderBeleuchtung Abbildung5.Vom3D{Modellzur2D{Aufnahme R;t P;O;R;S bereitsdie3d{merkmalealszufallsgroeninterpretiertwerdenunddiebeobachtetenbildmerkmaleauseinertransformationvonzufallsgroenhervorgehen.stochastischeobjektmodellemussendiesenuberlegungenzufolgefolgende Komponentenumfassen: {dieabhangigkeitderbeobachtetenmerkmalevonderobjektlage, {diestatistischecharakterisierungeinzelnermerkmale, DieschrittweiseEntwicklungstatistischerModelle,diediesenAnforderungen {dasverwendetekameramodell,dasdieprojektionder3d{weltindiebildebenefestlegt,und gerechtwerden,skizziertderfolgendeabschnitt. {diezuordnungvonbild{undmodellmerkmalen. undlokalisierungliegtnichtnotwendigerweiseaufeinerdetailgetreuenrekon- 3StatistischeObjektmodellierung struktionderobjektgeometrie,sondernvielmehraufderentwicklungtrenn- scharferobjektbeschreibungen,dieeinemoglichstzuverlassigeklassikation undlokalisierungsicherstellen.erwartungen,diemiteinemobjektmodellverbundenwerden,sindeinefurdieerkennungausreichendemodellierungvonvertergrundmerkmaleadaquatbeschreibenzukonnen.ineineraufnahmekonnedeckungserscheinungenundsegmentierungsfehlernsowiediemoglichkeit,hin- sichobjektebenden,diekeineelementedermodellbasissind.trotzdemsoll- DerSchwerpunktbeiderModellierungvonObjektenzuZweckenderErkennung tederklassikatorinderlagesein,diebekanntenobjektezuerkennenund

zulokalisieren.nebendiesenanforderungen,dieaussichtderbildverarbeitung terausbeispielaufnahmensowiedieverwendungderbayes{entscheidungsregel unerlalichsind,mudiemodelldichtezudemdieschatzungdermodellparame- erlauben. 3.1StatistischeModellierungeinzelnerMerkmale nerdichtefunktionenerfolgen,wasanhandeineseinfachenbeispielsanschaulich erlautertwird.umdasgrundprinzipzuerklaren,beschranktmansichaufden Fall,nur1D{ProjektionenzweidimensionalerObjektezubetrachten. DiestatistischeModellierungeinzelnerMerkmalekannunterVerwendungeinzeltionp(c;lkja;lk)mitdenParameterna;lkbeschrieben.BeinormalverteiltenPunktmerkmalenbedeutetdasbeispielsweise,damitjedemPunkteine probabilistischeverhaltenderzufallsgroenwirdjeweilsdurcheinedichtefunkpunktc;lkwirdnunalseinezweidimensionalezufallsgroeinterpretiert.damalec;lkmitlk2f1;2;3;4gwerdendieeckpunktebetrachtet.jedereck- Abbildung6zeigteinQuadrat,dasdieMusterklassedeniere.AlsMerkformationderEckpunkteunddamitderZufallsgroen.DieDichtefunktionen angegebenwinkelunddietranslationumdenvektortinduzierteinetranswertvektorenundkovarianzmatrizendeniertwerden.dierotationrumden zweidimensionalenormalverteilungassoziiertwird,diewiederumdurchmittelonssatzesfurdichtenberechnetwerden.damitverfugendiedichtefunktionen dertransformiertenzufallsgroenkonnenunterverwendungdestransformati- Dichtefunktionenkoppeln.BeiderProjektionder2D{PunkteindieBildebene einerseitssinddieparametera;lkenthalten,diedasprobabilistischeverhaltenindergeometriewiderspiegeln,andererseitsliegendieparameterrund p(c;lkja;lk;r;t)dereinzelnenmerkmaleuberzweiartenvonparametern: tvor,welchedietransformationdermerkmalebeschreibenunddieeinzelnen werdenlediglich1d{zufallsgroeno1;o2;:::;om,derenprobabilistischeeigenschaftensichausdendichtefunktionender2d{modellmerkmaleableitenlassen. diesembeispieldiey{koordinate)durchmarginalisierung,d.h.,dieberechnung derranddichtenliefertp(okja;lk;r;t)zudeneinzelnenprojiziertenmerkmalen ok,k=1;2;:::;m. InderWahrscheinlichkeitsrechnungerfolgtdieEliminationeinerDimension(in gehteinedimensionderursprunglichen2d{zufallsvektorenverloren.beobachtet Folge,dasichdieDichtederbeobachtetenMerkmaleausdemProdukteinzelnerWahrscheinlichkeitsdichtenberechnenlat.WichtighierbeiistdieKenntnisweisestatistischunabhangigerBeobachtungenO=fo1;o2;:::;omghatdaszur VorgabeeinerRotationundTranslationzurVerfugung.FureineMengepaar- stehteinprobabilistischesmafurdasauftretenbestimmter1d{punkteunter DieskizziertenSchrittewerdenfurjedesMerkmaldurchgefuhrt,undfolglich welchesbeobachtetemerkmalzuwelchemmodellmerkmalkorrespondiert.

c;lk R 5 5 x t y c0;lk ok Projektion : c;1 c;2 c;3 c;4 c;5 c;6 o1 o2 o3 o4 o5 o6 o7 o8 Abbildung6.StatistischeModellierungtransformierterMerkmale 3.2StatistischeModellierungderZuordnung Abbildung7.DiskreteZuordnungvonBild{undModellmerkmalen sterklasseab,diemitc;1,c;2,:::,c;nbezeichnetwerden.abbildung7 DiediskreteZuordnungsfunktionbildetBild{aufModellmerkmalederMu- veranschaulichteinbeispielfureinemoglichezuordnungbeiachtbeobachteten MerkmalenundsechsModellmerkmalen.DieZuordnungderBild{undModellmerkmaleistinallerRegelunbekanntundwirdindenmeistenAnsatzenzurObjekterkennungmitgeometrischbasiertenVerfahrenberechnet.DieRealisierung zurberechnungderzuordnungaus,daeindurchgehenderstatistischeransatz einesstatistischenklassikatorsschlietdeneinsatzvonderartigenverfahren lich.hierzuwirdmitjederzuordnungeinediskretefunktionassoziiert,die angestrebtwird.diestatistischemodellierungderzuordnungistsomiterforder- diebeobachtetenmerkmaleaufdieindizesderkorrespondierendenmodellmerkmaleabbildet.folglichinduziertjedezuordnungeinendiskretenvektor,der alszufallsgroeaufgefatwerdenkann.diesemvektorkanndanneinediskrete Wahrscheinlichkeitzugeordnetwerden.DerZufallsvektorfurdasobigeBeispiel

istsomit=(3;3;2;1;5;4;4;5)tmitderdiskretenwahrscheinlichkeitp(). 3.3 AufgrunddesstochastischenModellsmussendieeinzelnenWahrscheinlichkeiten diebedingungp KonstruktionstatistischerObjektmodelle p()=1erfullen. BeibekannterZuordnunglatsichdieDichtefunktionfureineMengebeobachteterMerkmaleinderForm schreiben.dadiezuordnungsfunktioninderregelunbekanntist,wirdhier wieimfallederprojektionvonmodellmerkmalenindiebildebene uber dienichtbeobachtetezufallsgroesummiertunddieranddichteberechnet.die p(o;jb;r;t)=p()p(oj;fa;1;a;2;:::;a;ng;r;t) (1) ModelldichtefureinebeobachteteMerkmalmengeOistsomit DieAnzahlderMultiplikationenundAdditionenzurAuswertungderModelldichtewird unabhangigvondengewahltenmerkmalen beschranktdurch p()p(oj;fa;1;a;2;:::;a;ng;r;t): (2) p(ojb;r;t)=x OrdnungdieAnzahlderRechenschrittedurchO(mng+1 nunglatsichdieberechnungskomplexitatjedochdeutlichreduzieren.in[4] wirdgezeigt,dadiekomplexitatfurstatistischabhangigezuordnungeng{ter O(mnm).DurchdieEinfuhrungstatistischerAbhangigkeitenbeschrankterOrd- weiterenbelegteinegenauereanalysevon(2),dasichausobigermodellierungmitg=0mischungsverteilungenundmitg=1hidden{markov{modelle )beschranktwird.des ergeben. variiertvonobjektzuobjekt.dieanzahldermodelliertenmerkmalehangtvon ordnungsfunktionunddereinzelnenmerkmale.diestrukturdermodelldichte DieModelldichtewirdcharakterisiertdurchdiestatistischeModellierungderZu- 4ErlernenvonObjekten dieberechnungdermodellstrukturunddermodellparameter.zurautomatischen BerechnungderModellstruktursindbisheutelediglichheuristischeAlgorithmen dermodelldichtenfest,soreduziertsichdieautomatischemodellgenerierungauf bekannt,weshalbsichdieserabschnittlediglichaufdieschatzungdermodellparameterkonzentriert. deranzahldermerkmaledesobjektesab.stehendieeinzelnenkomponenten Abbildung8zeigtexemplarischeinigeAnsichtenunddiedarauserrechneten DaszurParameterschatzungverfugbareTrainingsmaterialbesteheausNAnsichtendeszuerlernendenObjektsunddie%{teAnsichtenthalte%mMerkmale. 4.1ParameterschatzungausunvollstandigenDaten

denḋiefurdastrainingverfugbarenaufnahmenweiseneinigeeigenschaftenauf, Punkt{undLinien{MerkmalewiesiefurdieModellgenerierungeingesetztwer- Abbildung8.BeispielefurTrainingsansichten diefurdiewahldesparameterschatzverfahrensvonentscheidenderwichtigkeit sind: 1.DiebeobachtetenMerkmaledesBildraumssindProjektionenderMerkmaledeshoherdimensionalenModells.DieTiefeninformationgehtdurchdie Projektionverloren. 2.DieZuordnungenderbeobachtetenMerkmaleundderModellmerkmalesind meter,diedieeinzelnenmerkmalecharakterisieren,undandererseitsdiebestim- mungderwahrscheinlichkeiteneinzelnerzuordnungen.alleparametermussen keinbestandteilderbeobachtetentrainingsdaten. DieSchatzungderModellparameterumfateinerseitsdieBerechnungderPara- geschatztwerden,obwohlnurprojiziertemerkmalebeifehlenderzuordnung

zurverfugungstehen.demzufolgeliegteinparameterschatzproblemausunvollstandigendatenvor,furdasdieanwendungdesprinzipsderfehlenden InformationundderEinsatzdesExpectation{Maximization{Algorithmus(EM{ 4.2Expectation{Maximization{Algorithmus Algorithmus,[1])naheliegen. dielikelihood{funktionsukzessivemaximiert.trotzunvollstandigertrainingsdatenkonnensodiemodellparametergeschatztwerden.diegrundideebesteht hierbeiimwesentlichendarin,dieunbeobachtetengroendurchschatzwerte zuersetzenunditerativsowohldiegesuchtenparameterderdichtefunktionals auchdieschatzwertederverborgenenzufallsgroenzuberechnen.dieiterative Schemaab[4]:NachderIdentikationderbeobachtbarenundnichtbeobacht- Verfahrenterminiert,wennsichdieNeuschatzungennichtmehrandern. barenzufallsgroenkanndiesogenanntekullback{leibler{statistikberechnet werden,diebezuglichderfreienparameterzumaximierenist.alskritischfur dieanwendungdesem{algorithmusstelltsichdieinitialisierungheraus.da DieBerechnungderSchatzformelnlauftdabeinacheinemfestvorgegebenen ren,dasausgehendvoneineminitialenschatzwertfurdiegesuchtenparameter BeimEM{AlgorithmushandeltessichumeiniterativesParameterschatzverfah- fuhrtderem{algorithmusnurzumerfolg,wennderinitialeschatzwertfurdie essichbeimem{algorithmusumeinlokalesoptimierungsverfahrenhandelt, ParameterinderNahedesglobalenOptimumsliegt.DieentscheidendenVorteiledesEM{Algorithmussind,daderSuchraumhauginkleinere,voneinander Speicherbenotigen,sondernauchnumerischstabilsind. unabhangigeteilezerfallt,invielenfallengeschlosseneiterationsformelnangegebenwerdenkonnenunddieabgeleitetenschatzverfahrennichtnursehrwenirierungstatistischerobjektmodelle.beispielsweisesindin[4]schatzverfahren angegebenwieaus2d{punktmerkmalen3d{mittelwertvektorengeschatztwerdenkonnen,ohnedaskorrespondenzproblemlosenzumussen.eineausfuhrliche Modellelassensichdamitebensoberechnen,wiedieSchatzformelnzurGenesterModelleeingesetztwerden.DieBaum{Welch{FormelnfurHidden{Markov{ DerEM{AlgorithmuskannzurBerechnungderParameterunterschiedlich- DarstellungderSchatzalgorithmenundderenHerleitungensindin[4]dargestellt. 5KlassikationundLokalisation net,mitdereinemusterklassevorliegtunterderbedingung,dadiebeob- achtetenmerkmalevorliegen.derklassikatorentscheidetsichfurdieklasse DieKlassikationvonObjektenunterVerwendungderBayes{EntscheidungsregelerfordertdieBerechnungdera{posterioriWahrscheinlichkeiten.Fureine mitdermaximalena{posterioriwahrscheinlichkeit,d.h., MengevonMerkmalenOwirddiebedingteWahrscheinlichkeitp(jO)berech- =argmax p(jo)=argmax p()p(ojb;r;t) p(o) (3)

p(ojb;r;t) 01y234566543z210 Abbildung9.ZweidimensionalerSchnittdurchdieFunktion,derenglobalesMaximum dieobjektlagecharakterisiert rechnungvonp(ojb;r;t)erfordert,mussenfurdieklassikationdierotations{ Wahrscheinlichkeitsdichte,weshalbParameterschatzverfahren wiebeispiels- undtranslationsparameterbekanntseinundsomitvorabberechnetwerden.bei dergesuchtenmatrixrunddemvektorthandeltessichumparameterder DadienumerischeAuswertungdera{posterioriWahrscheinlichkeitendieBedenkonnen.DieParameterschatzungentsprichtderglobalenOptimierungeineweisedieMaximum{LikelihoodSchatzung zurlokalisationeingesetztwer- multivariatenfunktion,derenparameterdiefreiheitsgradederrotationund Translationsind.Abbildung9zeigteinenzweidimensionalenSchnittdurcheinesechsdimensionaleFunktion,wiesiebeiderLokalisierungvon3D{Objektegrundenaus,wieeineinfachesZahlenbeispielbelegt:BeieinerDiskretisierunrungsaufgabescheidendeterministischeGittersuchverfahrenausKomplexitatsbaleMaximumdieserFunktionberechnetwerden.ZurLosungdieserOptimie- derdreirotationswinkelin10{schritte,einerreduktionderdreikomponenten in2d{aufnahmenvorkommt.umdieobjektlagezuberechnen,mudasglo- desverschiebungsvektorsauf30quantisierungsstufenundeinerauswertezeit von7msfureinenparametersatzwerdenfurdiefunktionsauswertunganallen derglobalenoptimierungsaufgabeeignen.beiderhiergewahltenadaptivenzufallssuchepatsichderzufallsgenerator,derpunkteimsuchraumgeneriert,mit zunehmenderanzahlvonfunktionsauswertungenandenfunktionsverlaufinsofernan,alsbereiche,indenenhohefunktionswertebeobachtetwerden,wahr- DiePraxishatgezeigt,dasichprobabilistischeSuchverfahrenzurLosung Gitterpunktenetwa2450Stundenbenotigt. niedrigefunktionswertebeobachtetwurden.einenallgemeinenuberblickuber scheinlicherbesuchtwerdenalsgebietedessuchraums,indenenbishernur diefunktionsweisederadaptivenzufallssuchegibtabbildung10.

Eingabe:Modelldichte,beobachteteMerkmale wertediemodelldichteanazufalligerzeugtenpunktenimsuchraumausund speicherediebestenbdieserpunkteineinernachdemfunktionswertsortierten Liste /*AdaptiveZufallssuche*/ solangedasabbruchkriteriumnichterfulltwird mationundwertediemodelldichteandiesenpunktenaus generiereneuepunkteunterausnutzungderinderlisteenthalteneninfor- fugedieneuenpunkteindiesortiertelisteein Punkte bestimmedasglobaleoptimumunterverwendungderinderlistegespeicherten steuern entferneeinigederschlechtestenpunkteausderliste Ausgabe:KoordinatendesglobalenMaximums modizieredieparameter,welchedieerzeugungvonneuenversuchspunkten jektlokalisierungnochweiteremoglichkeitenzurreduktiondessuchaufwandes: NebendemEinsatzprobabilistischerSuchverfahrenbietensichfurdieOb- Abbildung10.PrinzipderadaptivenZufallssuche 1.DurchgeschickteTransformationdesSuchproblemsisteshaugmoglich, 2.GeometrischeEigenschaftenvonObjektenkonnenbeiderSchatzungderLageparameterdazufuhren,dabestimmteBereichedesSuchraumsa{priori desbildkoordinatensystemsunabhangigvontranslationenparallelzury{ ren.beispielsweisesind1d{projektionenvon2d{punktenaufdiex{achse AbhangkeitenzwischeneinzelnenDimensionendesSuchraumszueliminie- AchseundRotationenumdiex{Achse(vgl.Abbildung11). teroptimierungvonvornehereinausgeschlossenwerdenbzw.informeiner unmoglichenpositionendesobjekteskonnensomitimrahmenderparame- ausgeschlossenwerdenkonnen.beispielsweisegibtesobjekte,dieausphysikalischengrundennursehrspeziellestabilelageneinnehmenkonnen.die ExperimentederpraktischeEinsatzdieserVerfahrenerlautert. tionzumindestaustheoretischersichtgeklart.imfolgendenwirdanhandeiniger DamitistderEinsatzstatistischerVerfahrenzurKlassikationundLokalisa- RegularisierunginnerhalbderOptimierungberucksichtigtwerden. 6ExperimentelleErgebnisse DieexperimentelleEvaluierungderentwickeltenVerfahrenerfolgtunterVerwendungderinAbbildung1dargestelltenObjekte.ZumTrainingderModelldichten werdenjeobjekt400aufnahmenverwendet.dieexperimentezurobjektklassikationberuhenaufingesamt1600beispielaufnahmen.trainings{undteststichprobesinddisjunkt,undderzurauswertungverwendeterechneristeine

y Hauptspeicher.AlsEvaluierungskriteriendienendieerzieltenRechenzeitenund HP9000/735mit99MHzTaktrate,124MIPS,147SPECmark89und64MB Abbildung11.Projektionder2D{MerkmaleaufeineKoordinatenachse Erkennungsraten,undalsMerkmalewerdeninallenBeispielenentweder2D{ PunkteundLinienverwendet. 6.1ExperimentezurObjektlokalisation V1:dieadaptiveZufallssuche, ein[4]: rungderwahrscheinlichkeitsdichtep(ojb;r;t)ieenfolgendealgorithmen IndenexperimentellenVergleichglobalerOptimierungsverfahrenzurMaximie- V2:dieadaptivenZufallssucheinKombinationmitdemSimplex{Verfahrenzur V3:dasSimulatedAnnealingfurkontinuierlicheFunktionen, V6:diereinprobabilistischeSuche. V4:dasMultistart{Verfahren, V5:dasGrid{Simplex{Verfahrenund lokalenoptimierung, algorithmen.dieparameterdersuchalgorithmenwerdenhierderartbestimmt, dain20zufalliggewahltenaufnahmendasglobalemaximumsichergefunden wird.aufdergrundlageeinesrechenzeitvergleichsgehteindeutigdieadaptive Zufallssuche,diemitlokalenOptimierungsverfahrengekoppeltwird,alsSieger Tabelle1zeigteineGegenuberstellungdergewahltenglobalenOptimierungstenbesteht,zueinerErfolgsratevon82%.Nurin18%derFallewirdmitder mitinsgesamt4002d{ansichteneines3d{objektes,dasauszehnmodellpunk- hervor. UnterVerwendungdersoermitteltenParametrierungfuhrteinExperiment x t2 x

OptimierungsverfahrenFunktionsauswertungenRechenzeit[sec] V1 V2 V3 V4 V5 585000 10010 41300 8560 4380 310 75 V6 10000000 1820000 13600 74500 64 RechenzeitenbiszurDetektiondesglobalenMaximums Tabelle1.MittlereAnzahlderbenotigtenAuswertungenderModelldichtesowiedie Lageparameterverfehlt. erweitertenadaptivenzufallssuche(v2)dasglobalemaximumbezuglichder lisierungderberechnetenlageparametererfolgteineruckprojektiondesdraht- gittermodellsindieszene.dieseerlaubteinevisuellebeurteilungdererzielten Ergebnisse. EinigeLokalisierungsergebnissesindinAbbildung12dargestellt.ZurVisua- 6.2ExperimentezurObjektklassikation DieverfugbarenPunktundLinienmerkmalesindvonderObjektlageabhangig, wortlichsein,wiefehlendemerkmaleodereineubersegmentierung.aufgrund len.fehlerinderlokalisationkonnenebensofurdiefehlklassikationverant- dieseruberlegungdarfwegenderbishererzieltenlokalisationsergebnissekaum undsomitistdieberechnungderlageparameterderklassikationvoranzustel- eineerkennungsratevonuber82%erwartetwerden. klasseverwendet.dadiesebildermiteinerrobotergefuhrtenkameraaufgenom- menwurden,istzujederaufnahmedieobjektlagebekannt.unterverwendung vonpunktmerkmalenergibtdieklassikationfurdiesestichprobebeigegebener ObjektlageeineErkennungsratevon96%.BeiunbekannterObjektlagesteigtdie FurdenTestdesKlassikatorswerdeninsgesamt400AufnahmenproObjekt- 7WeitereAnwendungeninderMustererkennung vonlinienmerkmalen(vgl.tabelle2). Fehlerrateaufinsgesamt32%imFallvonPunktmerkmalenundauf41%imFall kalisierungdreidimensionalerobjekteunterverwendungsegmentierterpunkt{ DieeingefuhrtenstatistischenModellekonnennichtnurzurErkennungundLo- oderlinienmerkmaleeingesetztwerden,sondernsiendeninzwischenauchverkennungalsauchinderbildverarbeitungzumeinsatzwendungzurlosungweitererproblemstellungenindermustererkennung.variantenderinabschnitt3eingefuhrtenmodellekommensowohlinderspracher-

Abbildung12.BeispielefurdieLokalisationvon3D{ObjekteninGrauwertaufnahmen beiheterogenemhintergrund DieExperimentezur3D{ObjekterkennungbelegeneineGrundregelderMustererkennung,diebesagt,daeinKlassikatornursoleistungsfahigseinkann,wie KlassikationbeliebigerObjekte.DiedaraufaufbauendenKlassikatorenweisen ausdiesemgrunddamitbegonnen,nichtdasstatistischeverhaltensegmentier- 7.1ProbabilistischeModellierungderGrauwerte schersichteinfachzuhandhabenaberinallerregelunzureichendfureinesichere esdiegewahltenmerkmalezulassen.punktmerkmalesindzwarausmathemati- daherauchrelativgeringeerkennungsratenauf.injungerenarbeiten[5,9]wird

3D{ObjektPunkte 1 Erkennungsrate[%]RechenzeitproBild[sec] 47 Strecken 44 Punkte 466 Strecken Mittelwerte 2 3 4 68 78 58 89 82 36 76 59 485 465 471 472 1882 2101 1933 1520 Streckenmerkmalen Tabelle2.ErkennungsrateundRechenzeitbeiderVerwendungvonPunkt{und 1859 bislangnichtmoglichwar.abbildung13illustriertdiesenvorteilanhandeines termerkmalezumodellieren,sonderndirektdiegrauwerteunterverwendung Beispiels.DaslinkeGrauwertbildzeigteinePanze,diebeidenrechtenAufnahmendemonstrierendieerzieltenLokalisationsergebnisseunterVerwendung Grauwertbilduberlagert. mitmerkmalenauseinersegmentierungundklassischenlokalisationsverfahren damitderartigenansatzendielokalisationvonobjektenmoglichwird,die vonmodelldichtenprobabilistischzucharakterisieren.ersteergebnissebelegen, dergrauwertverteilungen.zurvisualisierungderberechnetenrotations{und TranslationsparameterwerdendieKonturliniendesReferenzobjektesunddas Abbildung13.SegmentierungsfreieLokalisierung 7.2TrainingundErkennungsemantischerAttribute EinwichtigesProblemimBereichderSpracherkennungistdiesemantischeAnazeitdetektiertwerden.DieeinzelnenWortersindsomitsemantischenAttributenzuzuordnen.EinBeispielfureineZuordnungvonWorternundAttributesystemmussenbeispielsweisederAbfahrtsort,derZielortunddieAbfahrtslysevonWortketten.InderWortkettezueinerAnfrageaneinZugauskunfts- C0;C1;:::C4zeigtAbbildung14.WieimFallederBild{undModellmerkmale

ich C0 C1 C2 C3 C4 willmorgenabendvonberlin nachaugsburg latsichdiediskretezuordnungsfunktionauchhierprobabilistischmodellieren ZuordnungfurstatistischeAbhangigkeitenbeliebigerOrdnungschatzen[2]. wendungdesem{algorithmusauseinertrainingsstichprobetrotzunbekannter lassensichdiestatistischeneigenschaftenderzuordnungsfunktionunterver- (vgl.abschnitt3).vorausgesetzteinegeeigneteinitialisierungistmoglich,so Abbildung14.ZuordnungsemantischerAttribute 8Schlubemerkungen DieeingefuhrtestatistischeModellierungunddiebetrachtetenBeispielezeigen, erkennung.diekopplungunterschiedlicherstatistischergroenineinermo- delldichteunddereinsatzdesem{algorithmuszumautomatischentraining eronenvolligneuemoglichkeitenfurdieverwendungstatistischerverfahren. DieKomplexitatderTrainingsalgorithmenundderBerechnungsaufwandfurdie AuswertungderModelldichtenwerdendirektvondengewahltenstatistischen Abhangigkeitenbeeinut. tenmeistvomverfugbarentrainingsmaterialabhangt,kannbeispielsweisedie AnzahlderModellmerkmalewederanalytischnochmitezientenheuristischen dellstrukturangesprochen.wahrenddieordnungderstatistischenabhangigkei- SchatzverfahrenausderStichprobeberechnetwerden.Ebensokritischfurdie AlseinnochoenesProblemwurdedieautomatischeGenerierungderMolisierbarkeitunddieTragweitedererzieltenResultateinnerhalbderMuster- diesegmentierungsbasierteobjekterkennunghinausgehen,belegendiegeneraverarbeitungerfolgreicheinsetzenlassen.dieskizziertenanwendungen,dieuber dasichstatistischeverfahrendurchauszurlosungvonproblemeninderbild- LeistungsfahigkeitdesObjekterkennersistdieWahlderverwendetenMerkmale. EinesystematischeBerechnungvonMerkmalen,dieinKombinationmitdensta- langfristigangestrebtenzielsleistenkonnen. undgetestetenmethodenzumindesteinenkleinenbeitragzumerreichendieses wert.mitdenbisherverfugbarenmittelnistdiesjedochnochnichtrealisierbar. Bleibtabschlieendzuhoen,dadieimRahmendieserArbeiteingefuhrten tistischenmodellenzueinemoptimalensystemverhaltenfuhren,istwunschens-

Literatur 2.J.Haas,J.Hornegger,R.Huber,andH.Niemann.Probabilisticsemanticanalysis 1.A.P.Dempster,N.M.Laird,andD.B.Rubin.MaximumLikelihoodfromIncompleteDataviatheEMAlgorithm.JournaloftheRoyalStatisticalSociety,Series ofspeech.ine.paulusandf.wahl,editors,mustererkennung1997.springer, B(Methodological),39(1):1{38,1977. Berlin,erscheintSeptember1997. 5.J.HorneggerandD.Paulus.Bayesianvision:Fromintensitymarginalstomutual 3.M.Harbeck.ObjektorientiertelinienbasierteSegmentierungvonBildern.Shaker 4.J.Hornegger.StatistischeModellierung,KlassikationundLokalisationvonObjekten.Shaker,Aachen,1996. Verlag,Aachen,1996. 6.S.Z.Li.MarkovRandomFieldModelinginComputerVision.Springer,Heidelberg,1996. informationandentropicobjectrecognition.technicalreport,lehrstuhlfurmustererkennung(informatik5),universitaterlangen,marz1997. 7.K.V.Mardia.StatisticsandImages,volume2ofAdvancesinAppliedStatistics. 8.K.V.MardiaandG.K.Kanji.StatisticsandImages,volume1ofAdvancesin 9.D.PaulusandJ.Hornegger.PatternRecognitionofImagesandSpeechinC++. CarfaxPublishingCompany,Abingdon,1994. AppliedStatistics.CarfaxPublishingCompany,Abingdon,1993. AdvancedStudiesinComputerScience.Vieweg,Braunschweig,1997.