Transkript

1 KonzeptionundAufbaueinesImageRetrievalService DokumentensucheuberBilder furdieelectronicvisualizationlibrary imfachinformationswissenschaft anderfreienuniversitatberlin Magisterarbeit Konrad-Zuse-ZentrumfurInformationstechnikBerlin Angefertigtam Vorgelegtvon: IngmarDecker geb.am inberlin 10967Berlin Mullenhostr.14 Gutachter: Dipl.-Inform.HelmutDegen Prof.Dr.-Ing.Ralf-DirkHennings Bearbeitungszeitraum:17.Juni{13.November1998

2 Vorwort DokumentensucheuberBilder dasisteineungewohnlicheherangehensweiseanliteratur.daskonnteichindiversendiskussionenuberdiesesthema groerskepsis. feststellen.diereaktionenreichtenvonbegeisterunguber"aha\bishinzu isteswohlmitdemsystem,dasimrahmendieserarbeitentstandenist: etwasdargestelltwerdenkann,dasverbalschwerzubeschreibenist.ahnlich AnmanchenStellenindieserArbeitwirdbetont,daimBildlichen manmuessehen,umeswirklichbeurteilenzukonnen. BevorichdortjeeineAbbildunggesuchthabe,habeichlieberdasBuch StelleeinAbbildungsverzeichnis einelistemitdenbildunterschriften. InvielenBuchern odermagisterarbeiten ndetmananirgendeiner ListevonBildunterschriften,sonderneineUbersichtderBilder(Seiteviii). Mogesiedemeinenoderderandereneinerseitshelfen,eineAbbildung durchgeblattert.konsequenterweisendetmanindieserarbeitkeine wiederzunden,andererseitseinenalternativeneinstiegindiesearbeitbietenunddamiteinenersteneindruckvermitteln,wovondiesearbeithandelt. Arbeitbeigetragenhaben. IchmochteandieserStellealldenjenigendanken,diezumGelingendieser stellungdermittelzunennen.besonderendankgiltdenmitarbeiternder Abteilung"WissenschaftlicheVisualisierung\,darunterPeterMuller,Gerald ZunachstistdasKonrad-Zuse-Zentrum(ZIB)alsGanzesfurdieBereit- Schmidt,ThomasLange,JohannesSchmidt-Ehrenberg,NataschaWesterho,DetlevStallingundHans-ChristianHege,diefurTestszurVerfugung standen,hilfreichekritikubtenundauchsonsteineangenehmeathmosphare i

3 schaten. VORWORT ii HeinzSchweppe,ProfessoramInstitutfurInformatikderFreienUnivsersitat furdiegutebetreuung.furwertvollediskussionenundhinweisedankeich MeinenBetreuernHelmutDegenundRalf-DirkHenningsgiltmeinDank IboldundFraukeSolbergfuhren.DankgiltauchmeinenEltern,diemirnicht Berlin.EbensoanregendeDiskussionenkonnteichmitMarioMuller,Stefan ubelnahmen,dasiemichimvergangenjahrkaumgesehenhaben. mute. teteundfurmichdawar unddieetwa50malmeinemanuskriptelesen NichtzuletztgiltmeinbesondererDankMiriamBusch,diemichbeglei- Berlin,November1998 IngmarDecker

4 Inhaltsverzeichnis Vorwort Abkurzungen i Abbildungsverzeichnis 1Einleitung 1.1MotivationundProblemstellung... viii 1.2ZielederArbeit StrukturderArbeit Dokumentation(InformationRetrieval) I1.1DokumentationundInformationRetrieval... FormenundMerkmalederDokumentensuche 7 1.3TatigkeitenundAufgaben BegriDokument BildundBildersuche 1.5Zusammenfassung InformationRetrieval-SystemundDigitaleBibliothek BegriBild MerkmalevonBildern Zusammenfassung Bildersuche(ImageRetrieval)...16 iii

5 INHALTSVERZEICHNIS 3DokumentundDokumentensuche iv 3.3Dokumentensuche MerkmalevonDokumenten DokumentundTextRetrieval DokumentensucheuberBilder Zusammenfassung BilderinDokumenten...27 II 4Zusammenfassung PotentialedesmenschlichenBildergedachtnisses WahrnehmungundVerarbeitung 1Einleitung 2.1WahrnehmungvonBildern ErinnerunganBilder 2.2VerarbeitungvonBildern Wiedererkennung(Rekognition) Erinnerung(Recall) Zusammenfassung 4BehaltenvisuellerDetails 43 III EntwicklungdesImageRetrievalService AllgemeineAnforderungen 1.1GrundlegenderAufbau AllgemeineQualitatskriterien ZuunterstutzendeAufgaben UnterstutzungvagerAnfragen UnterstutzungkonkreterAnfragen Minimalsystem...50

6 INHALTSVERZEICHNIS 2DieElectronicVisualizationLibrary v 2.1EinordnungundUberblick GrundlegendeKonzepte WissenschaftlicheVisualisierungalsFachgebiet BisherigeSuchmoglichkeiten InhalteundDokumenttypen EntwurfdesImageRetrievalService 2.6ZusammenfassungderRahmenbedingungen ZieleundallgemeineUberlegungen MerkmalefurdieSuchanfrage Benutzerschnittstelle AbfragespracheundFunktionalitat Abfragemoglichkeiten Implementation 3.6Systemkomponenten Dokumentenbasis Uberblick Bilddatenbasis Suchkomponente BilderextraktionundIndexierung Bild{Dokument-Relation Erfahrungsbericht 4.7UserInterface Interaktionsprotokolle UsabilityInspection...80 IV5.3Endnutzertests Zusammenfassung ZusammenfassungundDiskussion 91 92

7 2Diskussion INHALTSVERZEICHNIS vi 2.2ImageRetrieval KritikdesImageRetrievalService AnwendungeninanderendigitalenBibliotheken Fazit AnwendbarkeitaufandereGebiete...98 Anhang 3Ausblick 101 BAuswertungderInteraktionsprotokolle AFarbabbildungen CBeschreibungderEndnutzertests C.1Person C.2Person DDieAbfragesprachedesIRS C.3Person D.1Syntax D.2ErlauterungenzurSemantik EAusgewahlteImplementierungsdetails E.2MerkmalFarben E.1MerkmalSeitenverhaltnis Literatur E.3MerkmalKomposition Index

8 Abkurzungen CBIR API ApplicationProgrammingInterface DBE DokumentarischeBezugseinheit Datenbank Content-basedImageRetrieval DBMSDatenbank-Management-System EVlib HTMLHypertextMarkupLanguage, DE ElectronicVisualizationLibrary DokumentarischeEinheit SeitenbeschreibungssprachefurdasWWW IRSQLImageRetrievalServiceQueryLanguageImageRetrievalService InformationRetrieval PDF OCR OpticalCharacterRecognition,optischeZeichenerkennung QBIC PortableDocumentFormat,Seitenbeschreibungssprache QuerybyImageandVideoContent, ahnlichpostscript UI URL UserInterface,Benutzerschnittstelle CBIR-SystemvonIBM VIR UniformResourceLocator,eindeutigeWWW-Adresse VP VisInfoInformationsdienstVisualisierung VisualInformationRetrieval WWWWorldWideWeb ZIB Konrad-Zuse-ZentrumfurInformationstechnikBerlin Versuchsperson,Plural:VPn vii

9 Abbildungsverzeichnis!S.19!S.19!S.20!S.21!S.21!S.25!S.53!S.58!S.59!S.64!S.68!S.74 viii

10 ABBILDUNGSVERZEICHNIS ix!s.76!s.77!s.78!s.79!s.86!s.87!s.88!s.88!s.89!s.107!s.113!s.113!s.114!s.115!s.117!s.118!s.118!s.119!s.120!s.120

11 Kapitel1 Einleitung BilderhabenfurMenscheneinehoheBedeutungbeiderInformationsaufnahme,-verarbeitungund-vermittlung.BilderkonnenWissenreprasentieren(SW93,S )undbestimmteSachverhaltebesserdarstellen,alsdies 1.1 MotivationundProblemstellung durchverbaleumschreibungenmoglichist(dre92,s.3,db97). BildermitgeringergedanklicherAnstrengungaufgenommenwerdenkonnen: mittlung\vonbildernhervorgehoben(dre92,s.xii)unddietatsache,da Oftwirddie"UnmittelbarkeitderWahrnehmungundInformationsver- "BildersindschnelleSchusseinsGehirn\,formuliertesKroeber-Rielzugespitzt.InderZeit,indereinBildmittlererKomplexitataufgenommenund verarbeitetwerdenkonne,lieensich grobgesagt nursiebenbiszehn Wortervermitteln(KR96,S.ix). schemmaterial\geschatzt(sch89,s.143,wei94b,s.9,dre92,s.3),alsoauch imzusammenhangmitsach-oderfachliteratur. DieseFunktionenundEigenschaftenvonBildernwerdenu.a.in"didaktilenwertvonBildernquantitativnachweisenlat.WissenschaftlicheVisualisierungistzumBeispieleinsolches.SchautmandortineinschlagigeFachliteratur,z.B.dieBerichtederzweigroteninternationalenKonferenzenfur BeitragimMittelungefahrachtAbbildungen(sieheTabelle1.1).Aufjeder InderTatgibtesSach-oderFachgebiete,indenensichderhoheStel- diesesgebiet("visualization\und"computergraphics\),sondetmanpro 1

12 KAPITEL1.EINLEITUNG Proc.ACM Proc.IEEE 2 Abb.proArtikel SIGGRAPH Visualization Abb.proSeite ArtikelmitAbb.90%75%100%95% SeitenmitAbb. 70%57% 65%61% 88% 47% 1.0 Tabelle1.1:HaugkeitenvonAbbildungeninBeitragenverschiedenerBandederTagungenVisualization(IEEE)undComputerGraphics(ACMSIGGRAPH).ImSchnitt aufjederseite. enthaltjederartikeletwaachtabbildungen.durchschnittlichndetmanmindestenseine haugliteraturinbibliothekenodercomputerunterstutzteninformationssystemenrecherchieren.artikel,berichte,bucher("dokumente\)mussen WissenschaftleroderAnwenderindiesemundanderenBereichenmussen SeitendetmanimSchnittmindestenseine.1 wieder-oderzueinembestimmtenthemaaufgefundenwerden. wirddaserschlieenderliteratur,alsodas"suchbarmachen\,computerun- BasisdesTextesstatt(u.a.SM87,S.8,FH91,S.94).IndenmeistenFallen Derartige"Dokumentensuche\ndetublicherweiseausschlielichaufder terstutztundautomatisiertvollzogen(sm87,s.57,vgl.kno91,s.123).ge- nerellesproblemdabeiist,"daubertextlichebegrieeinevielzahlvonin- formationentransportiertwerden,dievoneinemautomatischensystemnur deutigkeitenvonwortern(vgl.gau95,s.51)oderfalscheschreibweisen unzureichend,d.h.formal,erkanntwerdenkonnen\(lrs92,s.144).mehr- ListevonTitelndurcharbeiten. (FH91,S.95)konnendazufuhren,dabeieinerSuchezuvieleoderzuwenigeDokumentegefundenwerden.SuchendemussenimZweifelsfalleinelange sind,z.b.autorennamen,vergessenwerden.interessanterweisemerkten bestimmtendokumentstellen,wennworter,diebesonderscharakteristisch EinweiteresProblemkannsichinsbesonderebeiderSuchenacheinem einigemitarbeiterdeskonrad-zuse-zentrumsfurinformationstechnik 1ErgebniseigenerAuszahlung.

13 Berlin(ZIB)an,dasieoftAutorennamenvergessen,aberBilderaus KAPITEL1.EINLEITUNG 3 einemgesuchtendokumenterinnerten.2ohnehinbemerkenverschiedene AutorenaufgrundvonExperimenten,daBilderteilweisebessererinnert werdenalsworter(jnd67,sta73)odersatze(she67).indiesenund anderenstudienzeigtsichdaruberhinausimallgemeineneinegroe KapazitatdesmenschlichenGedachtnissesfurBilder.Diesescheinenahezuunbegrenzt,schlufolgertHaber(Hab70,S.104,vgl.u.a.SCH70,Sta73). alsauchdiebeschriebenenqualitativenundquantitativeneigenschaftenvon BildernmotivierendievorliegendeArbeit,indereinealternativeFormder SowohldieProblemedertextlichorientiertenSuchenachDokumenten SuchenachDokumentenvorgeschlagenunddiskutiertwird.DieseAlternative stelltbilderindenmittelpunktdersuche. Beim"ChemicalAbstractsService\kannmanDokumentemitHilfe vonzeichnungenbzw.abbildungenvonstrukturformelnsuchen(ber91, EinesolcheAlternativendetmanz.B.furChemie-Informationssysteme. auchanhandvonbildern(z.b.briefkopfen,firmenlogos)gesuchtwerden S.602f,Ock91,S.359).3BeimSystem"DocBrowse\konnenBuro-Dokumente tensucheuberbilder\kaumuntersuchtoderrealisiertwordenzusein.5 (JBN96).4 DiessindrelativspezielleAnwendungen.Ansonstenscheint"Dokumen- 1.2 tionlibrary(evlib),einer"digitalenfachbibliothek\furwissenschaftliche ZieldervorliegendenArbeitist,exemplarischfurdieElectronicVisualiza- ZielederArbeit VisualisierungundComputergraphik,6einenexperimentellenServicezurDokumentensucheuberBilderzuentwickelnundzudiskutieren. 2Quelle:personlicheKommunikationmitdiesenMitarbeitern.SieheAbschnitt2.1in TeilIII. Systemegefunden. 4Sieheauchhttp:// 3Sieheauchhttp:// 5AuchnachintensiverRecherchewurdenweiterkeinevergleichbarenProjekteoder 6SieheMD97undhttp://visinfo.zib.de/EVlib.

14 KAPITEL1.EINLEITUNG DerService,hier"ImageRetrievalService\(IRS)genannt,sollNutzern4 daswiederndenvondokumentenerlauben,wenndiebildlicheerinnerung HilfevonAussagenuberdiedarinvorkommendenBilderzusuchen.Ersoll dieserbibliothekermoglichen,dokumenteimsinnevonfachliteraturmit aneindokumentuberwiegtoderdietextorientiertesuchenichtzumerfolg druckenlat.7ersolldurchdieanzeigevonbilderneinresultatschnell fuhrt.ersolleinesucheermoglichen,diesichbesseruberbildmerkmaleaus- erfabarmachenundnichtzuletzteinenneuen,alternativenund"sinnlicheren\zugangzudieserfachliteraturverschaen,alserbishergegebenist. Bildersuche,einerUntersuchungdesmenschlichenGedachtnissesfurBilder einandersetzungmitklassischenformenderdokumentensuche,formender DieEntwicklung EntwurfundImplementation bautaufeineraus- undeinerdarausresultierendenzusammenstellungallgemeineranforderungenaneinsolchessystemauf. SuchemitdemIRSnuraufBasisvisuellerMerkmalevonBildernvonstatten gehenkann.8 AusdenRahmenbedingungenderEVlibergibtsich,dadiebildbasierte Erfahrungsberichtdokumentiert. kannundwelcheproblemesichimumgangdamitergeben,wirdineinem InwieweitdieseeingeschrankteUmsetzungerfolgreicheingesetztwerden undoptimierungenliefern,daimrahmendervorliegendenarbeitderirs gemeinsameinebasisfurweiterfuhrendeuntersuchungen,erweiterungen DieserErfahrungsberichtunddievorangegangenenErorterungensollen unddaskonzept"dokumentensucheuberbilder\nichtendgultigbeurteilt werdenkonnen. denlassen. nissedieserarbeitverallgemeinernundfuranderezusammenhangeverwen- InderabschlieendenDiskussionwirderortert,inwieweitsichdieErgebmelbesserausgedrucktseinkann. Informationssystemegenannt,wodasGesuchtemitHilfederZeichnungeinerStrukturfor- 7EinBeispielfureinensolchenFallwurdeschoninAbschnitt1.1furChemie- 8SieheKapitel2inTeilIII.

15 1.3 KAPITEL1.EINLEITUNG StrukturderArbeit 5 wiefolgtaufgebaut: DievorliegendeArbeitgliedertsichinvierHauptteile.Imeinzelnenistsie SuchenachBildernbeschrieben,diedannfureineDokumentensucheuber putergestutztensuchsystemenerortert.daruberhinauswerdenformender InTeilIwerdenBegrieundGrundlagenderDokumentensucheincom- Bilderverwendetwerdenkonnten. undumreitallgemeinegrundlagendesinformationretrievalbzw.der Dokumentation.InKapitel2werdengrundlegendeBegrieundKonzepte Kapitel1abstrahiertzunachstvonkonkretenObjektenderSuche dersuchenachbildernerlautert.kapitel3erortertnundiesuchenach kurzezusammenfassung.insbesonderewerdendieindenvorangegangenen diehinzunahmevonbildernalssuchkriterium.inkapitel4folgteine LiteraturauftextlicherBasisundskizziertmoglicheErweiterungendurch cheeinerollespielenbzw.spielenkonnen. KapitelnherausgestelltenMerkmaleaufgefuhrt,diebeiderDokumentensu- furbildervoraussetzungenfureinedokumentensucheuberbilderliefert. InTeilIIwirduntersucht,inwelchemMaedasmenschlicheGedachtnis Erinnerung.Kapitel3befatsichmitderWiedererkennungundder vonbilderninderhierbetrachtetenfachliteraturalsgrundlagefurdie Kapitel2erlautertAspektederWahrnehmungundVerarbeitung ErinnerungvonBildern.Kapitel4arbeitetvisuelleMerkmalevonBildern heraus,dievonmenschenbehaltenwerdenunddiefureinebildbasierte Sucherelevantundnutzlichseinkonnen. Library(EVlib). rimentellen"imageretrievalservice\(irs)furdieelectronicvisualization TeilIIIdokumentiertdieKonzeptionundImplementierungeinesexpelisierungsstrategienfureinSystemzurbildbasiertenDokumentensuche zusammengestellt.kapitel2beschreibtkurzdiedigitalebibliothek,furdie InKapitel1werdenallgemeineAnforderungenundmoglicheRea- dannderimageretrievalserviceentworfenwird(kapitel3).grundlagen

16 desentwurfssinddieo.g.anforderungenunddierahmenbedingungender KAPITEL1.EINLEITUNG 6 (Kapitel4).Kapitel5dokumentiertersteErfahrungenmitdiesemSystem Bibliothek.AufderBasisdiesesEntwurfswirddasSystemimplementiert anhandvontestsmitdreipotentiellenendnutzernundzeigtproblemeim Umgangmitdiesemauf. einerdiskussionundeinemausblickab. TeilIVschlietdieArbeitmiteinerZusammenfassungderErgebnisse,

17 TeilI FormenundMerkmaleder Dokumentensuche 7

18 Kapitel1 Dokumentation(Information Retrieval) 1.1 trieval DokumentationundInformation Re- "DieAufgabederDokumentationistdasVermittelnvonInformationen.SomitistdieDokumentationdasBindegliedzwischen einerseitsunddenzuinformierendenbenutzernandererseits.\ Autoren,DatenlieferantenundsonstigenInformationserzeugern (Gau95,S.7)1 "ImEnglischenwirdDokumentationindiesemSinnezutreend DokumentationundInformationRetrievalwerdenindervorliegendenArbeitsynonymverwendet,wobeiderBegriInformationRetrievalbevorzugt wird,daerdiesucheoderdaswiederndenhervorhebt. ten(fuh97,s.8,fh91,s.94,sm87,s.1).dieseformdesinformationre- 1DieHervorhebungenstammenvomVerfasserdieserArbeit. HauglagundliegtderSchwerpunktdesInformationRetrievalaufTexnenvonInformation,bezeichnet.\(Gau95,S.1) alsinformationretrieval,wortlichubersetztalszuruckgewin- 8

19 KAPITEL1.DOKUMENTATION(INFORMATIONRETRIEVAL) trievalsollalsklassischesinformationretrievalbezeichnetwerden(vgl. 9 Fuh97,S.8). (See91,S.5).DieseEinheitmunichtimmermitdemzudokumentierenden EinDokumentist"dieEinheiteinesTragersdokumentarischerDaten\ 1.2 BegriDokument diedbeein"stellvertreter\(dokumentationseinheit,de)geschaenwerden(see91,s.5).indervorliegendenarbeitwirdabervereinfachtnurvon "Dokument\gesprochen.2 sprechendenzusammenhangengergefat. DieserallgemeineBegriwirdinspaterenKapitelnjeweilsfurdenent- Objekt(DokumentarischeBezugseinheit,DBE)identischsein.Ggf.kannfur DieTatigkeitenimInformationRetrievalumfassendiefolgendenBereiche (Gau95,S.3f,vgl.Sal68,S.v,SM87,S.1,See91,S.5): 1.3 TatigkeitenundAufgaben 1.BeschaenundErfassen:DiesesTeilgebietumfatdasBeschaen derzudokumentierendeneinheiten(dokumente)unddaserfassenformalerdaten(gau95,s.3).eswerdenformaleundinhaltlichemerkmale ErfassungderformalenMerkmalegeschiehtimRahmenderformalen bzw.informationenvondokumentenunterschieden(sm87,s.58).die Analyse(Kri91).DieAuswertungselementehangenvomDokumenttyp 2.InhaltlicheErschlieung:DerInhaltoderdasThemaeinesDo- ab.3zielist,diedokumenteidentizierbarundwiederaundbarzu machen. kumentssollerfatwerden,umggf.aucheinesuchenachinhaltli- chenmerkmalendurchfuhrenzukonnen.haugemethodensindauf dokumentarischendatensein.indervorliegendenarbeitwerdenhauptsachlichesolche 2GeradewenneineDBEindigitalisierterFormvorliegt,kannsiegleichzeitigTragerder DBEbetrachtet. gabenbezeichnung(kri91,s.67). 3Bei"Schrifttum\handeltessichdabeiu.a.umSachtitel,VerfasserangabenundAus-

20 KAPITEL1.DOKUMENTATION(INFORMATIONRETRIEVAL) dereinenseitedaserstellenvoninhaltsangabenbzw.zusammenfassungen(abstracting),zumanderenklassikationundkatalogisierung 10 ung(zusammenfassungen,deskriptoren)reprasentierendeninhalt bzw.indexierung(kno91).dieergebnissederinhaltlichenerschlie- 3.Speichern:DieDokumentewerdenfurlangereZeitgespeichert (SM87,S.58)undsolleneineninhaltsorientiertenZugriermoglichen (Kno91,S.122). 4.Recherchieren:Suchen,Recherchierenbzw.Wiederaunden(Retrieval)istderZweckderDokumentationbzw.desInformationRetrieval. (Gau95,S.3f,See91,S.3). alsoauspragungenbestimmtermerkmalecodiert.diesecodierungreprasentiertdanndasdokumentunddientalsgrundlagefurdiesuche. BeiderformalenErfassungundderinhaltlichenErschlieungwerden (Fuh92,S.60)alsAnfrage,AbfrageoderSuchanfrage(SM87,S.11)in BeiderRecherchefomulierteinNutzerseinen"Informationswunsch\ valsystem(sieheabschnitt1.4).eingeeignetermechanismusentscheidet, welcheinformationseinheitenoderdokumentebezogenaufdieanfragerelevantsindbzw.inwieweitdiereprasentationeinesdokumentsahnlichzu einerbestimmtenabfragespracheandasdokumentations-oderretrie- derderanfrageist(sm87,s.11-12).dieentscheidungderrelevanzoderdie BeurteilungderAhnlichkeitistabhangigvomSystem. tischorientiertesuche\aufgefatwerden.anfragengliedernsichdementspre- chendinexaktebzw.konkreteanfragenundvageanfragen(vgl.fuh92, RechercheoderSuchekannsowohlalsWiederaundenoderals"thema- nichtapriorideniertist,wiediesz.b.beiherkommlichendatenbanksystemenderfallist\(ebd.).einnutzersuchtalsoz.b.dokumente"zueinem S.60)."VageAnfragensinddanndadurchgekennzeichnet,daihreAntwort vornhereinklarsein(vgl.fuh97,s.11). bestimmtenthema\undwelchedavonwirklichrelevantsind,munichtvon

21 KAPITEL1.DOKUMENTATION(INFORMATIONRETRIEVAL) 1.4 InformationRetrieval-SystemundDigitaleBibliothek 11 UnterInformationRetrieval-SystemoderRetrievalsystemsollim RahmendervorliegendenArbeiteinSoftwaresystemverstandenwerden,welchesdieo.g.Aufgabenbzw.Tatigkeitenunterstutztbzw.ubernimmt(vglmationRetrieval-Systemaufgefat.AlswesentlichfurdigitaleBibliotheken Rij79,S.6,SM87,S.viii).4 giltindereinschlagigenliteratur,dadokumenteindigitalerbzw.elektronischerformvorliegen(sc96a,mar97).ebensogiltalswesentlich,dadie DigitaleBibliothekwirdindervorliegendenArbeitsynonymzuInfor- DokumentationseinheitenundDienstederBibliothekuberComputernetzwerkezuganglichsind(Mar97,AY97,SC96a)wendet.AufgabeistdieSammlung,Ordnung,ErfassungundSpeicherungvon 1.5 DieBegrieDokumentationundInformationRetrievalwerdensynonymver- Zusammenfassung InformationzumZweckederVermittlungbzw.desWiederaundens. dieseimretrievalsystem.diereprasentationistdieausgangsbasisfurdie denzudokumentierendeeinheiten werdenermitteltundreprasentieren AuspragungenformalerundinhaltlicherMerkmalevonDokumenten Relevanzbzw.Ahnlichkeitbzgl.einerSuchanfrage. SuchenachDokumenten.EinsystemspezischerMechanismusbeurteiltdie vorliegendenarbeitstehenabersoftware-systemeimvordergrund. 4Imallgemeinenkannunter"Retrievalsystem\aucheineBibliotheko.a.fallen.Inder

22 Kapitel2 BildundBildersuche DiesesKapitelbefatsichmitBildernalsObjektedesInformationRetrieval, suchestehen. daimrahmendervorliegendenarbeitbilderimzentrumderdokumenten- Rollespielenoderspielenkonnen.AuerdemwerdenverschiedeneRetrievalprinzipienund-systemevorgestellt.DiessolleinenknappenUberblickuber EswerdenMerkmalevonBildernidentiziert,diebeiderBildersucheeine den"standdertechnik\verschaenunddamitandeuten,welchemoglichkeitenfureinebildbasiertedokumentensuchegenutztwerdenkonnen. 2.1 DerBegriBildumfateinbreitesSpektrumvonBedeutungsfeldern.Er umfatgraphischedinge(gemalde,zeichnungen,fotos,plane),perzeptuelle(erscheinungen),geistige(traume,erinnerungen,ideen)odersprachliche(metaphern,beschreibungen)(doe97,s.177).imallgemeinensprachge- S.151,Bd.2). naledarstellungen,wiegemalde,zeichnungodergrak\verwendet(lk87, brauchwirdderbegri"meistverkurzendalssynonymfurzweidimensio- mungherangezogen.wesentlichecharakteristikavonbildernindiesemsinne sind: ImRahmendervorliegendenArbeitwirddiese"verkurzende\Bestim- Visuellesbzw.visuellwahrnehmbaresObjekt(Doe97,S.187,SW93, 12

23 KAPITEL2.BILDUNDBILDERSUCHE S.29); 13 Zweidimensionalitat1(LK87,S.151,Bd.2,SW93,S.29); BegrenztheitdurcheinenRahmenbzw.Trager(Doe97,S.184,SW93, StatischesObjekt,d.h.nichtinsichbewegtaberbeweglich(vgl.SW93, S.29,Doe97,S.184). S.29); FunktionvonBildern(SW93,S.28).DoelkerfatBilderals"visuelleKonmittlungsaspektzugeteilt.Schuck-WersignenntWissensvermittlungalseine ZudemwirdBildernteilweiseeinZweck,einKommunikations-bzw.Ver- undstellensiedamitunterkommunikationswissenschaftlichebzw.semiotischebetrachtung(kd88,s.14,dk88,s.258,vgl.bra93,s.16,kr96,s.28f)hangdervorliegendenarbeitzumtragenkommen,werdeninabschnitt3.4 erortert.wahrnehmungvonbildernunddasmenschlichegedachtnisfurbil- WeitereFunktionen,dieindiesemZusammenhangundimZusammengestelltwerden(Doe97,S.187).KernerundDuroysehenBilderalsZeichegurationen\auf,die"zumZweckderBetrachtungoderVerstandigung\herdersindGegenstandvonTeilII. mussendieseerfatunderschlossenwerden(sieheabschnitt1.3).dabeiwird SindBilderObjektederDokumentationbzw.desInformationRetrieval 2.2 MerkmalevonBildern zwischenformalenundinhaltlichenmerkmalenunterschieden(ebd.).solche Merkmalewerdenimfolgendenidentiziert. taktische,inhaltlichealssemantischeoderpragmatischeaspektebeschrieben DK88,vgl.Doe97,S.50,KR96,S.28f),sowerdenformaleMerkmalealssyn- FatmanBilderalsZeichenzumZweckederKommunikationauf(KD88, (vgl.kr96,s.29). mussen.zumeinenkannmanformalemerkmalewieherstellerdesbildes, Herstellungsdatumundahnlicheerfassen(Kri91,S.64,Fis91,S.505),zum Deutlichwirddabei,daformaleMerkmalewiederumunterteiltwerden auftragoderholzalstrager,wirdhierbeivernachlassigt. 1EinegewisseDreidimensionalitatvonBildern,z.B.beiGemaldendurchdickenFarb-

24 anderenvisuellemerkmale,diesichaufdassinnlichwahrnehmbareauere, KAPITEL2.BILDUNDBILDERSUCHE 14 aufdasaussehenbeziehen(vgl.pfe95,s.1,dk88,s.260u.262). suellemerkmale. NurersteresollenhierformaleMerkmalegenanntwerden,letzterevi- AlsformaleMerkmalefurBilder(Bilddokumente)konnendiefolgendener fatwerden:ma,herkunft,entstehungsjahr(kri91,s.64)bzw.hersteller- name(z.b.fotografenname)(fis91,s.505).imzusammenhangmitdieser ArbeitspielendieseMerkmaleeineuntergeordneteRolle.Daherwirdnicht weiterdaraufeingegangen DievisuelleWahrnehmungvonDingengeschiehtaufBasisderWahrnehmung visuellermerkmaledesblickfeldes.auchwennmannormalerweise"diewelt VisuelleMerkmale FormaleMerkmale derdinge\sehe,merktbraunan,konnemanbeim"analytischensehen\ (Bra93,S.9). verschiedenesolchermerkmalebzw.merkmalevonbildern2unterscheiden unabhangigvoneinanderzubetrachten(bra93,s.15). Textur,Richtung,Groe,Raumlichkeit,Bewegung.3Dabeiseiendiesenicht BraunidentiziertneunMerkmale:Farbe,Helligkeit,Form,Anordnung, undbewegung4alsaspektevisuellerzeichen(kd88,s.52). KernerundDuroynennenForm,Helligkeit,Farbe,Materialbeschaenheit BetrachtungundAnalysevonBildernbeachtetwerdenkonnen:u.a.Bildfor- 2Braunbeziehtsichmit"Blickfeld\aufdenSehsinnundmitMerkmalenzumTeil Riedelnenntverschiedene"bildnerischeMittel\,diealsMerkmalebeider aufmerkmalevoneinzelnenobjekten.diesemerkmalesindaberuberwiegendaufbilder diesemzusammenhangauchalseinenausschnittausdemblickfeldbetrachtenkann. ubertragbar,dasieinbildernxiertseinkonnen(bra93,s.12),bzw.damaneinbildin kannaberdurchbestimmtekonstellationendereindruckvonbewegungentstehen(bra93, DenitionvonBilderneigentlichkeinBildmerkmalsein.BeiderWahrnehmungvonBildern S.10u.47). 3BewegungbeziehtsichnuraufdasBlickfelddesBetrachtersundkannnachdero.g. 4ZuBewegungvgl.Anmerkung3.

25 mat,gleichgewicht,linie,bewegung,5farbkontraste,lichtundproportionen(rie88). VereinzeltwerdenauchnochandereMerkmalegenannt,z.B.Symmetrie KAPITEL2.BILDUNDBILDERSUCHE 15 (RKH97)bzw.Parallelitat,Kollinearitat,Zirkularitat(vgl.ESB96). chenalsovonsehrprimitivenmerkmaleneinzelnerelemente(z.b.farbe untervisuellenmerkmalenverstandenwerdenkann.visuellemerkmalerei- einespunktes)bishinzuglobalen,zusammengesetzten(z.b.symmetrie).6 DiehiergenanntenMerkmalekonnennureinenEindruckvermitteln,was indexiertwerden,obalsverbalebeschreibung(z.b."blauerkreisaufweiem Grund\),alsZahl(z.B.Farbmittelwert)oderalskomplexereDatenstruktur(z.B.Histogramm),hangtvomMerkmalundvomRetrievalsystemab. MenschenoderdurcheinProgrammmitMethodenderBildverarbeitungge- WiesolchevisuellenMerkmalefurdasInformationRetrievalcodiertund DasselbegiltfurdasZustandekommenderCodierung,obsiedurcheinen computationalprocesses typicallyimageprocessing,computervision,and schieht. computationalgeometricroutines executedonthevisualobject\(gj97, Imallgemeinenpassiertletzteres:"Visualfeaturesarederivedthrough S.72) UnterinhaltlichenMerkmalenvonBildernsollendiedargestelltenObjekte,Motive,Themen,Bedeutungenusw.verstandenwerden(semantischeund InhaltlicheMerkmale pragmatischeaspekte,vgl.kd88,s.24u.31).existierentextlichezusatzinformationenzueinembild,konnendiesefurdieinhaltlicheerschlieung herangezogenwerden(fis91,s.501).solchezusatzemussenabernichtimmer vorhandensein(siehekapitel2inteiliii). 6DiePalettedriftetinsBeliebige,wennmanbetrachtet,wasinderLiteraturzurvisuell 5ZuBewegungvgl.Anmerkung3. Die"visuelleInformation\musseverbalisiertwerden,konstatiertFischer ABF+95,S.27). Z.B.wirdderMittelwertderauftretendenFarbwertealssolchesgenannt(SC96b,S.428, orientiertenbildersuche(sieheabschnitt2.3.2)als"visuellesmerkmal\deniertwird.

26 (Fis91,S.501).7SofernsichdiesaufvisuelleMerkmaleimo.g.Sinnebezieht, KAPITEL2.BILDUNDBILDERSUCHE 16 mudiesnichtimmerderfallsein(sieheabschnitt2.2.2und2.3.2). valimenglischenalsimageretrievaloderauchvisualinformation BildersucheinRetrievalsystemenwirdinAnlehnunganInformationRetrie- 2.3 Bildersuche(ImageRetrieval) Retrieval(VIR)bezeichnet(GJ97,S.72).VIRstutztsichdabeiaufverschiedeneArtenerfolgen,namlichaufderBasisderinAbschnitt2.2genanntedeneMethodenderInformatik,z.B.aufBildverarbeitung,Datenbankmana- Merkmale getrenntoderinkombination. gementundinformationretrieval(ebd.).imageretrievalkannaufverschie- ellorientiertesucheangesehen.letzterewirdinderliteraturoftcontent- basedimageretrieval(cbir)genannt(abf+95,s.25,gr97,s.427, AlswesentlichwerdenindieserArbeitdieinhaltsorientierteunddievisulenundsemantischenInhalten(GR97,S.427). Jag97).SchlielichseiCBIRRetrievalvonBildernbasierendaufdenvisuel BeieinerinhaltsorientiertenSuchemochteeinNutzerBildernden,diebestimmteThemen,GegenstandeoderMotivezeigen.IstderBilderbestand,in InhaltsorientierteSuche liegendiedersuchezugrundeliegendenbildreprasentationenintextlicher demgesuchtwird,klassiziertbzw.verbalisiertundindexiertworden,d.h. ergeben.solcheaspektewerdeninabschnitt3.3erortert. Formvor,sokonnenVerfahrengenutztwerden,dieahnlichdenenzurSuchenachTextdokumentensind.DabeikonnensichauchahnlicheProbleme sei"imago\genannt.8aberauchhieristgeplant,einevisuellorientierte 7Fur(kunstlerische)BilderisthierfuralsHilfez.B.dieKlassikation"ICONCLASS\ AlsBeispielfureinImageRetrieval-Systembzw.fureineBilddatenbank entwickeltworden.vgl.fis91,s.504. den.sieheaucheinprospektzur"imagomediadatabase\zurcebit1998,fa.techview, HamburgerFirmaTechViewals"geisteswissenschaftlicheBilddatenbank\entwickeltwor- BilddatenbanksystemistanderHumboldt-UniversitatBerlininZusammenarbeitmitder 8Siehehttp://

27 SuchenachBildernalsErganzungzuintegrieren.9 KAPITEL2.BILDUNDBILDERSUCHE 17 Retrievalverstandenwerden,beiderBildermitbestimmtenvisuellenMerkmalengesuchtwerden.DieseVerfahrenstelleneinerelativneueFormder UntervisuellorientierterSuchesollenFormenderSuchebzw.desImage VisuellorientierteSuche SuchenachBilderndar(GJ97,S.78).10 bzw.retrievalsysteme,diediesuchenachunterschiedlichenvisuellenmerkmalen11zulassenbzw.beschreiben(u.a.bfg+96,fsn+95,sc96b). ZurvisuellorientiertenSuchegibtesverschiedeneVerfahren,Projekte stimmtervisuellermerkmalebeschreibt(formulierungdersuchanfrage)und dasretrievalsystemimbestandderbildersolchesucht,derenreprasentationenmoglichstahnlichzudieserbeschreibungsind. "SuchenachMerkmalen\bedeutet,daeinNutzerAuspragungenbe- kristallisierensichdreiverschiedeneartenfurdieformulierungeineranfrage BeiderBetrachtungverschiedenerRetrievalsysteme(sieheAbschnitt ) Anfrageformulierung heraus: Auspragungsspezikation:EineMerkmalsauspragungwirddurch teeinfarbhistogrammerstelltodermanipuliertwerden,welchesdie aussuchen,diemoglichstahnlicheauspragungenaufweisen.z.b.konn- MusteroderWertebestimmt.DasSuchsystemsolldannBilderher- Ruhrstr.11,22761Hamburgundhttp:// FarbverteilungimgesuchtenBildbeschreibt(FSN+95,S.28,SC96c, 9Quelle:personlicheKommunikationmitMitarbeiternderHumboldt-Universitatund S.13); TechView. USAoderaufdieganzeWeltbeziehen. merzielleprodukte(gj97,s.78).unklaristandieserstelle,obsichdieautorenaufdie 10NachGuptaundJaingibteszurZeitnurca.20Forschungsgruppenunddreikom- mussensichdahinternichtunbedingtdieselbenverfahrenverbergen. 11AuchwennbeiunterschiedlichenSystemendieselbenvisuellenMerkmalegenanntsind,

28 KAPITEL2.BILDUNDBILDERSUCHE Query-by-Image-Example:EinVorbild(Example),welchesdem 18 det(siehez.b.fsn+95,s.23).ggf.mueinnutzerspezizieren,unter welchemgesichtspunkt(visuellesmerkmal)dasvorbildahnlichist; oderdengesuchtenahnlichist,wirdzuranfrageformulierungverwen- Zeichnung:DasgesuchteBildwirdgezeichnetodergemalt(FSN+95, mueinnutzerggf.angeben,unterwelchengesichtspunktendiezeichnungahnlichist. S.23,ABF+95,S.27).GenausowiebeiderQuery-by-Image-Example (visuelleabfragesprachen)genannt(fsn+95,s.23,gj97,s.77). ren,werdensolcheformenauch"visual\oder"graphicalquerylanguages\ DadieseFormenderAnfragenichtaufeinertextlichenSprachebasie- BeispielhaftsolleneinigeRetrievalsystemevorgestelltwerden,diedieo.g AusgewahlteCBIR-Systeme dieeseinfrontend Datenbankzugri,Benutzerschnittstelle furdas FormenderSucherealisieren.AusgewahltwurdendabeisolcheSysteme,fur derzeitigenstandesdertechnikgewinnen.aufdiesysteme,v.a.diebenutzerschnittstellen,wirdinteiliii(kapitel3)zuruckgegrienlichundzubegutachtensind.anhanddieserkannmaneineneindruckdes WorldWideWeb(WWW)gibtunddiesomitaufdieseArtallgemeinzugang- TOH+95).12EsbietetdieSuchenachBildernbezuglichFarbe,Farbverteilung,Bildaufbau("colorlayout\),Textur,ObjektumrissensowieStichworten an.essindverschiedeneversionenimwwwzunden,dieunterschiedlichefunktionalitatenundbenutzerschnittstellenaufweisen(z.b.abb.2.1). QBICbietetalledreiinAbschnitt genanntenAnfrageformulierungen Abb.2.2abgebildet. an.einbeispielfureinsystemspezischeszeichenprogramm(editor)istin ausdemibmalmadenresearchcenter(abf+95,fsn+95,hse+95, QBIC("QueryByImageandVideoContent\)isteinCBIR-System ACM+97,CSBB97).MitWebSEEkistdortdanebeneinServiceimplemen- 12Siehehttp://wwwqbic.almaden.ibm.com VisualSEEkisteinProjektderUniversityofColumbia13(SC96b,SC96c, 13Siehehttp://disney.ctr.columbia.edu/.

29 KAPITEL2.BILDUNDBILDERSUCHE 19 Abbildung2.1:QBIC-FrontEndzueinerDatenbankmitBriefmarken-Abbildungen. durcheineartzeichnungbeschriebenwerden. Abbildung2.2:BeiQBICkanndasFarblayout("colorlayout\)desgesuchtenBildes ACM+97,CSBB97,SC97).VerschiedeneFrontEndssindzunutzen.Beim tiertworden,dernachbildernimworldwidewebsuchenlat(sc96c, "SpatialandFeaturequerysystem\(SaFe14)kannnuruberprimitiveZeich- 14Siehehttp://disney.ctr.columbia.edu/SaFe/webseek.html

30 nungengesuchtwerden(sieheabb.2.3).beider"content-basedimageretrievaldemo\15konnenbilderbezuglichahnlicherfarben,farbkomposition KAPITEL2.BILDUNDBILDERSUCHE 20 ("colorcomposition\)undtexturgesuchtwerden.abbildung2.4zeigtdas ErgebniseinerSuchebeidieserVersion. tretenshaukgeiteneinzelnerfarbtoneimbild. SpezikationeinesFarbhistogrammszurBestimmungderprozentualenAuf- HieristeineSuchedurchQuery-by-Image-Examplemoglichsowieeine SammlungsynthetischerBilder.LinksobenkanneineArtZeichnungangefertigtwerden, Abbildung2.3:VisualSEEks"SpatialandFeaturequerysystem\-FrontEndzueiner indemfarbigerechteckepositioniertwerden. voncbir-systemendar(bfg+96).einfrontendistzurdemonstrationauf denwww-seitenderfirmaviragezunden.16diese"visualinformation DieVirageImageSearchEnginestellteinenRahmenfurdenAufbau RetrievalDemo\latdieSuchenachBildernbezuglichFarbe,Komposition, TexturundStruktursowieeinergewichtetenKombinationdieserMerkmale zu.abbildung2.5zeigtdiesesfrontend. 15Siehehttp://maya.ctr.columbia.edu:8088/cbvq. 16Siehehttp://

31 KAPITEL2.BILDUNDBILDERSUCHE 21 Abbildung2.4:VisualSEEks"Content-basedImageRetrievalDemo\.Abgebildetist Suchbild. dasergebniseinerabfrage.unterjedembildndetmandieberechnete"distanz\zum WeitereVerfahrenundMerkmale Abbildung2.5:"VisualInformationRetrievalDemo\(VirageImageSearchEngine). EssindweitmehrVerfahrenundMerkmalefurCBIRinderLiteraturzu nden.guidivadaundraghavanhabenversucht,dasgebietdesimageretrievalzuordnenundeinetaxonomiedafurvorgeschlagen(gr97).einen Jain(GSJ97)sowieChangetal.(CSBB97). weiterenuberblickgebenu.a.guptaundjain(gj97),gupta,santiniund

32 KAPITEL2.BILDUNDBILDERSUCHE DasMerkmalFarbe(Extraktion,Indexierung)wirdindiversenPublikationenbehandelt(u.a.EM95,Lu96,MKNM94,RGT97,SB91).Farbachen 22 PL94,PPS96undSto96auseinander.InverschiedenenArtikelnbeschaftigen werdeninabf+95undsc96bextrahiert.mittextursetztmansichz.b.in aberangezweifelt(gr97,s.437).aufumrissenbasiertauchdasmerkmal Jag97).DieGutevielerdieserVerfahrenwirdvonGuidivadaundRaghavan sichdieautorenmitdersucheanhandvonumriformen(abf+95,esb96, chenrelationenunterbildobjektenbeschaftigtmansichz.b.innns96und "structure\beidervirageimageengine(s.o.undbfg+96).mitraumli- SC96b. RetrievalvonLinienzeichnungenversuchendieAutoreninLM95.Mitder nischebilder.bildervongesichternsindgegenstandinpps96undgj97. InHCT96verwendendieAutorenwissensbasierteSystemefurmedizi- MerkmalsextraktionausVideosbzw.Filmenbefassensichu.adieAutoren tersuchenz.b.dieautoreningg92. ingj97undfsn+95. DasUmfeldvonImageRetrieval,namlichdiesuchendenPersonen,un- 2.4 UnterBildwird ahnlichdemallgemeinensprachgebrauch einezweidimensionales,visuellesobjektverstanden,welchesbegrenztistundderkom- Zusammenfassung nung,foto,graku.a.verwendet.beimerkmalenvonbildernwerdenfor- malemerkmale(z.b.hersteller),visuelle(z.b.farben)undinhaltliche(z.b. munikationdient.bildwirdindieserarbeitsynonymzugemalde,zeich- dargestellteszene)unterschieden. aufbasisvonverbalenbeschreibungendesbedeutungsinhaltsoderaufbasis visuellermerkmaledurchgefuhrtwerden. DieSuchenachBilderninentsprechendenImageRetrieval-Systemenkann Artenformuliertwerden:durchdirekteAuspragungsspezikation,durchAngabeeinesBeispielbildes(Query-by-Image-Example)oderdurcheineZeichnung.SolcheFormenndensichinverschiedenenRetrievalsystemen.Als BeivisuellorientierterSuchekannimallgemeinendieSuchanfrageaufdrei solchewurdenqbic,visualseekundviragekurzbeschrieben.

33 Kapitel3 Dokumentund Dokumentensuche IndiesemKapitelwirdzunachstdasTextRetrievalalsklassischeFormdesInformationRetrievalumrissen.EswirddabeiauchaufmoglicheProblemehindenkeitenergeben,diedannals"DokumentensucheuberBilder\skizziertwergewiesen.EnthatlenDokumenteBilder,konnensichneueRecherchemoglichten(FH91,S.94)."NormalerweisesindinInformationRetrievalsystemenbibliographischeodertextuelleDokumenteabgelegt\(SM87,S.viii). 3.1 InformationRetrievalwirdvielfachverkurztaufdieDokumentationvonTex- DokumentundTextRetrieval S.8,FH91,S.94). DieseAnsichtschranktdenDokumentenbegriein.ImfolgendenwerdenunterDokumentenahnlicheingeschranktDokumenteimSinnevon OftwirddannvonTextoderDocumentRetrievalgesprochen(Fuh97, Fachliteraturverstanden.1UnterFachliteratursolljeneLiteraturverstandenwerden,dieimwissenschaftlichenundBildungsbereichzumZweckeder Wissensreprasentationund-vermittlungentsteht.DiesumfatalsoDoku- 1DieseengeEingrenzungergibtsichausdemZusammenhangdervorliegendenArbeit. menttypenwiefachbucher,fachzeitschriftenundderenartikel,lehrbucher, 23

34 KAPITEL3.DOKUMENTUNDDOKUMENTENSUCHE Forschungs-,Tagungsbandeund-berichte. 24 menteeine"festeform\oderein"festeslayout\existiert.2dokumentesind inseitenunterteilt,deneneinzelneelemente wiez.b.bilder mitfesten AlsweitereEinschrankungsollfestgehaltenwerden,dafurdieseDoku- erscheinen. derfall,diez.b.inbuchernoderzeitschriftenoderalsforschungsberichte Positionenzugeordnetwerdenkonnen.3DiesistbeigedrucktenDokumenten bestimmtensach-oderthemengebietenaberauchbilderenthalten(beispiel stutztsichbishermeistauftexteundnuraufdiese.fachliteraturkannin InformationRetrieval wieeingangsindiesemabschnitterwahnt inabbildung3.1).welchefunktionenundwelchennutzendiesehabenund habenkonnen,wirdinabschnitt3.4erortert MerkmalevonDokumenten formalenanalyseidentiziert(vgl.abschnitt1.3). FormaleMerkmaleoderCharakteristikavonTextdokumentenwerdeninder FormaleMerkmaleundErfassung titelangabe,erganzendeangaben,isbn,einbandart,preisangabe(kri91, nung,erscheinungsvermerk,kollationsvermerk(umfang,format),gesamt- AusgewertetwerdendabeiSachtitel,Verfasserangaben,Ausgabenbezeich- S.67).Zielist,dieDokumenteidentizierbarundwiederaundbarzumachen(Kri91,S.63). erinnertwerdenbzw.bekanntsind. 2Sog."Layout-Sicht\.DiesebeschreibtdieDarstellungeinesDokumentsaufeinemzweidimensionalenMedium(Fuh97,S.20). denndortwirddieformoderdaslayoutvonverschiedenenfaktorenzurzeitdesbetrachtensbestimmt. DieseMerkmalekonnenzurSucheherangezogenwerden,wennsieexakt 3DieseMerkmalesindz.B.beiHTML-SeitenimWWWnichtunbedingtvorhanden,

35 KAPITEL3.DOKUMENTUNDDOKUMENTENSUCHE 25 chenfachzeitschrift(jfs95,s.282).dasichderartikelumimageretrievaldreht,nehmen Abbildung3.1:BeispielfureineSeitemitBildernauseinerArtikeleinerwissenschaftli- BilderhiereinenrelativhohenStellenwertein. Themen,Sachgebietebzw.dasreprasentierteWissen InhaltlicheMerkmalebeziehensichaufdenInhalteinesDokuments,alsoauf InhaltlicheMerkmaleundErschlieung ren,klassizieren)ist,denunmittelbarenzugriaufdeninhaltzuermogli- chen(vgl.abschnitt1.3sowiekno91,s.122). ZielderinhaltlichenErschlieungvonDokumenten(Indexieren,Klassie- AuszugeoderZusammenfassungen(SM87,S.8).AusdiesenwerdenMerkmale,diedenInhaltreprasentierensollen,extrahiertundcodiert.In(modernen)Retrievalsystemenwirddiesimallgemeinenautomatisiertdurchgefuhrt AusgangspunktistdernaturlichsprachlicheTextderDokumentebzw. (SM87,S.57). 4Sog."semantischeSicht\aufdenInhalteinesDokuments,vgl.Fuh97,S.20.

36 KAPITEL3.DOKUMENTUNDDOKUMENTENSUCHE DieCodierungerfolgtinderRegelanhandeinerKlassikationundei- 26 menteinereihevondeskriptorenbzw.index-termini(zahlen,stich-oder nerkatalogisierungbzw.indexierung.imallgemeinenwirdjedemdoku- Schlagworter)zugeordnet,dieineinemIndexoderRegisterfurdieSuche bereitgestelltwerden(kno91,sm87,s.58). behaftet(fuh97,s.11).beiderautomatischen,inhaltlichenerschlieunglat sichdievielfaltderinformationeneinestextesnurunzureichenderkennen DieReprasentationvonTextinhaltenistaberimmermitUnsicherheit 3.3 (LRS92,S.144).DieskannsichnegativaufSuchergebnisseauswirken. ZurSuchenachTextdokumentenwirdinderRegeleineverbaleAnfragein einerfestgelegtenanfragespracheformuliert.jenachsystemkanndieseine Dokumentensuche schlichtemengevonworternsein,dieindengesuchtendokumentenexaktoderalsteileenthaltenseinsollen,komplexere,logischeverknupfungen dieserworter(booleschesretrieval,sm87,s.28,rij79,s.95),dasselbe (ACC+97,MMM97,PRS97). mitzusatzlichengewichtungen(vgl.sm87,s.213,fuh97,s.11)odereine Sprache,dieahnlichdenbekanntenAbfragesprachenfurDatenbankenist zuranfragepatoderahnlichist,wirdinderregeldadurchermittelt, dawortubereinstimmungenoderahnlichkeitenzwischenderdokumentreprasentationundderanfragereprasentationuberpruftwerden.letzteres kannz.b.anhandvonworthaugkeitenundgewichtengeschehen("vektormodell\,kno91,s.133,sm87,s.213). o.g.tatsache,daderinhalteinestextesnichtimmerhinreichendgutautomatischundformalerschlossenwerdenkann(sieheabschnitt3.2.2),und Probleme,diesichdabeiergebenkonnen,entstehenzumeinenausder ObeinDokumentfureinenSuchendenpotentiellrelevantist,d.h. fuhren,dazuvieledokumentegefundenwerden(vgl.gau95,s.51). z.b.durchmehrdeutigkeitenvonwortern.5beidersuchekanndiesggf.dazu tionssprachenausgeglichenwerden(vgl.fuh97,s.60,bur91).dievorteilevonsolchen Sprachenseienaberumstritten,merktFuhran(Fuh97,S.79). 5ProblememitmehrdeutigenWorternkonnenzumTeildurchspezielleDokumenta-

37 KAPITEL3.DOKUMENTUNDDOKUMENTENSUCHE ZumanderenwirdoftdasBoolescheRetrievalkritisiert,d.h.dieFormulierungderAnfragedurchlogischeVerknupfungenvonStichworternunddie entsprechendeuberprufungvontextlichenubereinstimmungen.6dennoch werdedieseforminfastallenkommerzielleninformationretrieval-systemen 27 ErfassenalsauchbeimSuchen,konnenebenfallszuProblemenfuhren(FH91, verwendet,beklagtfuhr(fuh97,s.11). S.95). FalscheoderuneinheitlicheSchreibweisen,z.B.vonNamen,sowohlbeim dergefundenwerden charakteristischeworter,z.b.autorennamen,ver- gessenwerdenkonnen.insolchenfallenmumeisteinesuchemitallgemei- nerenbegriengestartetwerden,wasggf.zueinerschweruberschaubaren NichtzuvernachlassigenistdasProblem,da solleindokumentwie- Antwortmengefuhrt. nachrelevantendurchforstetbzw.derenzusammenfassungendurchgelesen werdenmussen. DasResultatbestehtinderRegelauseiner(langen)ListevonTiteln,die BilderinDokumenten dungen\(inenglischentextenmit"gures\)bezeichnetundentsprechend BilderinDokumentenderFachliteraturwerdenimallgemeinenals"Abbil- FunktionenvonBilderninDokumenten imtextreferenziert,z.b.durch"sieheabbildung3\. ImFachgebietWissenschaftlicheVisualisierungwirdBildernvielPlatzeingeraumt(sieheTabelle1.1inAbschnitt1.1).Wirftmandagegeneinen(in- DieAnzahlvonBildernhangtstarkvomFach-oderSachgebietab. rimentalpsychology:learning,memoryandcognition\),scheintdasdort formellen)blickinpsychologischefachzeitschriften(z.b."journalofexpe- Ausdruckerelativkomplexwerdenkonnen(Spo93,FH91,S.94)undnichtimmerder "mitabstandschlechtesteretrievalqualitatallerbekanntenretrievalverfahren\gegeben Umgangsspracheentsprechen(Shn92,S.423),andererseitsseibeidiesemVerfahrendie 6EinerseitswirddieseFormalsnichtbesondersbenutzerfreundlichangesehen,dadie (Spo93). (Fuh97,S.11,FH91,S.94).DieAntwortmengekannleichtzugrooderzukleinwerden

38 KAPITEL3.DOKUMENTUNDDOKUMENTENSUCHE nichtderfallzusein.allgemeinbemerkenanglinundstevensinamerikanischensachbucherneinehoheanzahlvonillustrationenundbildern."in text\(as86,s.1143). somecases,asmuchpagespaceisdevotedtopicturesasistothewritten 28 um"informierendebilder\handelt,dieweidenmannalssolchedeniert,"die erstelltwerden,umaussagenzubestimmteninhaltenzumachen.\"diese ImallgemeinenwirdindieserArbeitdavonausgegangen,daessichdann BilderkommenvorallemininstruktionalenSituationenzumEinsatz,die arrangiertwerden,umwissenundkonnenzuerwerben.\(wei94a,s.9). vonartikelnfurdiversefachzeitschriftenangewiesensind,dieanzahlaufein Minimumzureduzierenundnureinzusetzen,umdenTextklarerzumachen.7 DaBilderinFachliteraturkeineprimarasthetischeFunktion,sonderneine "informierende\haben,latsichauchdarausschlieen,daz.b.autoren FurIllustrationenumderIllustrationwillenscheintdabeikeinPlatzzusein. 101).FurBilderimZusammenhangmitSachtextenseieszudeminder te"wissensreprasentationsfunktion\vonbildernausgenutzt(sw93,s.97- Beiden"informierendenBildern\wirddievonSchuck-Wersigidentizier- PadagogischenPsychologieunumstritten,daBilderdieVerstandlichkeit erhohenkonnenundda"verschiedenesachverhalteinformvonbildern verbaleumschreibungen\,konstatiertdrewniak(dre92,s.3).derdudenver- besserdargestelltundvonlernendeneinfacherbehaltenwerdenkonnenals lagbegrundetdieherausgabeeines"bildworterbuchsderdeutschenspra- che\kurzundpragnantdamit,dadie"bildlicheinformation\oftnichtnur "anschaulicher\sondernauchpraziseralseineverbaleumschreibungeines Wortinhaltssei(sieheVorwortinDB97). bestimmterphanomene,diedarstellungdesaussehensbesprochenerge- Funktionenubernehmen:Schusternenntu.a.denBeweisfurdieExistenz ImZusammenhangmitSach-oderLehrtextenkonnenBilderdiverse berestrictedtotheminimumtoclarifythetext\heitesbeiden"instructionsforauthors\u.a.furdiezeitschriften"thevldbjournal\(siehe Beim"Informatik-Spektrum\heiteszudem,derAbbildungsanteilsolleunter30%liegen 7DerSpringer-Verlagweistz.B.seineAutorenentsprechendan:"Figuresmust (siehehttp://link.springer.de/link/service/journals/00287/instr.htm).

39 KAPITEL3.DOKUMENTUNDDOKUMENTENSUCHE genstandeunddieverknupfungmehrerervariableningrakenunddiagrammen(sch89,s ). BilderkonnenInformationenthalten,dieimTextnichtadaquatwie- DarauskannmanfurBilderinSach-oderFachliteraturfolgendesableiten: 29 BilderkonnenTeiledesInhaltseinessolchenDokumentsreprasentieren,schlielicherganzensiedenTextundstellenSachverhaltedar,didergegebenistoderwiedergegebenwerdenkann.8 nurzumteilimtextvorhandensind.derfehlendeteildiesessachverhaltsstecktindenbildern.diesekonnenalsoingewissemmaeeine 3.4.2inhaltlicheReprasentationeinesDokumentsdarstellen. Nebendenformalen,inhaltlichenundvisuellenMerkmalenvonBildernan sich(sieheabschnitt2.2)ergebensichzusatzlichformalebzw.quantitative FormaleMerkmale MerkmalevonBildernimZusammenhangmitbzw.inDokumenten. trachtetwerden,einfestgelegteslayout einefestgelegteanordnungein- zelnerelemente aufweisen.somitsindbilderaufeinerseiteunddort InAbschnitt3.1wurdehervorgehoben,dadieDokumente,diehierbe- wiederumaufeinerpositionxiert.sienehmeneinenbestimmtenraumein, dasgesamtedokument kanneineanzahlanbildernfestgehaltenwerden. d.h.siehabeneinebestimmtegroe.furjedeseite undsomitauchfur EineDokumentensucheuberBilderverknupftbestimmteElementeder 3.5 indenvorangegangenenkapitelnundabschnittengenanntenmethoden.der MethodeunterscheidetsichnunvomklassischenInformationRetrievalinso- ZweckistdieSuchenachDokumenten(hier:Fachliteratur).DerWegoderdie nichtbeschreiben,ichkannesnurdemonstrieren,indemichihmdengleichenfleckzeige.\ (LE94,S.75) bildlichedarstellung:"wiederrotefarbeckaussieht,kannicheinemanderenmenschen 8Sollz.B.dasAusseheneinesbestimmtenObjektesdemonstriertwerden,hilftnureine

40 KAPITEL3.DOKUMENTUNDDOKUMENTENSUCHE fern,alsnichtubertextlichemerkmalebzw.textuelledeskriptorengesucht 30 wird,sondernubermerkmalederenthaltenenbilder. derzunden,kannmanversuchen,sichandentitelzuerinnernunddiesen ArtikelineinerZeitschriftherangezogen:umeinenbestimmtenArtikelwie- AlseinfacheAnalogie"ausdemtaglichenLeben\seidieSuchenacheinem mationretrieval).aufderanderenseitekannmanversuchen,sichandie iminhaltsverzeichniszunden(entsprichtteilweisedemklassischesinfor- zudiesemartikelgehorendenbilder(oderauchandas"bildderseite\)zu erinnernunddiesedurchblatternzunden. den\derinhalteeinerdokumentensammlungkanndieo.g.analogieweiter auchfurvageanfragenzueinembestimmtenthemaundfurein"erkun- DiesbetritexakteAnfragennacheinembestimmtenDokument.Aber verfolgtwerden:suchtmanartikelzueinemvagebestimmtenthema,kann SchlielichmueinTiteldenInhaltnichtunbedingtgenauerreprasentieren lerbilderderartikel,konntemanauchdaruberrelevanteartikelsuchen. mandasinhaltsverzeichnisdanachdurchsuchen.gabeeseinverzeichnisalden,obdiezeitschriftuberhauptirgendeineninteressantenoderrelevanten einigenzeitschriftennebendemublicheninhaltsverzeichnis.9umzuerkun- alsdiebilder.indertatndensichsolchebilderverzeichnisseansatzweisein Artikelenthalt,kannmandasselbetun,bzw.durchdieZeitschriftblattern ein,sokanneinedokumentensucheuberbilderfolgendesumfassen: (Browsing). AnzeigederBilderderDokumenteundBlatterndurchdiese,umEindruckevondenInhaltenzugewinnen; BeziehtmannundietechnischenMoglichkeitendesImageRetrievalmit SuchenacheinembestimmtenDokumentdurchBlatterndurchdiesen Bilderbestand,umdieentsprechendenausdemDokumentwiederzunden(wiederzuerkennen); SuchenacheinembestimmtenDokumentdurchBeschreibungenvon 9Siehez.B."DieZeit\oder"DerSpiegel\.DortndensichnebendemInhaltsverzeichnis BilderninDokumenteneinbezogenwerden; darinenthaltenenbildern,wobeidieo.g.merkmalevonbildernund einigebilder,dieaufbestimmteartikelhinweisen.

41 KAPITEL3.DOKUMENTUNDDOKUMENTENSUCHE SuchenachinhaltlichverwandtenDokumentenmitHilfeeinerSuche 31 Dabeiwerdenu.a.folgendePunkteausgenutzt: nachahnlichenbildern. Bildersindschnellzuerfassen(vgl.KR96,S.53)undkonnenTeiledes BilderwerdenteilweisebessererinnertalsWorteroderSatze(sieheTeil schnelleubersicht. InhaltseinesDokumentsreprasentieren.Sieeignensichdaherfureine BilderkonnenhaugsicherauseinerMengevonanderenwiedererkannt 3.6werden(sieheTeilII). DerDokumentenbegriwurdeeingeschranktaufDokumenteimSinnevon Fachliteratur. Zusammenfassung fassung,erschlieungunddiesuchestutzensichdabeiimallgemeinennur aufdentexteinesdokumentsundauftextlichedeskriptoren. InformationRetrievalwirdoftmitTextRetrievalgleichgesetzt.DieErmierendeBilder\bezeichnetwerden.BilderkonnenbestimmteSachverhalte oftbesserreprasentierenalsdiesdurcheineverbale,textlichebeschreibung DokumentekonnenaberauchBilderenthalten,welchedannals"infor- moglichist.folglichenthaltenbilderbezogenaufdentexteinesdokuments anhandvonaussagenubermerkmalederdarinenthaltenenbildersuchen. ZusatzinformationundreprasentierenTeileseinesInhalts. EineDokumentensucheuberBilderbedeutet,daSuchendeDokumente

42 Kapitel4 Zusammenfassung SinnevonFachliteratur)erlautert. InTeilIwurdenFormenundMerkmalederSuchenachDokumenten(im Textbezieht,konnenbestimmteProblemeauftreten,diezueinerzugroen, unubersichtlichenoderzukleinenantwortmengefuhren. BeiderLiteraturrechercheinderklassischenForm,diesichnuraufden SuchmoglichkeitenkonnteeinebildbasierteSuchesein,beiderNutzerDokumenteanhandvonBildernundderenMerkmalensuchen. denkbarealternativebzw.erweiterungderklassischen,textzentrierten FachliteraturkannauchBilderbzw.Abbildungenenthalten.Eine Bildergedachtnissesausgenutztwerden,welchesUntersuchungsgegenstandin TeilIIist. BeiderbildbasiertenSuchekanndashohePotentialdesmenschlichen zugrundeliegenoderfureinedokumentensucheuberbilderverwendbarsein konnen.intabelle4.1sinddiesezusammengefat. EswurdenMerkmaleherausgearbeitet,diederSuchenachDokumenten 32

43 KAPITEL4.ZUSAMMENFASSUNG 33 Merkmale Bild formal Hersteller, visuell Format, inhaltlich Herstellungsdatum, u.a. Farben, Helligkeiten, Themen, Formen, Motive, Anordnung, Objekte, Textur, Personen, Richtungen, Ereignisse, Groen, u.a., Symmetrie, Gleichgewicht, Proportionen, Dokument Sachtitel, Kontraste, Verfasser, Layout u.a. Ausgabe, (Schrift, Themen, Erscheinungsvermerk, Gliederung, Anordnungvonu.a. Ereignisse, Sachverhalte, Kollationsvermerk, Gesamttitelangabe, ISBN, Elementen) Bilderin DokumentenAnzahlaufderSeite, AnzahlimDokument, u.a. Groe, Anordnung, Groe Sachverhalte PositionimDokument, (Zusatzinformation, PositionaufderSeite Textinhalten) Reprasentationvon Tabelle4.1:MerkmalevonBildern,DokumentenundBilderninDokumenten.

44 TeilII Potentialedesmenschlichen Bildergedachtnisses 34

45 Kapitel1 Einleitung nisfurbilder. UntersuchungsgegenstanddesfolgendenTeilsIIistdasmenschlicheGedacht- ndenvondokumentenanhandvonbildern,istvoraussetzung,dabilder ausdiesendokumentenwahrgenommenundimgedachtnisbehaltenwerden. FureineDokumentensucheuberBilder,insbesonderefurdasWiederaufwerdendiesePunkteindenfolgendenKapitelnnaheruntersucht. Siemutenwiedererkanntundggf.sogarbeschriebenwerdenkonnen.Daher schlieenstanding,conezioundhaberaufein"vastmemory\furbilder zuunbegrenztekapazitat(hab70,s.104).ausihrenforschungsresultaten HaberbescheinigtdemmenschlichenGedachtnisfurBildereinenahe- (SCH70,S.73).DieseAuerungenwerdendurchvieleStudienzurWiedererkennungundzurErinnerungvonBilderngestutzt.SolcheStudienwerdenin Verarbeitung.DiesePunktewerdeninKapitel2behandelt,wobeisichein Kapitel3angefuhrt. gewissesforschungsdezitzeigt,sodanuraufeinigeaspekteeingegangen VoraussetzungfurdieErinnerunganBilderistderenWahrnehmungund werdenkann. vonbildernbehaltenwerdenoderwerdenkonnenundwelchephanomene dabeiauftreten.solcheelementekonntenhinweiseaufdiegestaltungeines InKapitel4wirdnachvisuellenDetailsbzw.Merkmalengesucht,die Systemsgeben,mitdemmanBilderanhandvonvisuellenMerkmalensuchen kann(sieheteiliii). 35

46 Kapitel2 Wahrnehmungund Verarbeitung betrachtetwerden.dasaugenmerkliegtdabeiaufbilderninfachliteratur. tungvonbildern,diealsvoraussetzungfurdasbehaltenbzw.erinnern GegenstanddiesesKapitelssindAspektederWahrnehmungundVerarbei- bewutenreizverarbeitung\(le94,s.68).dieserabschnittdrehtsich 2.1 "WahrnehmunglatsichbeschreibenalskomplexerinnererProze[...]der WahrnehmungvonBildern zunachstabernurdarum,obbilderuberhauptwahrgenommenwerden;auf weitereprozessewirdimfolgendenabschnitteingegangen. der"zeitungsforschung\ist1990herausgefundenworden,dazeitungsleser ubereinbildindieseiteeinsteigenbzw.diemeistenleserihrelekturemit Bilderstechenimallgemeinenausdem"Grau\einesTexteshervor.In tionenfruherxiertwerdenundihnenhohereaufmerksamkeitgeschenkt denfotosbeginnen(mei92,s.134). wird(mos90,s.164f,kr96,s.15).dokumenteausfach-odersachliteraturmogenandersaufgebautseinalswerbeanzeigen,dennochdemonstrieren solchestudiendiescheinbarunweigerlicherollevonbildernalsblickfang. FurBilderinwissenschaftlichenFachzeitschriftenkannmanvermuten, AuchinStudienzurWirkungvonWerbeanzeigenzeigtsich,daIllustra- 36

47 KAPITEL2.WAHRNEHMUNGUNDVERARBEITUNG dadieseauchangesehenwerden,daaufsieimallgemeinenexplizitverwiesen 37 TeilI). wird1undsieteiledesinhaltsreprasentierenkonnen(vgl.abschnitt3.4in derbetrachtungvonbildernausreichen,umdiesespaterwiederzuerkennen (Int80).DaBruchteilevonSekundenausreichenkonnen,zeigenauchPaivio IntraubzeigtdanninExperimenten,daprinzipiell5Millisekunden undcodes(pc69).hohebehaltensleistungnacheinerbetrachtungszeitvon wenigensekundenzeigensichauchindiversenstudienzurwiedererkennung underinnerungvonbildern(z.b.nic65,sta73).siehehierzukapitel3. Zeit,indereinBildmittlererKomplexitataufgenommenundverarbeitet "BildersindschnelleSchusseinsGehirn\,postuliertKroeber-Riel:Inder 2.2 VerarbeitungvonBildern (KR96,S.ix). vermitteln.bilderwurdenmitgeringergedanklicheranstrengungverarbeitet werdenkonne,lieensich grobgesagt nursiebenbiszehnworter ForschungzurBildkommunikationsteheerstamAnfang,bemerktKroeber- dernseiabernahezuunerforscht,beklagtweidenmann(wei94a,s.11).die DerkognitiveProzederInformationsverarbeitungvonkomplexerenBil- wahrnehmungspsychologischodernurbezogenauflernschwacheoderjunge Riel(KR96,S.21).Drewniakkritisiert,daVerarbeitungsprozessebishernur ineinerpraattentativenundineinerattentativen.dieerstephaseverlauft Menschenuntersuchtwordenseien(Dre92,S.3). mehroderwenigerunbewut("wahrnehmungaufdenerstenblick\),die DieVerarbeitungoderRezeptionvonBildernlauftinzweiPhasenab: zweitebewuter(wei94a,s.28-37).dabeispielenvorwissenunderwartungen(sw89b,mos90,s.66)sowiebestimmtewahrnehmungsphanomeneeine aufalleabbildungenhinzuweisen.siehehierzudie"instructionsforaut- Rolle(z.B."Gestaltgesetze\,s.LE94,S.84-86). hors\z.b.furdiezeitschrift"internationaljournalondigitallibraries\(sie- hez.b.nummer4,jg.1,dezember1997,s.a4)oder"thevldbjournal\ 1Z.B.weistderwissenschaftlicheSpringer-VerlagseineAutorenan,imText (

48 KAPITEL2.WAHRNEHMUNGUNDVERARBEITUNG WiebeiderBetrachtungvonBildern"dasGanzeundseineTeileinteragieren\,seiaberimmernocheinanhaltendesundfundamentalesProblem 38 derwahrnehmungspsychologie,konstatierenhochbergundpeterson(hp89, S.46). Merkmaleverarbeitetundvorallembehaltenwerden. InteressantfurdievorliegendeArbeitistinsbesondere,inwieweitvisuelle ussendieaufnahmebestimmterbildelemente.langerebetrachtungsdauer erhohtdiewahrscheinlichkeit,damehrbilddetailsaufgenommenwerden, BetrachtungszeitundAufmerksamkeitspielendabeieineRolle.SiebeeinfassenRossiterundPercyzusammen(RP83,S.95).Auerdemfuhreeine hohereaufmerksamkeitzueinerreduktionderunsicherheitbeiderbewertungderauspragungengewissenvisuellermerkmale,schlieenprinzmetal u.a.(paae98,s.261).intraubundnickloszeigen,da,wenndieaufmerksamkeitaufdiephysikalischeerscheinungvonbilderngelenktwird,diese besserbehaltenwerden(in85). BildereinenTeildesInhaltsvonDokumentenreprasentierenkonnen.ZudemwurdeinAbschnitt2.1bemerkt,daaufdieBilderimTextimallge- InAbschnitt3.4.1inTeilIdieserArbeitwurdedaraufhingewiesen,da erhohtewahrscheinlichkeit,dadiebilderinerinnerungbleiben. rebetrachtungs-undverarbeitungszeitschlieenlassenunddamitaufeine meinenexplizitverwiesenwird.diesepunktekonnenaufeineetwaslange-

49 Kapitel3 ErinnerunganBilder sesfurbilderuntersucht.wiediesezustandekommtundwiebilderim Gedachtnisgespeichertwerden,scheintinderForschungnichtgeklartbzw. IndiesemKapitelwirddiehoheKapazitatdesmenschlichenGedachtnis- Relevanzundwerdendahernichtbehandelt. umstritten.furdievorliegendearbeithabensolchefragenkeinepraktische den,dabilderrelativzuverlassigwiedererkannt(abschnitt3.1)undteilwei- sewiedergegebenwerdenkonnen(abschnitt3.2). UnabhangigvonderArtderSpeicherungkannderEektbeobachtetwerbeitetwird(Sch89,S.149)undteilweisebesserbehaltenwerdenkann:Paivio, RogersundSmytheschlieenausihrenErgebnissen,daBilderimGegensatzzuWorterneektiverimLangzeitgedachtnisgespeichertundvondort beibildernhoherliegtalsbeiwortern,zeigenz.b.jenkins,nealeunddeno abgerufenwerdenkonnen(prs68,s.138).dadiewiedererkennungsrate (JND67)undStanding(Sta73),dasiehoherliegtalsbeiSatzen,zeigtz.B. Shepard(She67). Auerdemzeigtsich,dabildlicheInformationandersalsverbaleverardernauchnachnureinmaligem,kurzenSehenspaterwiedererkanntwerden DiverseStudienundExperimentezeigen,daeineimmenseMengevonBil- 3.1 Wiedererkennung(Rekognition) kann. 39

50 KAPITEL3.ERINNERUNGANBILDER DieKapazitatdesGedachtnissesfurBilderscheinenahezuunbegrenzt, 40 postulierthaber.schonjederhabeeinmaldaserlebnisgehabt,damanz.b. dasgesichteinesmenschenwiedererkannte,obwohlmandiesennurfurkurze ZeitundvorJahrengesehenhat(Hab70,S.104). (VPn)biszu2560Bilder("magazinephotographs\)anschauen,umdanach zutesten,wievielebehaltenundwiedererkanntwerden(sch70,hab70).die Standing,ConezioundHaberlieeninExperimentenVersuchspersonen VPnsollteninderTestphaseaussagen,welchesvonzweigezeigtensieinder "Lernphase\gesehenhatten. Stunde. bei2560"gelernten\nacheinerstundeoderbei1100nacheinerhalben Inuber90%derFalleerkanntendieVPndieBilderkorrektwieder,selbst denennach2tagennochetwa66%wiedererkanntwurden(sta73). StandingberichtetvoneinemweiterenExperimentmit10000Fotos,von Bilder(Fotos,Illustrationen)wiedererkennen(She67). NickersonfuhrteahnlicheStudiendurch.IneinemerstenExperiment NachdreiMonatenkonntendieVPnbeiShepardnochetwa57%der enderuberprufungwiedererkennen(nic65).ineinemzweitenexperiment konntendievpnschwarzweifotosin95%derfallenachdirektanschlie- wurdennacheinemjahrimmernoch35%derinexperiment1einmaligund 55%derzweimaliggesehenenFotoskorrektwiedererkannt(Nic68). durch(hrj97).1diewiedererkennungsratelagjeweilsbeietwa80%.die durchbildbearbeitunginunterschiedlichenqualitatendargebotenwurden, HamelundRyan-JonesfuhrtenWiedererkennungstestsmitBildern,die Qualitatsunterschiedemachtensichkaumbemerkbar.BeiHomaundViera lagdieratevonfotosgegenuberstrichzeichnungenetwashoher(hv88). auchintraub(int79,int80)sowieloftusundkallman(lk79)durch. IneinigenExperimentenwurdeparallelauchdieRekognitionvon WeitereRekognitionstestsmitahnlichenWiedererkennungsratenfuhrten Satzenbesserbehaltenbzw.wiedererkanntwerden.2 mendieautorenzumergebnis,dabilderimvergleichzuworternoder Wortern(JND67,Sta73)oderSatzen(She67)uberpruft.Inalldiesenkom- 1VondenOriginalen(Fotos)wurdenz.B.dieKantenverstarktoderverwischt. 2MeistwurdendabeirechteinfacheObjekteausgewahlt,vondenendieBezeichnungen

51 KAPITEL3.ERINNERUNGANBILDER 3.2 Erinnerung(Recall) 41 DasErinnernbzw.WiedergebenvonBildern(Recall)scheinterheblich haseverseen,hefrequentlyisunabletorecalldetailsfromaspecicimage schwierigerzusein:"althoughapersonmayrememberalmostanypicturehe (Recall-Tests),stutzensichuberwiegendaufAbbildungeneinfacherObjekte, whenaskedtodoso\,stellthaberfest(hab70,s.104). diefurdietestsmiteinemwortausreichendbeschriebensind.somuten Experimente,indenenerinnerteBilderwiedergegebenwerdensollten dievpndiebildinhalteverbalwiedergeben ebennurdurcheinoderzwei Worter(DF65,EB74,Int79,PC69,PRS68,Sco67). tenrecall-abfragenschrittweisemehrbildererinnertwerdenkonnen.dieses PhanomenzeigesichabernichtbeiWortern(EB74). ErdelyiundBeckerzeigen,dabeimehrfachhintereinanderausgefuhr- Wortern,wieinverschiedenenStudiengezeigtwird(PC69,PRS68,Rit82, Sco67):"Clearly,picturesarenotonlyrecognizedbetterbutarealsorecalled SozeigtsichauchbeimRecalldieUberlegenheitvonBilderngegenuber betterthanwords\(sta73,s.215). zeichnen,eineassoziationsphasevorausgeht,mehrdetailserinnertwerden (Hab70,S ). Haberbeschreibt,da,wenneinerzweitenAuorderung,einBildzu wodurchmanbesserersehenkann,wasbehaltenwurde,fuhrtenz.b.haber(hab70),intraubundrichardson(ir89),legaultundstanding(ls92), Experimente,indenendieVPnihreErinnerungenzeichnensollten IntraubundBodamer(IB93)sowieIntraub,GottesmanundBills(IGB98) durch. gen.haberzeigtjezweibleistiftzeichnungenvonzweivpn(hab70,s.107). AufdiesensiehtmanUmrisseundBezeichnungenvoneinzelnenObjekten LeiderndensichseltenZeichnungenderVPnindenVeroentlichun- "brownish\).durchdiesewenigenzeichnungenkonnennaturlichkeineallgemeinenaussagengetroenwerden.mankannhochstensvermuten,da einerkomplexerenszene.teilweisesinddiesenauchfarbenzugeordnet(z.b. (Worter)undAbbildungen(Bilder)behaltenwerdensollten. teilweisevonbekanntenundleichtzubenennendenobjektenimbilddie

52 KAPITEL3.ERINNERUNGANBILDER Formaliawenigererinnertwerden.3 42 eineseinfachenobjekts(einergluhbirneaufeinerwiese),welcheaberkaum Schlufolgerungenzulassen. BeiIntraubundBodamer(IB93,S.1392)ndetmanzweiZeichnungen vonviervpn.diezeichnungenbildeneineszeneab,indermulltonnen voreinemzaunstehen.dieoriginalbilderwarenfarbfotos,diezeichnungen IntraubundRichardson(IR89,S.182)prasentierenjeeineZeichnung entsprechenteilweisedemoriginal,teilweisenicht.einevphatfarbangabengemacht(dieabernichtgefragtwaren).dreizeichnungenzeigenstarke schwarz-weiebleistiftzeichnungen.groenverhaltnisseunterdenobjekten GroenveranderungenderObjekte. BoundaryExtensionbekanntundvonIntraubundRichardson(IR89),LegaultundStanding(LS92),IntraubundBodamer(IB93)sowieIntraub,GottesmanundBills(IGB98)untersuchtworden.BildervonbekanntenObjekten DiesesPhanomenderErinnerungbzw.mentalenReprasentationistals zuerweitern.dasfuhrtz.b.dazu,dazentraleobjektekleinergezeichnet tet,dadievpndazuneigen,prinzipiellvertrauteszenen"ingedanken\ seiendiesemphanomenfastimmerausgesetzt.instudienwurdebeobach- werdenalssieimoriginalzusehensind.95%derzeichnungenbeiintraub undrichardsonzeigtendinge,dienichtimoriginalzusehenwaren,aber LegaultundStandingkonntendenEektderBoundaryExtensionnurbei auerhalbdesrahmensderszenehattenvorkommenkonnen(ir89,s.179). Fotos,nichtaberbeiZeichnungenfeststellen(LS92). waren.diesdecktsichmitaussagen,davisuellemerkmalevondingen,diesehroft wahrgenommenwerden,wenigererinnertwerden(sch89,s.147). Menschenzusehen,obwohldieMenschenimOriginalbildganzunterschiedlichabgebildet 3IndengenanntenZeichnungenwarenz.B.StrichmannchenalsReprasentantenfur

53 Kapitel4 BehaltenvisuellerDetails AuchwennnurinwenigenPublikationenexplizitvisuelleMerkmaleoderDetailsgenanntodergezeigtwerden,dievonVersuchspersonenbehaltenwurden,lassensicheinigeHinweiseaufsolchenden. imgedachtniseinerollespielenundnichtnursemantischebzw.thematische Aspektecodiertwerden.DiesschlieenHomaundVieraausihrenExperimenten,indenensieVPnBilderunterschiedlicherQualitaten(Farbfotos, Schwarzweifotos,Umrizeichnungen)aberdengleichenBildmotivenzeigten.DieAutorensehendieThesewiderlegt,dadieReprasentationvisueller VariationenimGedachtnismitderZeitaufeinegemeinsame,thematisch InformationencodiertundfurlangereZeitgespeichertwerden(HV88). orientierteformkonvergiert.stattdessenwurdenanaloge,nicht-thematische Zunachstkannfestgehaltenwerden,davisuelleMerkmaleinjedemFall denrecall,wasdiebedeutungvonvisuellenmerkmalenunterstutzt(in85). DieAufmerksamkeitfurvisuelleErscheinungenvonBildernerhohtauch nenweniger(sch89,s.147),bildermitungewohnlicheminhaltdagegenbesser behaltenzuwerden(sch89,s.148). VisuelleDetailsvonbekannten,haugwahrgenommenenObjektenschei- Groe:WieinAbschnitt3.2beschrieben,weisenu.a.IntraubundBodadaryExtensionbzw.eineNormalisierungausgesetztseien.Menschemer(IB93)daraufhin,daAbbilderbekannterObjekteeinerBoun- neigendemnachdazu,kleinereobjekteimzentrumindermentalen Reprasentationzuvergroern,groereodergarangeschnitteneObjek- 43

54 KAPITEL4.BEHALTENVISUELLERDETAILS tezuverkleinern.einenormalisierungndestatt(igb98). 44 jektemitderzeitvernachlassigtwerde.diewiedererkennungsratevon IachiniundGiusbertibemerken,daGroeninformationuberBildob- Bildqualitat:DieQualitatoderArtvonBildernhatanscheinendwenigEin- uaufdiewiedererkennungodererinnerung.beifotosoderstrichzeichungenunterscheidensichdiebehaltensleistungenkaum(prs68, BilderntrotzveranderterGroeseikonstant(IG96). beifarbfotos(hv88).legaultundstandingweisendaraufhin,dadie HRJ97).HomaundVierasehendagegeneineetwasbessereLeistung Anordnung:DieraumlicheAnordnungoderOrientierungvonBildobjekten o.g.groenveranderungen(boundaryextension)nurbeifotos,nicht konnegutbehaltenwerden,bemerktschuster(sch89,s.146u.149).die aberbeizeichnungenauftreten(ls92). beiintraubundrichardson(ir89,s.182). daraufallerdingsnichtunbedingthin,eherdagegendiezeichnungen ZeichnungenvonVersuchspersonenbeiHaber(Hab70,S.107)deuten Farben:FarbenvonBildobjektenwurdendagegencodiertundbehalten, debeihohereraufmerksamkeitverringert(paae98). UnsicherheituberdiePositionundOrientierungvonBildobjektenwer- bemerktschuster(sch89,s.147).einigefarbangabenndensichz.b. auchindeno.g.zeichnungenbeihaber(hab70,s.107)undbeiintraub sichallerdingskleinere,systematischeverschiebungen,zeigenprinzmetalu.a.(paae98).unsicherheituberdieauspragungderfarbmerkmalevonbildobjektenwerdebeihohereraufmerksamkeitverringert (ebd.). undrichardson(ir89,s.182).1beidererinnerunganfarbtonezeigen denaberauchnichtdazuaufgefordert,farbangabenzumachen,dagroenveranderungen untersuchtwerdensolltenoderdiedetailfulle,diebehaltenwurde. 1IndiesenZeichnungenvonVersuchspersonensindwenigeFarbangaben.DieVPnwur-

55 Kapitel5 Zusammenfassung TeilIIbehandeltedasmenschlicheGedachtnisfurBilder. indervorliegendenarbeitfokussiertensach-oderfachliteraturwahrgenommenundverarbeitetwerden.diesistvoraussetzungfureinespeicherungim AusdenAusfuhrungeninKapitel2wirdgeschlossen,daBilderinder Gedachtnis.InderpsychologischenForschungherrschtUnklarheituberdie ProzessedermenschlichenBildverarbeitung. furbilderindizieren.zudemzeigendiesestudien,dadasgedachtnisfur BildergroeralsfurWorteroderSatzeseinkann wasdierekognition EswurdendiverseStudienprasentiert,dieeinehoheBehaltensleistung BruchteilendavonkonnenBilderbehaltenundwiedererkanntwerden. sowiedenrecalleinfacherbilderbetrit. SelbstbeieinerBetrachtungszeitvonwenigenSekundenodergarnur gevonanderen,teilweisethematischahnlichen,imallgemeinenmoglichist. Diesbelegt,daauchvisuelleCharakteristikabeiderBildverarbeitungvon Eszeigtsich,dakorrekteWiedererkennungvonBildernauseinerMen- vonmehrvisuellendetailsundverringertdieunsicherheitgegenuberaus- MenschencodiertundimGedachtnisbehaltenwerden. pragungenbestimmtermerkmalewiez.b.farbenundpositionenvonbild- objekten. speichertwerden,gibteskaum.indereinschlagigenliteraturkonnteneini- Erkenntnissedaruber,welchevisuellenCharakteristikaimGedachtnisge- LangereBetrachtungs-undVerarbeitungszeitermoglichtdieAufnahme 45

56 KAPITEL5.ZUSAMMENFASSUNG geaussagengefundenwerden,dievermutenlassen,dafarbeigenschaften 46 FotosvertrauterSzenen. vonbildobjektensowieraumlicheanordnungenrelativgutbehaltenwerden. GroeninformationvonObjektenverandertsichdagegenteilweise,v.a.bei Wiedererkennen(Rekognition). DasWiedergebenvonBildern(Recall)isterheblichschwierigeralsdas

57 TeilIII EntwicklungdesImage RetrievalService 47

58 Kapitel1 AllgemeineAnforderungen IndiesemKapitelwerdenallgemeineAnforderungenaneinSoftwaresystem zurbildbasiertendokumentensuche imfolgendenkurzals"bbd-system\ bezeichnet ermittelt.1 nichtangestrebt.2dieanforderungensindindiesemkapiteleherimsinne vonwunschvorstellungenzuverstehen,diealsgrundlagefurdenaufbau EineAnforderungsdenitionimSinneeines"Pichtenheftes\wirdhier eineskonkretensystemsherangezogenwerdenkonnenunddieausdenvorangegangenenkapitelndieserarbeitextrahiertwurden. Abschnitt1.1inderEinleitung),kanndiesedannanhandeinerkonkreten Umsetzunggenauerdiskutiertwerden. Da"DokumentensucheuberBilder\bisherweniguntersuchtist(siehe Systemsmussenimeinzelnenfurdiesesdeniertwerden. DasAuenverhaltenunddieBenutzerschnittstelleeineskonkretenBBD- GrundlegendfureinBBD-Systemist,dabeimAufbauderDokumentensammlungnebenderErfassungundErschlieung(vgl.Kapitel1.3inTeil 1.1 GrundlegenderAufbau verwendet. duktsmoglichstvollstandig,eindeutigundwiderspruchsfreiundbildetdiegrundlagefur 1"BildbasierteDokumentensuche\wirdsynonymzu"DokumentensucheuberBilder\ EntscheidungenuberVertrage(PS94,S.79). 2Ein"Pichtenheft\beschreibtnachPagelundSixdas"Auenverhalten\einesPro- 48

59 KAPITEL1.ALLGEMEINEANFORDERUNGEN I)desTextesderDokumenteauchdiedarinenthaltenenBilderundderen 49 MerkmalebezogenaufdasDokumenterfatunderschlossenwerden.Esmu einebilddatenbasisaufgebautwerden,diediebilderselbstsowiedieauspragungenbestimmtermerkmalespeichertundsuchbarmachtte.eindokumentgiltdannalsgefunden,wenneinodermehrerebilderund relevantangesehenenbildersowieverweiseaufdiedazugehorigendokumen- DieAnzeigeeinesSuchergebnissesumfatmindestensdievomSystemals enthaltenist.3 damiteinverweisaufdiesesdokumentimvorderenteilderergebnismenge einedokumentenbasis,diediedokumenteoderggf.nurverweiseauf EinBBD-SystemumfatalsodiefolgendenKomponenten: einebilddatenbasis,diediebilderundderenmerkmalespeichert; einebild{dokument-relation,diediezuordnungvonbildernzu diesebeinhaltet; eineindexierungskomponente,dieauseinemdokumentdiebilderunddieentsprechendenmerkmaleextrahiert,indexiertundindie Dokumenten-undBilddatenbasisunddieRelationeintragt; Dokumentenenthalt; einesuchkomponente,dienutzeranfragenbearbeitetundeinresultatermittelt; einebenutzerschnittstelle,dienutzeranfragenmoglichstkomfortabelformulierenlatunddieresultateanzeigt. 1.2 furdieentwicklungvonsoftwaregelten.zudiesenzahlenpagelundsix ZunachstkonnenallgemeineQualitatskriteriengenanntwerden,diegenerell AllgemeineQualitatskriterien Korrektheit,Robustheit,Zuverlassigkeit,Benutzerfreundlichkeit,Ezienz, WartbarkeitundDokumentation(PS94,S.49-55).DiemeistendieserPunktewerdenalsselbstverstandlicheAnforderungenangesehenunddahernicht geeignetzuspezizieren. weitererortert.unter"benutzerfreundlichkeit\verstehendieseautoren,da 3Wiegroder"vordereTeil\seindarf,istfurdiekonkreteAnwendungundAnzeige

60 KAPITEL1.ALLGEMEINEANFORDERUNGEN einsoftwareprodukterfahrenenwieunerfahrenenbenutzerneinekomfortablebedienunguntersoftware-ergonomischengesichtspunktenermoglicht 50 (PS94,S.53). zernunterschieden,dieeinbbd-systemunterstutzensoll:diebeantwortung 1.3 ImwesentlichenwerdenindieserArbeitzweiAufgabenbzw.ZielevonNut- ZuunterstutzendeAufgaben vonkonkretenundvagenanfragen(sieheabschnitt1.3inteili). KonkreteAnfragen:EinNutzermochteeinbestimmtesDokumentwiedernden.ErmusichdazuaneinigeMerkmalediesesDokuments erinnern(vgl.kapitel4inteili).bezogenaufeinbbd-systemwird undggf.beschreibenkann.einbbd-systemsollanhandeinerentsprechendenbeschreibungdasdokumentaunden.4 daereinodermehrerebilderausdiesemdokumentwiedererkennen angenommen,daersichaneinigemerkmalevonbildernerinnert,so VageAnfragen:EinNutzermochteDokumentenden,diebestimmte Themen,SachverhalteoderObjektebehandeln.BezogenaufeinBBD- Systemwirdvorausgesetzt,dasichdiesez.T.auchinBildernmanifestieren(sieheKapitel3.4.1inTeilI)unddaeinNutzerMerkmale 1.4dieserbeschreibenkann. FurdieinAbschnitt1.3genanntenAufgabenundausdenErkenntnissen austeiliiergibtsicheinekonkrete,schlichtemindestanforderung,dieein Minimalsystem kumentemuvonnutzern"gesichtet\werdenkonnen(browsing). minimales,einfachessystemerfullenmu:derbestandanbildernderdo- Mengevonanderenwiedererkanntwerdenkonnen.BeimBrowsingkonnten 4Z.B.konntesicheinSuchenderu.a.daranerinnern,daaufeinerSeite,wiesiein InTeilIIwurdehervorgehoben,daBilderrelativzuverlassigauseiner Abbildung3.1(Seite25)zusehenist,vierBilder,eineslinksobenunddieanderenrechts unten,zundenwaren.

61 KAPITEL1.ALLGEMEINEANFORDERUNGEN BilderausgesuchtenDokumentenwiedererkanntunddieDokumentesomit 51 bracht. gefundenwerden.beieinersehrgroenmengeanbildernreichtdiesnicht mehraus,daeszulangedauernwurde.dahersinderweiterungenange- EinBBD-SystemsolltedasWiederaundenvoneinembestimmtenDokumentunterstutzen.DasichindenTeilenIundIIdieserArbeitnichtgenau 1.5 UnterstutzungkonkreterAnfragen klarenlie,welchemerkmalevondokumentenundderenbildernvonmenschenwirklichbzw.gutbehaltenwerdenkonnen,solltenzunachstmoglichst vielemerkmaleineinesuchanfrageintegriertwerdenkonnen.esmussen weitereerkenntnissegesammeltwerden,dieeinekonkretisierungoderreduzierungzulassen FurdieDokumentensucheuberBildersindvorallemvisuelleundinhaltliche MerkmalevonBildernundformaleMerkmalevonBilderninDokumenten MerkmaleundAnfragen relevant(siehetabelle4.1aufseite33).einbbd-systemsolltedaherdie folgendenartenvonanfragenermoglichen: "...nbilder\(merkmal"anzahlbilder\); "...einbildbahnlichzurinhaltlichenodervisuellenbeschreibungd\ "DasDokument,welchesichsuche,enthalt...\ "...eineseitesmitnbildern\(merkmal"anzahlbilderaufeiner Seite\); (visuelleoderinhaltlichemerkmalevonbildern); "...einbildmitgroegoderpositionpaufeinerseite\(merkmal mansichanmehrerebildererinnert auchmehrerebeschriebenwerden DieAnfragensolltenauchalsTeilekombinierbarsein,soda wenn "Groe\und"Position\); konnen.

62 KAPITEL1.ALLGEMEINEANFORDERUNGEN FormulierungvonAnfragen 52 InhaltlicheMerkmale:SoferneineinhaltlicheSuchenachBildernauf textlicherbasismoglichist,solltenselbstverstandlichdieublichenmethodendestextretrievalanwendbarsein(vgl.abschnitt3.3inteil VisuelleMerkmale:FurdieSuchebezuglichvisuellerMerkmalesollten I). dieinabschnitt inteiligenannten"visualquery\-formenbe- FormaleMerkmalevonBilderninDokumenten:DieAnzahlanBildern,GroeundPositionenkonnendurchEingabevonZahlenodereitgestelltwerden.Diessinddiefolgendendrei:Auspragungsspezikation,Query-by-Image-ExampleundZeichnung. 1.6ggf.durchAuswahlvonMusternspeziziertwerden. EinBBD-SystemsollteauchdiethematischorientierteSuchenachDokumentenunterstutzen. UnterstutzungvagerAnfragen moglichsein. InhaltseinesDokumentsreprasentierenkonnen,solltenauchdieseAnfragen DainAbschnitt3.4inTeilIbetontwurde,daBildereinenTeildes oderahnlichebilderdasselbetun,wassichaufinhaltlichewieaufvisuelle StichwortezuinhaltlichverwandtenArbeitenfuhrenkonnen,konntengleiche Merkmalebeziehenkann.5 AnalogzuderAnnahmeimTextRetrieval,dagleicheoderahnliche konnenbilderalsahnlichoderalsunahnlicheingestuftwerden.abbildung zuerfassenseinkannalsbeiwortern.unterverschiedenengesichtspunkten AndieserStelleseiangemerkt,daAhnlichkeitvonBildernschwieriger dieformenunahnlich,inbezugaufdiefarbendagegensehrahnlich.6 1.1solldiesverdeutlichen.DiebeidenabgebildetenBildersindinBezugauf abbilden,wahrscheinlichmitdeneigenschaftendieserbefassen. selbebilddrehen.inderchemiewerdensichdokumente,diedieselbestrukturformel Gemaldeabbilden,umdenselbenKunstler,dieselbeKunst-Epocheoderebenumdas- 5Beispiele:imBereichderbildendenKunstkonnensichDokumente,diedasselbe 6Dieses"Ahnlichkeitsproblem\kannauchbeiWorterngesehenwerden:dieenglischen

63 KAPITEL1.ALLGEMEINEANFORDERUNGEN 53 "Form\sinddiebeidenBildernichtahnlich,wahrendsieahnlichunterdemAspekt"Farbe\ Abbildung1.1:Beispielfurdas"Ahnlichkeitsproblem\beiBildern.UnterdemAspekt sind FureineahnlichkeitsbasierteSuchebzw.vageAnfragesindvorallemdie visuellenundinhaltlichenmerkmalevonbilderninteressant.denformalen MerkmaleundAnfragen MerkmalenvonBilderninDokumenten(z.B.Groe,Anzahl,Position)wird keinerelevanzbezuglichinhaltlicherverwandtschaftzugesprochen. "SucheDokumente,welche...\ "...einbildbahnlichzurinhaltlichenodervisuellenbeschreibungd EinBBD-SystemsolltediefolgendenArtenvonAnfragenermoglichen: "...einbildbahnlichzubildeenthalten\,wobeievomsuchenden vorgegebenwird(visuelleoderinhaltlichemerkmalevonbildern). enthalten\(visuelleoderinhaltlichemerkmalevonbildern); Diessollteggf.furmehrereBildermoglichsein. ZurFormulierungderAnfragekommendieselbenMethodeninFragewiesie inabschnitt1.5.2aufgefuhrtsind,sofernsiesichaufinhaltlicheundvisuelle FormulierungvonAnfragen Merkmalebeziehen. Begrie"tolookfor\und"tosearchfor\sindinderSchreibweiseunterschiedlich,semantischsindsieverwandt,syntaktischsindsiegleichwertig.

64 Kapitel2 Library DieElectronicVisualization IndiesemKapitelwirddieElectronicVisualizationLibrary(EVlib)beschrieben,furdiedasexperimentelleSystemzurDokumentensucheuberBilder aufgebautwerdensoll. erlautert,ebensodasfachgebiet,aufdasdieevlibbegrenztist. AmSchluwerdendieresultierendenRahmenbedingungenfurdenAufbaueinesbildbasiertenSuchsystemszusammengefat. Aufbau,Dokumenttypen,KonzepteundSuchmoglichkeitenwerdenkurz 2.1 schaftlichevisualisierungundcomputergrak.sieistaufeinemrechneram DieEVlibisteinedigitaleFachbibliothekfurdieThemengebieteWissen- EinordnungundUberblick Konrad-Zuse-ZentrumfurInformationstechnikBerlin(ZIB)installiertund onsdienstvisualisierung\.2dasgesamteprojektvereintverschiedenedien- steineinemfachinformationsdienstfurdiewissenschaftlichevisualisierung EntstandenistdieEVlibamZIBimRahmendesProjekts"Informati- uberdasworldwideweb(www)nutzbar.1 1SieheMD97undhttp://visinfo.zib.de/EVlib. 2Siehehttp:// 54

65 KAPITEL2.DIEELECTRONICVISUALIZATIONLIBRARY (DML98).3 55 ben(sieheabschnitt2.2und2.3).zueinemgroenteilsinddiegespeicherten gewahlt,dasieliteraturbereithalt,furdiebildereinenhohenstellenwertha- DieEVlibwurdefurdieKonzeptioneinesbildbasiertenSuchserviceaus- Dokumenteauch"vollstandig\vorhanden,d.h.nichtnuralsbibliographische Angabe,sondernauchindruckbarerForm(PostScript-oderPDF-Format). thekmitgewirkt.imrahmendessenhatsichdaskonzept"dokumentensuche uberbilder\entwickelt,zumalmitarbeiterderabteilung"wissenschaftliche ZudemhatderVerfasserdervorliegendenArbeitamAufbaudieserBiblio- Visualisierung\angemerkthaben,siekonntensichoftnichtanAutorengesuchterLiteraturerinnern,aberanAbbildungen. 2.2 Fachgebiet Wissenschaftliche Visualisierung als AufgabeundGegenstandderWissenschaftlichenVisualisierung(scientic visualization)sinddieentwicklung,erprobungundanwendungvon(computerunterstutzten)methoden,mitdenensymbolischeodernumerischedaten verschiedensterquelleningeometrischeunddamitbildlichdarstellbaredatentransformiertwerdenkonnen(vgl.hen91,s.175,wy93,s.xiii,sml96, S.1).Zielist,dieErforschungundInterpretationvonStrukturenderDaten zuermoglichenbzw.einsichtindiesezugewahren(vgl.ew92,s.5,hmn93, S.v,HKW94,S.249):"Inscienticvisualizationweareseekingtounderstand thedata\(ew92,s.5).4 Bildern,dieinvielenForschungs-,Anwendungs-bzw.BerufsfeldernzumEinsatzkommt.5Esverwundertdahernicht,daindereinschlagigenLiteratur GrundlegendeTatigkeitinderVisualisierungistalsodieErzeugungvon kenntnisseermoglichen auchohnecomputerhilfe istdieaufzeichnungderwohnorte vonopferneinercholera-epidemie1853inlondon:durchdieseaufzeichnungkonntedie 4GernzitiertesundfruhesBeispielfursolcheVisualisierungen,dieEinsichtenoderEr- 3Siehehttp://visinfo.zib.de. odermedizin.siehez.b.ew92,hmn93,hp97undwy93. Ansteckungsquelle(einverseuchterBrunnen)gefundenwerden(EW92,S.9). 5Anwendungsfelderndensichz.B.inderMathematik,Physik,Chemie,Umwelttechnik

66 KAPITEL2.DIEELECTRONICVISUALIZATIONLIBRARY sehrvielebilderzusehensind(siehetabelle1.1aufseite2). 56 schaftlerundanwenderausdiversenfachdisziplinen,diebeiihrerarbeitviel mitsolchenbildernzutunhaben. PotentielleBenutzerderEVlib,diedortLiteratursuchen,sindWissen- Als"digitaleFachbibliothek\istderBestandderEVlibaufLiteraturausdem 2.3 GebietderWissenschaftlichenVisualisierungbeschrankt.Einzelthemensind InhalteundDokumenttypen Visualization,VirtualRealityundImageProcessing. u.a.computergraphics,volumerendering,surfacerendering,information bzw.dokumenttypenwiemonographien,proceedings,zeitschriftenartikeln undv.a.technischenforschungsberichten(technicalreports). DerBestandumfatbibliographischeInformationenzuFachliteratur- vorgehalten. vollstandigendokumenteindigitalerform(postscript-oderpdf-format) ImIdealfallwerdenzudeneinzelnenLiteraturangabenauchdie gespeichertbzw.zunden.60%davonliegen"vollstandig\vor(postscript oderpdf). ZurZeit(Stand )sindinderEVlib920Literaturreferenzen 2.4 DieEVlibistals"vollautomatische\Bibliothekkonzipiert.Esexistiertkein menschlicherbibliothekarodersystemverwalter,derfurdiepegedesbe- GrundlegendeKonzepte standeszustandigist(md97,s.3f).dieerweiterungdesdokumentenbe- standswirddurchregistriertenutzervorgenommen.6 FormatandieBibliothek.Dortwerdensieautomatischregistriert,gespeichertundindexiert.BeiderIndexierungwerdendeneinzelnenDokumentechungendieentsprechendenbibliographischenAngabenineinembestimmten RegistrierteNutzerbzw.dieAutorenselbstschickenzuihrenVeroentli- NationalLaboratoryimBereichderPhysiklangstetabliert.Siehehttp://xxx.lanl.gov. 6DiesesVerfahrenistz.B.beime-PrintarchiveamUS-amerikanischenLosAlamos

67 KAPITEL2.DIEELECTRONICVISUALIZATIONLIBRARY inihnenenthaltenestichworteralsdeskriptorenbzw.index-terminizugeordnet. 57 BislangstehenzurSucheinderEVlibdiefolgendenMethodenzurVerfugung: 2.5 BisherigeSuchmoglichkeiten Boole'schesRetrieval:DieSuchanfragekanndurchlogischeVerknupfung vonstichwortenformuliertwerden.diesuchmoglichkeitenhabensich stimmtebibliographischefeldereingebenkonnte z.b."decker\im konntedieanfrageverfeinertwerden,indemmansuchbegriefurbe- imverlaufdesprojektsgeandert.zubeginndervorliegendenarbeit bibliographischefelderausgeweitetworden.7 undkleinschreibunggesuchtwerden.auerdemistdiesucheaufmehr moglich.stattdessenkannnachteilworternundunabhangigvongro- Author-Feld.Diesistinzwischen,ineinerzweitenVersion,nichtmehr Browsing:DurchdenBestandderBibliothekkann"geblattert\werden, indemalphabetischbzw.numerischsortiertelistenderautorenbzw. diedieentsprechendensuchbegrie(oderautorennamen)enthalten.abbildung2.1zeigtdasergebniseinerstichwortsuche.beiallgemeineneren SuchworternkanndieErgebnislistesehrlangundunubersichtlichwerden. WenndasvollstandigeDokumentvorhandenist,kanneinebildlicheUbersichtallerSeitendesDokuments(thumbnailoverview)angesehenwerden(sieheAbbildung2.2). DieErgebnissederSuchewerdenineinerListevonTitelnausgegeben, Jahrgangeangesehenwerden. nichtvorkam. warz.b.dasdokumentjfs95,welchessichmitimageretrievalbefat,nichtmitden Worten"ImageRetrieval\zunden,dadieseindenindexiertenFeldern,z.B.Abstract, 7IndererstenVersionderEVlibwurdez.B.nichtdasFeldKeywordsindexiert.Dadurch

68 KAPITEL2.DIEELECTRONICVISUALIZATIONLIBRARY ZusammenfassungderRahmenbedingungen Abbildung2.1:AnzeigeeinesSuchergebnissesderEVlib. AlsRahmenbedingungenfurdenAufbaueinesSystemszurbildbasiertenSuchenachDokumentenfurdieEVlibsinddiefolgendenfestzuhalten.SieergebensichinersterLinieausderTatsache,dadieErweiterungdesBestands durcheingetragenenutzervollzogenwird. 1.Bildermussenausdenvorhandenen"Vollversionen\derDokumente (PostScript-oderPDF-Version)extrahiertwerden.DieEVlibsieht nichtvor,dadiebilderextraerfatwerden.

69 KAPITEL2.DIEELECTRONICVISUALIZATIONLIBRARY 59 Abbildung2.2:AnzeigeeinesthumbnailovervieweinesDokumentsbeiderEVlib. 2.DiebildbasierteSuchekannsichnuraufvisuelleMerkmalebeziehen.Zu denbildernexistierenkeineverbalenbeschreibungen.durchmethoden 3.DieNutzerschnittstellemumiteinfachenMittelnrealisiertwerden, derbildverarbeitungistesbislangnichtmoglich,objekteallgemein dieimwwwdarstellbarundnutzbarsind(z.b.durchhtmlforms). undkorrektzuidentizieren. liegendearbeitalsnichtrealisierbarangesehen. DieImplementierungundEinbindungvonJava-Appletsisttheoretisch moglich,wurdeabernacherstenaufwandsabschatzungenfurdievor-

70 Kapitel3 Service EntwurfdesImageRetrieval FurdieElectronicVisualizationLibrary(EVlib,sieheKapitel2)sollein "ImageRetrievalService\(IRS)entworfenwerden,deresNutzernerlaubt, 3.1 ZieleundallgemeineUberlegungen DokumentemitHilfevonAussagenuberBilderausdiesenDokumentenzu suchenbzw.wiederzunden. niertefunktionalitatbereitstellt.zumanderenistderirsalsexperimen- geschaenwerden,welchesrealennutzernderevlibdieimfolgendende- MitdemIRSsollzumeineneinlauahiges,funktionstuchtigesSystem ausreichenduntersuchtangesehenwird(sieheabschnitt1.1indereinleitung tersuchungenbereitsteht,da"dokumentensucheuberbilder\alsnochnicht tellessystemzuverstehen,welchesalsgegenstandfurweiterfuhrendeun- genunterstutzen,wobeiderschwerpunktaufdenkonkretenliegt.inerster undkapitel1). LiniesollenDokumentewiederaufgefundenwerdenkonnen.InAbschnitt1.6 DerIRSsolldieinAbschnitt1.3genanntenkonkretenundvagenAnfra- auchfurvageanfragenverwendetwerdenkonnen,z.b.dieselbenanfrageformulierungen. UmdenAufwandineinemfurdievorliegendeArbeitrealisierbarenRahwurdegezeigt,daElementezurUnterstutzungkonkreterAnfragenzumTeil 60

71 KAPITEL3.ENTWURFDESIMAGERETRIEVALSERVICE menzuhalten,sollexistierendesoftwaregenutztbzw.eingebundenwerden AusdenRahmenbedingungenderEVlib(sieheAbschnitt2.6)ergibtsich,da derirsnurdokumentensucheaufderbasisvisuellermerkmalederbilder MerkmalefurdieSuchanfrage undformalermerkmalevonbildernindokumentenzulassenkann. SoftwareQBICverwendetwerden(sieheAbschnitt inTeilI),dadiese verfugbarist1undteilweisevisuellemerkmalezursucheanbietet,diein AlsBasisfurdieSuchenachBildernanhandvisuellerMerkmalesolldie Kapitel4inTeilIIherausgehobenwurden. diefunktionalitatineigeneanwendungsprogrammezuintegrierenundsogar zuerweitern. QBICbieteteineProgrammierschnittstelle(API)an,dieesermoglicht, derfolgendenvisuellenmerkmalezulassen(s.abf+95,hse+95,fsn+95):2 Farbe(Farbmittelwert):Bilderwerdenalsahnlicheingestuft,wennsie MitQBICsindMethodengegeben,diedieSuchenachBildernanhand Farbverteilung(ProzentanteileverschiedenerFarbtoneamBild):Bilder einenahnlichenfarbmittelwertaufweisen;3 Farblayout("colorlayout\,BildaufbaubezogenaufAnordnungvon werdenalsahnlichbewertet,wennsieahnlichehaugkeitenahnlicher Farbtonebeinhalten; Textur(RegelmaigkeiteninderOberachenstruktur):BildermitahnlichregelmaigenOberachenstrukturenwerdenalsahnlichbewertet. Farbachen):Bilderwerdenalsahnlichbewertet,wennsieeineahnliche AnordnungvonFarbachenzeigen; 1DieFirmaIBM,inderQBICentwickeltwurde,bietetausgewahltenInstitutioneneine DesweiterensollenzweizusatzlicheMerkmaleberucksichtigtwerden: Kooperationan,sodadieSoftwareverwendetwerdendarf. imrahmendieserarbeitnichtausfuhrlicherlautertwerden.esseiaufdieangegebene Literaturverwiesen.EinigeAusfuhrungenndensichauchinAnhangE. 2Wassichkonkretundtechnisch-algorithmischhinterdiesenMerkmalenverbirgt,kann gesehenwurde. 3DiesesMerkmalewurdeimIRSnichtverwendet,dakeinepraktischeAnwendung

72 KAPITEL3.ENTWURFDESIMAGERETRIEVALSERVICE Seitenverhaltnis(dasVerhaltnisvonHohezuBreite):BildermitahnlichenSeitenverhaltnissenwerdenalsahnlicheingestuft; 62 Komposition(einMerkmalbasierendaufeinerWavelet-Dekomposition, siehejfs95):bilderwerdenalsahnlichbewertet,wennsieeineahnliche DesweiterensollenvondeninKapitel4inTeilIgenanntenformalen AnordnungvonFlachenbezogenaufdieHelligkeitundvonKontrasten aufweisen.4 werden.5 MerkmalenvonBilderninDokumentendieAnzahlanBildernberucksichtigt suellemerkmalewurdeninabschnitt inteilidiedreivarianten AlsMethodenderFormulierungderSuchanfragefurBilderbezogenaufvi- 3.3 Abfragemoglichkeiten Auspragungsspezikation,Query-by-Image-ExampleundZeichnungidentiziert.DieletztenbeidensollauchderIRSermoglichenziertenImageRetrieval-Systemen(QBIC,VisualSEEk,Virage). DieseFormulierungsvariantenndensichindeninAbschnitt skiz- Systemnurderartgestelltwerdenkann,daeinVorbildundeinvisuelles Merkmalbestimmtwird,zudenendasgesuchteBildahnlichseinsoll.6 Aualligist,dabeiQBICundbeiVisualSEEkeineAnfrageandas tenbildernentsprechenundeinsalleinenichtfureinederartigebeschreibung moglichevorbildervorliegen,diejeweilsnuruntereinemaspektdengesuch- BeieinerQuery-by-Image-Exampleistesaberdenkbar,damehrere Merkmalsollverwendetwerden,daesleichtzuimplementierenist deralgorithmus ausreicht.furdenentwurfdesirswirddaheralswesentlichangesehen,da istinjfs95abgedruckt.sieheauchanhange.denausfuhrungenderautorennach liefertderalgorithmusvielversprechendeergebnisse.ineigenenvorstudienkonntedies 4InErmangelungeinerbesserenBezeichnungwurde"Komposition\verwendet.Dieses dererwertzugesprochenwird.wichtigererscheintdiefrage,obzweibilderaufderselben weitgehendnachvollzogenwerden. Seiteauftauchenodernicht. 5GroeundPositionwerdennichtinBetrachtgezogen,dadiesenzunachstkeinbeson- Endsuberpruftwerden.EsseiaufdieangegebenenURLsimo.g.Abschnittverwiesen. 6DiesistnichtexplizitinderLiteraturausgedruckt,kannaberanhandderWWW-Front

73 KAPITEL3.ENTWURFDESIMAGERETRIEVALSERVICE mehrerebildermitjeweilsunterschiedlichenmerkmalenzurformulierung 63 dersuchanfrageherangezogenwerdenkonnen. QL,"IRSQueryLanguage\).Dasbedeutetnicht,daNutzernurdieseForm 3.4 FurdenIRSwurdeeineeigene,textbasierteAbfragesprachedeniert(IRS- AbfragespracheundFunktionalitat deranfrageformulierungnutzenkonnen.vielmehrwurdediedenitioneiner AbfragesprachezurSpezikationderFunktionalitatgewahlt.Zumanderen stelltsiegleichzeitigeineerste,rudimentarebenutzerschnittstellebereit. undentsprechendeergebnissezuliefern. EinegraphischeBenutzerschnittstelle(Abschnitt3.5)sollNutzerneine DerIRSsollinderLagesein,AnfragenindieserSprachezubearbeiten komfortablereformulierungerlaubenunddieseindieirsqlubersetzen.das DesignderNutzerschnittstelleistdamitabgekoppelt,umggf.verschiedene Variantenanbietenunderprobenzukonnen.Schlielichsindverschiedene Entwurfedafurdenkbar. den.andieserstellewerdennurwesentlicheeigenschaftenundelemente beschriebenundanhandeinigerbeispieleverdeutlicht,wiemitdieserspracheanfragenformuliertwerdenkonnen. EineausfuhrlichereBeschreibungdieserIRSQListimAnhangDzunmentensucheunterschieden.(DerZweck,dieDokumentensuche,bleibtderselbe.) BeiderAnfrageformulierungwirdzwischeneinerBilder-undeinerDoku- DamitkonnennaturlichmehrereBildergefundenwerden,undinmanchen FallenkonntedieseFormausreichen,relevanteDokumentezunden. BeiderBildersuchewirdnureinBildbeschrieben,welchesgesuchtwird. verschiedenevisuellemerkmaleausgewahltwerden.diebeispielhafteirsql- Anfrage BeiderBildersuchekonnenmehrereVorbilderundvondiesenwiederum PIC(AspectRatio=EinBild,Colors=EinAnderesBild) mateinbildundindenfarbeneinanderesbildahneln.abbildung3.1ver- bedeutetinnaturlichersprache,dabildergesuchtwerden,dieimfor-

74 KAPITEL3.ENTWURFDESIMAGERETRIEVALSERVICE deutlichteinensolchen"suchwunsch\anhandeinesbeispiels.einbildoder 64 EinAnderesBildkonnenVorbilderausderBilddatenbasisoderZeichnungen sein. liegendenbilderzurverfugung.einesuchenachdemobigenbildkonntelauten:"suche Bilder,dieimFormatdemlinksuntenundindenFarbendemrechtsuntenahnlichsind.\ gesuchte.alsvorbilderfureinequery-by-image-examplestehenu.a.diebeidendarunter Abbildung3.1:BeispielfurdieFormulierungeinerBilderanfrage.DasBildobenseidas SieheFarbabbildungA.3aufSeite104. knupftwerden,womitausgedrucktwerdenkann,daverschiedenebilderin einemdokumenterinnertwerdenodervorhandenseinsollen.zudemkonnen BeiderDokumentensuchekonnenmehreredieserBilderanfragenver- diese"einzelbild-abfragen\nochbezogenaufeineseiteverknupftwerden, womiteingeschranktwird,dadiesebilderdannaufeinundderselbenseite einesdokumentszundensind.zudemkonnenangabenuberdieanzahl eineweitereeinschrankungbildenkann. derbilderaufderseiteoderimdokumentinsgesamtgemachtwerden,was DOC(N>5, DiefolgendebeispielhafteFormulierungverknupftalldieseElemente: PAGE(N~3,PIC(Colors=EinGruenesBild), PIC(Colors=MeineZeichnung) PIC(Colors=NochEinGruenesBild), )

75 KAPITEL3.ENTWURFDESIMAGERETRIEVALSERVICE EinesolchkomplexeAnfragekonnteausderErinnerunganeinDokument 65 resultieren,indemviele(n>5)bilderzusehenwaren.auerdemgabeseine zweinaherbeschriebenwerdenkonnen(namlichdurchdievergleichemit Seite(PAGE),aufdersichetwadreiAbbildungenbefanden(N3),vondenen EinGruenesBildundNochEinGruenesBild).ZudemwaranandererStelle nocheinbildzunden,dasaussahwiemeinezeichnung(pic). genvorbehalten.zunachstsolldiemoglichkeitdazugegebenwerden. obsolchdierenzierteerinnerungmoglichist,bleibtweiterenuntersuchun- ObsolchekomplexenAnfragenvonNutzerngestelltwerdenkonnen,bzw. FormulierungderAnfrageandenIRSerleichtern. EinegraphischeBenutzerschnittstelle(UserInterface,UI)sollSuchendendie 3.5 ten,diebekannteimageretrieval-systemeaufweisen(sieheabschnitt inteili).dazuseieneinigewesentlicheundgemeinsamemerkmaledieser DerEntwurfderBenutzerschnittstelleorientiertsichteilweiseanElemen- verwiesen(abbildungen2.1bis2.5). kurzerortert.zuranschauungseiaufdieabbildungenimo.g.abschnitt steme(qbic,visualseek,virage)lassensichdiefolgendengrundlegenden Vorgehensweisenunterscheiden.FastallenFormenistgemein,damiteiner BeidenAnfrageformulierungenperQuery-by-Image-Exampledero.g.Sy- AnzeigezufalligausgewahlterBilderausderBilddatenbasisgestartetwird. 2Schritte,1Ebene:ZurFormulierungsindzweiSchritteaufeiner"Ebene\(d.h.hierz.B.einerWWW-Seite)notwendig.ErstwirdeinvisuellenachwirdeinVorbildbestimmt.DannwirddieSuchegestartet(QBIC, Merkmalausgewahlt,bezuglichdessendieSuchestattndensoll.Da- 1Schritt,1Ebene:ZurFormulierungistnureinSchrittnotwendig:ne- Virage). benjedemderangezeigtenbilderbendetsichjeeinbuttonprovi- suellemmerkmal,z.b.einerbezeichnetmit"c\zursuchebezuglich startet(qbic). "Color\.DieAbfragewirdmitdemMausklickaufdiesenButtonge-

76 KAPITEL3.ENTWURFDESIMAGERETRIEVALSERVICE 2Schritte,2Ebenen:ErstwirdeinVorbildausgewahlt(perMausklick). 66 BeiderAbfrageubereineZeichnungzeigensichdreiVarianten: AufeinerzweitenEbene(folgendeWWW-Seite)wirddasMerkmal angegeben,aufderdiesuchebasierensoll(visualseek). EditoraufderselbenSeite:einEditorbzw.Zeichenprogrammistauf EditoraufExtra-Seite:einezweiteEbeneoderWWW-Seitemuangesteuertwerden,aufdersicheinEditorbendet(QBIC). werden,unterdereinbildimwwwzundenist.diezeichnungkann zufalligenauswahlundderresultate(visualseek). derselbenebeneoderwww-seitewiedieangezeigtenbilderder AngabeeinerURL:IneinemEingabefensterkanneineURLeingegeben DieBenutzerschnittstelledesIRSsolldenfolgendenPrinzipienfolgen: gespeichertwerden,dasieuberdaswwwtransportiertwerdenkann. alsomiteinembeliebigeneditorangefertigtwerdenundmunurderart 2Schritte,2Ebenen:ZuerstwerdeneinodermehrereBilderauseiner speziziert. aufeinerzweitenebene(www-seite)werdendievisuellenmerkmale zubeginnzufalligen AuswahlvonangezeigtenBildernmarkiert.Erst EssollenverschiedeneVorbilderzurAnfrageformulierungverwendet werdenkonnen(query-by-image-example).zudemsollenzujedemdieservorbildereinodermehreremerkmaleangegebenwerdenkonnenheabschnitt3.3undabbildung3.1).auerdemkann,wennz.b.ein Dokumentgesuchtwird,einausgewahltesVorbildmehrerengesuchten diedemgesuchtenbildoderdengesuchtenbildernahnlichsind(sie- DieseWahlhatdiefolgendenGrunde. ahnlichsein.zumbeispielkonntedasvorbildlinksunteninabbildung3.1auchimformatahnlichzueinemzweitenbildsein,welches einerzweistugenvariantemoglich. OhnedieOberachezuuberfrachten,erschiendieseMoglichkeitnurin imgesuchtendokumentzundenseinsoll.

77 KAPITEL3.ENTWURFDESIMAGERETRIEVALSERVICE ZudemkanndieseBilderauswahlsowohlfureineBilder-sowiefureine 67 Dokumentenanfrageverwendetwerden(sieheAbschnitt3.4).EinNutzersammeltalsozuerstauseinerMengevonBilderneinigeauf,diein AngabeeinerURL:ImRahmendervorliegendenArbeiterscheintes visuellerhinsichtdengesuchtenbildernahnlichsind. nichtmoglich,eineneditorbzw.einzeichenprogramm,welchesineinewww-seiteeingebundenwerdenkann,zuimplementieren.daher wirdzwangsweiseaufdieprimitivemoglichkeitderzeichnungineinem beliebigenzeichenprogrammundangabeeinerurlzuruckgegrien. zumalsiemithtmlformsrealisiertwerdensollte(sieheabschnitt2.6). dieirsqlbietet,umgesetzt.dieschnittstellesollnichtuberfrachtetwerden, BeiderGestaltungderSchnittstellewerdennichtalleMoglichkeiten,die DieBildersucheistwieobenbeschriebenmoglich.BeiderDokumentensuche EsisteineAuswahlgetroen,diezunachstalsausreichendangesehenwird. sollensuchendebiszudreigesuchtebilderbeschreibenkonnen.zudemsollen sieangebenkonnen,obdavonzweioderalledreiaufderselbenseitezunden werdensollen(undspaterwurden),istindenabbildungenzuabschnitt4.7 sindẇiedieeinzelnen,bishergenanntenentwurfselementekonkretumgesetzt zusehen. sen.dieseumfassendiedokumentenbasis,bilddatenbasis,bild{dokument- DerIRSmudieinAbschnitt1.1genanntenSystemkomponentenaufwei- 3.6 Systemkomponenten inkapitel4zurimplementationbeschrieben. henderwerdendiesekomponenten,derenaufgabenundderenrealisierung Relation,IndexierungskomponenteunddieBenutzerschnittstelle(UI).Eingeponenten.IndieserAbbildungstehtderIRSzunachstnebenderEVlib. DurchVerweisevonderEVlibaufdenIRSundvomIRSzudenDokumentenderEVlibundderenDarstellungsolleineeinfacheIntegrationerreicht Abbildung3.2zeigtdengrobenAufbauunddasZusammenspielderKom- werden.spatereerweiterungen,diediesuchmoglichkeitenderevlibund

78 KAPITEL3.ENTWURFDESIMAGERETRIEVALSERVICE 68 Nutzer EVlib IRS WWW User Interface Dokument Extraktion und Indexierung DokumentegehenindenExtraktions-undIndexierungprozeein.DieextrahiertenDaten Abbildung3.2:SchematischerAufbaudesIRS.DatenussesinddurchPfeiledargestellt. Bilddatenbasis Bild-Dokument- NutzerstelltentwedereineAnfrageperIRSQLandieAbfragekomponenteoder komfortabler andaswww-userinterface.dieseubersetztdiegraphischformulierteanfrage inirsql.ausdendateninderbilddatenbasisundderbild{dokument-relationwird dasergebnisermitteltundandasuserinterfaceunddamitandennutzerweitergegeben. undbilderwerdeninderbilddatenbasisundderbild{dokument-relationabgelegt.ein StarkenbeiderSystemevereinen. desirsverknupfen,konneneineweitergehendeintegrationrealisierenund Anfragekomponente

79 Kapitel4 Implementation 4.1 DerImageRetrievalService(IRS)wurdeaufderBasisdesEntwurfs(siehe Uberblick Kapitel3)implementiert. EristimWWWunterdenAdressen bzw. derform,wieerindervorliegendenarbeitbeschriebenwirdundaufderder zundenundzunutzen.dieersteadresseverweistaufdenservicein folgendeerfahrungsberichtbasiert.1diezweiteadresseistdiedesallgemein zuganglichendienstes.2 stelle("applicationprogramminginterface\,api)furdieprogrammierspra- chec++an,sodadiefunktionalitatinandereanwendungenintegriert MerkmalsdatenderBilderverwendet.QBICbieteteineProgrammierschnitt- WieinAbschnitt3.2beschrieben,wurdeQBICfurdasManagementder folgendenerfahrungsberichtvorgenommen.69 werdenkann. 2Hierwurdeninzwischenschonerste,kleinereAnderungenalsKonsequenzausdem 1DieErreichbarkeitdieserVersionistnurbiszum garantiert.

80 KAPITEL4.IMPLEMENTATION FurjedesvisuelleMerkmalfurdieSucheistoderwirdeineC++-Klasse 70 implementiert,diefurdiesesmerkmaldierelevantendatenausbildernermittelt,furdiespeicherungineinerqbic-eigenendatenbankcodiertunweiterbarindemsinne,dabeliebigweiterevisuellemerkmalefurdiesuche VergleichsoperationenfurdasRetrievalbereitstellt.DadurchistQBICer- einzelnenkomponentenwirdindenfolgendenabschnittenweitererlautert. eingebundenwerdenkonnen. EinigeweitereDetailsfurinteressierteLeserndensichimAnhangE. DieArchitekturdesIRSistinAbbildung3.2skizziert.DieUmsetzungder DieDokumentenbasisistdurchdenBestandanDokumentenderEVlibgegeben.WennbeiderAufnahmeeinesneuenDokumentseinePostScript-oder Dokumentenbasis 4.2 EVlibbereit.DieseKopiewirdbeiderAufnahmeindieEVlibandenIRS PDF-Fassungangegebenwird,liegteinelokaleKopieaufdemServerder 4.3 ubergeben. malsdaten. DieBilddatenbasisgliedertsichindreiTeile:Bilder,ThumbnailsundMerk- ZurZeit(Stand15.Oktober1998)umfatderBestand5238Bilderaus463 werdenineinemeigenenverzeichniszurlangzeitspeicherunggesammelt. DiedurcheineBilderextraktion(sieheAbschnitt4.5)gefundenenBilder Dokumenten. benotigt. bewahrt.diesewerdenvomuserinterface(sieheabschnitt4.7)zuranzeige FurjedesBildwerdenzweiverkleinerteKopien(Thumbnails)separataufmitteltundineinerQBIC-eigenenDatenbankgespeichert.Dortsindalsonur diejenigenmerkmaleenthalten,diesichaufdiebilderansichbeziehen. DieMerkmalsdatenwerdendurchQBIC-FunktionenausdenBilderner- DasProgramm-ModulfurdieseMerkmalsdatenbankwurdeinC++im-

81 plementiert.esistdurchdiedenitioneinerc++-klassederartgekapselt KAPITEL4.IMPLEMENTATION 71 FunktionalitatnachauenhinzurVerfugungstellt. worden,dadieqbic-spezikafurdenirsverborgenbleiben,sodaqbic ggf.ersetztwerdenkanndurcheineandereimplementation,diedieselbe 4.4 DieBild{Dokument-RelationwurdemitHilfedesrelationalenDatenbanksystemsPostGresrealisiert.DieInformationdieserRelationwirdineiner Tabelleabgelegt,diezujedemBilddiedazugehorigeSeite,dasentsprechendeDokumentsowiediePositionaufderSeiteunddieGroerelativzurSeite speichert. resdatenbank-management-system(dbms)ersetztwerdenkann.derirs IRSkapseltdiePostGres-Spezika,sodaPostGresggf.durcheinande- EineC++-KlassealsSchnittstellezwischenderDatenbankunddem 4.5 istdamitunabhangigvomkonkretendbms. AusdengegebenenDokumenten(inPostScript-oderPDF-Format)mussen zuerstallebilderextrahiertwerden.dasprogrammzurbilderextraktionist BilderextraktionundIndexierung unabhangigvomirsinc++implementiertworden.esstelltdiebilder bereitsowieeinedateimitinformationen,welchebildermitwelcheneigenschaften(z.b.groe)aufwelcherseitezundensind.diesedateiwirdfur dieweitereverarbeitungverwendet DieExtraktionderBilderstellteinProblemfursichdar.Zumeinenwares alsnichtmoglichangesehenworden,diebilderdirektausdempostscript- Bilderextraktion Codeherauszultern.3DaherwurdederWeguberBildverarbeitungsmetho- niertundumgekehrt.eserschiennichtmoglich,diesauseinanderzuhalten. PostScript-Dokumenteerzeugen.ZudemsindteilweiseBildelementealsSchrift(Font)de- 3DiesistbedingtdurchdieverschiedenenArten,aufdieverschiedeneProgramme

82 dengewahlt.dabeistelltsichdiefrage,welchebilderoderbildteilezusammengehorenbzw.voneinembetrachteralszusammengehorigwahrgenommen werden.4 KAPITEL4.IMPLEMENTATION 72 tei(bitmap)gewandelt.jedes"seitenbild\wirddanachanalysiert,umbilder ZurBilderextraktionwirdnunjedeSeiteeinesDokumentsineineBildda- DiesesProblemkonntenichtganzlichzufriedenstellendgelostwerden. Har94,HPH95,NKK88). beideroptischenzeichenerkennung(ocr)eingesetztwerden(z.b.edc94, vomtextzutrennen.dabeiwerdenmethodenangewendet,wiesiezumteil nachgearbeitetwerden,wasdurchdietrennungvonbilderextraktionund Weiterverarbeitungmoglichist.DiesehalbautomatischeLosungistfurein DieExtraktionfunktioniertuberwiegendkorrekt.TeilweisemuperHand experimentellessystemdennochalsakzeptabelangesehenworden.zukunftigeerweiterungenmussendiesenprozeeektivergestalten DieDaten,diedieBilderextraktiongeneriert,werdenindenfolgendenSchrit- tenverwendet.dieentsprechendendatenwerdenindiebild{dokument- Weiterverarbeitung Relationaufgenommen(sieheAbschnitt4.4),dieThumbnailswerdenerzeugt (sieheabschnitt4.3),undzumschluwerdendurchqbicdieauspragungen dervisuellenmerkmalederbilderindexiert(sieheabschnitt4.3). 4.6 DieSuchkomponentewurdeineinemeigenenProgramm-ModulinC++realisiert,welchesdieo.g.SchnittstellenfurdieBild{Dokument-Relationund QBICnutzt. schnitt3.4)undgibtdasentsprechendeergebnisalslistevonbildernoder 4ZweiBilder,diedichtnebeneinanderaufeinerSeitestehen,konntenalszweiBilder DiesesAbfragemodulinterpretierteineAnfrageinderIRSQL(sieheAb- oderaberalseins(alsoalseinekombination)wahrgenommenunderinnertwerden.dies kannunabhangigvondenbildunterschriftengeschehen,diediebeidenbilderggf.als zusammengehorigoderalszweiabbildungenausweisen.

83 Dokumentenaus(vgl.AnhangD). KAPITEL4.IMPLEMENTATION 73 nichtinderbilddatenbasisbzw.indendatenbankendesirsvorhandenist, z.b.durch IneineAbfragekannaucheinebeliebigeBilddateiintegriertwerden,die NutzersausdemWWWaufdenServerderEVlibbzw.desIRSzukopierenundzurAnfragespezikationzunutzen,zumanderen,umeinemNutzer nebendenvorhandenbildernbestimmtemusterfureinequery-by-image- Dieskannzumeinendafurverwendetwerden,umeineZeichnungeines PIC(Colors=/tmp/einbild.gif) 4.7 Exampleanzubieten,z.B.Farbmuster(sieheAbschnitt4.7). DieBenutzerschnittstelle(UserInterface,UI)wurdefurdasWWWinPerl implementiert.dasprogramm,dasdienutzerschnittstellerealisiert hier mituiabgekurzt generiertdiehtml-seiten,diedemnutzerangezeigt werdenundverschiedeneeingabelementeaufweisen.formulierteinnutzer SQLubersetztundandieSuchkomponenteweitergeleitet.Letztereermittelt dasresultat,welchesvomuiwiederumineinerhtml-seiteangezeigtwird. anhanddieserelementeeineanfrageandenirs,wirdsievomuiindieir- AktioneneinesNutzersanonymfestgehaltenwerden.5 DasUIgeneriertein"Interaktionsprotokoll\furAnalysen,indemdie folgendenabschnittebeschreibendiesekurz. DieAbbildungen4.1bis4.5zeigendiegenerierteOberachedesUI.Die WirdderIRSerstmaligaufgerufen,wirdeinezufalligeAuswahlvonBildern ausdembestandderbilddatenbasisangezeigt(sieheabbildung4.1). Bilderauswahl stehtdarin,daeinnutzerzunachstvorbilderausderanzeigesammelt,die 5Anonyminsofern,dadasUInurdieBezeichnungdesRechnersimInternetfeststellen DasPrinzip,demdasUIunddieFormulierungeinerAnfragefolgt,be- kann.welchepersonandiesemrechnersitzt,bleibtverborgen.

84 KAPITEL4.IMPLEMENTATION 74 untervisuellenaspektendemoderdengesuchtenbildernahnlichsind.erst Abbildung4.1:BildauswahlbeimIRS. einennutzervoninteressesind,markierterdurcheinenmausklickaufeinecheckboxunterdiesembild.unterdenangezeigtenbildernbendetsich einepalettevonfarbmustern,dieebenfallsmarkiertundzuranfrageformulierungverwendetwerdenkonnen.zudemkannineinemeingabefeldeine URLangegebenwerden,unterdereinBild z.b.einezeichnung im welchenvorbildesfurseineanfragedierelevantensind.(vor-)bilder,diefur ineinemzweitenschrittteilteinnutzerdemsystemmit,welchemerkmale WWWzundenist.

85 KAPITEL4.IMPLEMENTATION AufderStartseitendeteinNutzerfunfButtons,diejeeinebestimmte 75 Aktionstarten: Random:EinMaus-KlickaufdiesenButtonbewirkteineneueZufallsauswahlanBildern.DabeiwerdendiezuvormarkiertenBilderbeiderfolgendenAnzeigederZufallsauswahlwiederangezeigtundgehennicht PictureInfo:Die"PictureInformation\zeigtzuallenmarkiertenBildern verloren. Reset:DieserButtonsetztalleCheckboxeszuruckaufdenZustand,derbei derennamenunddiedokumentean,ausdenensiestammen.vonhier kanneinnutzeralsozumgewunschtendokumentgelangen. LookforPictures:HierwirdaufdieSeitegewechselt,aufdereinNutzereineSuchanfragenachBildernformulierenkann.Dortwerdenalle markiertenbilderangeboten. zereinesuchanfragenachdokumentendurchdiebeschreibungvon debildallemarkiertenvorbilderfurdieangabeahnlichermerkmale biszudreibildernformulierenkann.dortwerdenfurjedeszusuchen- angeboten. dergenerierungderseiteherrschte. LookforDocuments:HierwirdaufdieSeitegewechselt,aufdereinNut Abbildung4.2zeigtdieSeitezurFormulierungeinerBildersuche.Zujedem ausgewahltenvorbildkanneinnutzerangeben,unterwelchemaspektes werden,dieinderirsqlz.b.folgendermaenaussehen: demgesuchtenbildahnlichist.aufdieseweisekonnenanfragenformuliert "StartQuery\startetdanndieAnfrage. usw.) PIC(Colors=EinBild,AspectRatio=EinAnderesBild,

86 KAPITEL4.IMPLEMENTATION Abbildung4.2:FormulierungeinerAnfragezurBildersuche. dadiebewertungenundeinrangplatzangegebenwerden.alleangezeigten Abbildung4.3zeigtbeispielhafteinErgebniseinerBildersuche. BilderkonnenerneutfurdieNeuformulierungeinerAnfragebenutztwerden. DieAnzeigeahneltderAnzeigeaufderStartseite,mitdemUnterschied, mentederobenbeschriebenenbildersuche.abbildung4.4zeigteinesolche DieFormulierungeinerAnfragezurDokumentensucheverwendetdieEle FormulierungeinerDokumentensuche gabevonahnlichenvorbildernundmerkmalen. Seite. NutzerkonnenmaximaldreiBilderbeschreiben,wiederumdurchdieAn- ZudemkanneinNutzerubereinMenuangeben,obundwennjawelche

87 KAPITEL4.IMPLEMENTATION 77 BilderaufeinerSeitedesgesuchtenDokumentszundensindbzw.sein Abbildung4.3:ErgebniseinerBildersuche. sollen. "StartQuery\startetdieSuche.

88 KAPITEL4.IMPLEMENTATION 78 Abbildung4.4:FormulierungeinerAnfragezurDokumentensuche.SieheFarbabbildung A.1aufSeite103 jedemdokumentwerdennurdiejenigenbilderangezeigt,diebeidersuche Abbildung4.5zeigtbeispielhafteinErgebniseinerDokumentensuche.Zu diebestenbewertungenbezogenaufdiesuchanfrageergebenhaben. eineranfrageverwendetwerdenkonnen. AuchhierndensichwiederalleElemente,diezueinerNeuformulierung

89 KAPITEL4.IMPLEMENTATION 79 Abbildung4.5:ErgebniseinerDokumentensucheausAbb.4.4.SieheFarbabbildungA.2 aufseite104.

90 Kapitel5 Erfahrungsbericht 5.1 DerImageRetrievalServiceunddessenBenutzerschnittstelle(UserInterface, UI)solltennachdemAufbaueinerUsabilityInspectionunterzogenwerden. UsabilityInspection standen,beidenen"inspekteure\benutzerschnittstellenimhinblickauf Usability-Aspekteuntersuchen(NM94,S.1-2). UntersolchenInspektionenwerdeneineReiheinformellerMethodenver- zusammen:u.a.leichteerlernbarkeit,ezientenutzungnachdemerlernen, geringefehlerquotenundzufriedenheit("satisfaction\,nie93,s.24).diese Usability(Brauchbarkeit,Nutzbarkeit)fatverschiedeneKomponenten sindeinteilallgemeinersystemakzeptanz(nie93,s.25f). MotiviertwerdensolcheUntersuchungenmitunterdamit,daeinSystementwickler imhierbetrachtetenfallderverfasserdervorliegendenarbeit einverstandnisfurdassystementwickelt,daskaumvoraussagenzulat,welcheschwierigkeitenendnutzerimumgangmitdiesemhabenkonnen(nie93den,diehinweiseaufverbesserungendesuigebenkonnen(prs+94,s.672). DieInspektionsmethodendieneninersterLiniedazu,ProblemeaufzunsonderemInteresse. S.10-13). 1.Funktionalitat:IstdiegewunschteFunktionalitatdesIRSgegeben? FurdenErfahrungsberichtindiesemKapitelwarendreiDingevonbe- KonnenEndnutzermitihmgesuchteDokumentenden? 80

91 KAPITEL5.ERFAHRUNGSBERICHT 2.ProblememitdemIRS:WelcheProblemetretenbeimErlernenundbei 81 WelcheKomponentendesUIsindun-odermiverstandlich?Welche Verbesserungsvorschlageergebensichdaraus? deraufgabenorientiertennutzungdieserkonkretenumsetzungauf? 3.GenerelleProbleme:TretenProblemeauf,diegenerellerNatursind, ZurUntersuchungdesIRSunddessenUIwurdenzweiMethodenangewendet,diesichandenVorschlagenvonNielsen(Nie93),NielsenundMack (NM94)sowiePreeceetal.(PRS+94,S )orientieren. 1.AnalysevonInteraktionsprotokollen("interactionlogging\,vgl.Nie93, S.222f,NM94,S.18,PRS+94,S.627):DieseMethodewirdnormalerweiseamEndederSoftwareentwicklungbzw.nachVeroentlichungantierteBildersucheimallgemeinenbeziehen? d.h.diesichaufdokumentensucheuberbilderbzw.dievisuellorien- 2.Endnutzertests:IndreiFallbeispielenmitpotentiellenund"lautdenkenden\Endnutzern(Thinking-aloud-Methode,vgl.Nie93,S , VerstandnisunddieZufriedenheitgefundenwerden. gewendet,umherauszunden,welchekomponentenstarkoderkaum genutztwerden. lernenundderaufgabenorientiertennutzungauftreten,sowieaufdas PRS+94,S.623)solltenHinweiseaufSchwierigkeiten,diebeimEr Interaktionsprotokolle nutzbar.seitdiesemzeitpunktsindzugrieausallerweltregistriertworden. DerIRSistseitdem10.September1998onlineundweltweituberdasWWW Fragestellungen DieseAktionenumfassenZufallsauswahl,Bilderauswahl,Anfrageformulierungen,AnfragestellungenundAufrufevonBildinformationen.1Naturlich DieAktionendieserNutzersinddurchdasUIanonymprotokolliertworden. wasdiskussionswurdigerscheinenkann.eskonnenaberohnehinnurdienamenderrechneriminternetermitteltwerden.dieprotokolledienennurdero.g.auswertungdurch denverfasserundbleibenallenanderenverborgen. 1Nutzerwerdennichtdaraufhingewiesen,daihreAktionenmitprotokolliertwerden,

92 daruber,aufwelchemwegdienutzeraufdenirsgestoensind.2 sinddadurchkeineanalysendermotivationenmoglichundkeineaussagen KAPITEL5.ERFAHRUNGSBERICHT 82 analysiert: 1.WievielNutzungen(Sessions)gabesinsgesamtundproTag?Wieviele DennochwurdendieProtokolleimHinblickaufdiefolgendenFragen wiederholtenutzungengabes?3dieerstefragekannaufschluuber BekanntheitundVerbreitunggeben,diezweitedaruber,obeinzelne 2.WievieleAktionenwurdendurchgefuhrt?DieseAnzahlindiziertdie Nutzerauch"wiederkommen\,wasbedeutenkonnte,dasiebeimerstenVersuchnichtganzlichdasInteresseverlorenhaben. "Nutzungsdauer\.EinehoheAnzahlkonnteaufeineinteressierteNutzungodereinkonkretesAnliegenschlieenlassen,einegeringeAnzahl 3.WiekomplexsinddiegestelltenAnfragen?WelcheArtenvonAnfragenwurdengestellt?Welche(visuellen)Merkmalewurdendabeiverwendet?DieKomplexitatvonAnfragenbemitsichanderAnzahlder aufeinenuchtigenbesuchoderunzufriedenheit. verwendetenbilderundmerkmale EineausfuhrlichereAuswertungderProtokolleistimAnhangBzunden. DieAnalysebasiertaufProtokollenaus43Tagen(10.Septemberbis Ergebnisse 22.Oktober1998).WahrenddieserZeitwurden159Nutzungeninsgesamt registriert,imschnittalsoetwavierprotag.dieprotokollevonnutzerndes BeschreibungsseitevonQBICimWWW(sieheAbschnitt inTeilI)einLinkauf ZIBwurdengeloschtundgingennichtindieAnalysemitein. denirsinstalliert,derdiesenalseineanwendungvonqbicausweist.esistzuvermuten, daaufdiesemwegeviele"besucher\gekommensind,diemitdemirsexperimentiert 2DerIRSistnaturlichuberdieEVlibzuerreichen.Desweiterenistaberauchaufder haben,ohneeinkonkreteszielzuverfolgen. zerndurchgefuhrtwordensein,danurdierechnernamenindenprotokollenermittelt weisedavonausgegangenwerden,daweiterenutzerderselbeninstitutionaufdenirs werden.invielenfallenwirddiesaberdennochderfallsein.wennnicht,kannteil- 3WiederholteZugriebzw.NutzungenmussennichtzwangslaugvondenselbenNut- aufmerksamwurdenodergemachtwurden.

93 KAPITEL5.ERFAHRUNGSBERICHT DerIRSistvondenmeisten"Besuchern\nureinmaligundkurzgenutzt 83 worden.dreizehnnutzerhabenihnwiederholtaufgesucht,teilweisemiteinemmonatabstand. zwolffallenwurdenuberzehn,ineinemsogar30durchgefuhrt. DieNutzungsdauerlaghaugnurzwischeneinerundfunfAktionen,in letztererwurdenoftfalscheoderwenigsinnvolleanfragengestellt(wasder DokumentensuchemitBeschreibungenvonmehrerenBildern(28mal).Bei AmhaugstenwurdenBilderanfragengestartet(201mal),nurseltendie Vorbildvorgenommen(127mal),gelegentlichmitzwei(35mal)oderdrei IRSungunstigerweisezulat). (21mal).DeutlichuberwogdieAngabenureineseinzigenMerkmals(213mal). AnfrageformulierungenwurdenmitdeutlicherMehrheitmitnureinem NurwenigeMale(13)wurdenallefunfMerkmalealsahnlichangegeben. "Composition\und"Colors\warendieamhaugstengenutztenMerkmale. bunden. EinNutzerhatexterneBilderperURL-EingabeinseineAnfrageneinge- entsprechendennutzerschnelldasinteresseverlorenhabenoderalsfachfremdemitderspeziellenanwendungnichtsanzufangenwuten.beieinigen scheintderirsdagegenanklanggefundenzuhaben. Bilderderartseltendurchgefuhrtwurde,deutetdaraufhin,dadieFormulierungsmoglichkeitzukomplexbzw.unverstandlichdargestelltist. DadieDokumentensuchemiteinermoglichenBeschreibungmehrerer DiehaugeeinmaligeundkurzeNutzungkonntedaraufhinweisen,dadie Interpretation betrachtetwerdenkonnten.dagegenkommenjedochzweifelauf;denndas malkonntemanfolgern,davisuellemerkmalederbilderdurchausseparat AusderhaugenFormulierungmitnureinemBildbzw.einemMerk- meistgenutztemerkmalwar"composition\unddieseskonntevonentsprechendennutzernalsrelativglobales,umfassendesbzw.zusammengesetztes Merkmalinterpretiertwordensein. werden.dasuisolltedahingehendverbessertwerden,daesnichtmehr VermutlichmutenbessereHilfestellungenundInformationengegeben

94 erlaubt,unsinnigeanfragenzustellen. KAPITEL5.ERFAHRUNGSBERICHT 84 kumentiertwird,war,genauereinformationendaruberzuerhalten,welche ZieldesTestsmitpotentiellenEndnutzern,derindiesemAbschnittdo- 5.3 Endnutzertests SchwierigkeitenmitdemIRSundggf.mitderDokumentensucheuberBilder generellauftretenkonnen. stimmteaktionendurchgefuhrtwerdenundworausschwierigkeitenresul- tieren. S.195)aufgefordert,wodurchherausgefundenwerdensollte,warumbe- Testpersonenwurdenzum"lautenDenken\(thinking-aloud,vgl.Nie93, FurdieTestsstelltensichdreiMitarbeiterderAbteilung"WissenschaftlicheVisualisierung\desZIBfreiwilligzurVerfugung:einPhysiker,eine Testpersonen Mathematik-StudentinundeinMathematik-undInformatik-Student.Als zereinerbibliothekfurwissenschaftlichevisualisierungunddamitfurden IRSdar,dereinenbesonderenZugangdazuverschat. MitarbeiterdergenanntenAbteilungstellendiesePersonenpotentielleNut- nicht. AlledreiTestpersonenkanntendenIRSinderexistierendenFormnoch benwurdenerlautert.zunachstsolltendiepersonenineinererstenphase DiePersonenwurdeneinzelnzudenTestsgebeten.DiekommendenAufga Vorgehensweise denumgangmitdemirskennenlernenunduben,ohnedaihnendabei Hilfestellunggegebenwurde.4DiessollteAufschluuberdie"Erlernbarkeit\ dahierfurbisherkeineerklarungonlinezundenwar.auerdemwurdeeineinfaches geben. Zeichenprogrammerklart,mitdemsiebeiBedarfZeichnungenfurdieSucheanfertigen konnten. 4EinzigeAusnahmewardieErklarungdesZwecksdesIRSunddervisuellenMerkmale,

95 KAPITEL5.ERFAHRUNGSBERICHT IneinerzweitenPhasesolltenannaherndrealeAufgabenbewaltigtwerden,namlichdieSuchevonDokumentenmitausschlielicherHilfedesIRS. DiessollteAufschluuberweitereUsability-Problemegeben. 85 kurzdurchblattern,danachweglegenundmitdemirssuchen.vordersuche PersonenimgedrucktenOriginal(Buch,Ausdruck)gezeigt.Siesolltenes EssolltendreiDokumentegesuchtwerden.JedesDokumentwurdeden solltensiekritikuben. wurdensiegefragt,anwelchebildersiesicherinnernkonnen.abschlieend geachtetwurde. mentesehrkurzvordersuchegesehenwurdenundnaturlichaufdiebilder ZweifelsohnestelltdieserTestaufbaueineIdealformdar,dadieDokumehrsolltenderUmgang,dieHerangehensweisenundSchwierigkeitenstudiertwerden.SofernZeichnungenvongesuchtenBildernangefertigtwurden, AussagenuberdasLangzeitgedachtniswarenalsonichtzuerwarten.Viel- solltendieseamschludenoriginalengegenubergestelltwerden.dieseinformationensolltenhinweiseaufzukunftigeverbesserungenliefern. FurdieSuchewurdendreiDokumenteausgewahlt,dieinderEVlib vollstandiggespeichertsindundinoriginalformverfugbarwaren Dokument1sollteeineleichteUbungfurdenAnfangdarstellen.Ausgewahlt leichtzundensein.abbildung5.1zeigteineubersicht. daherviele,fastvollstandiggrunebilderzeigt.diessollteverhaltnismaig wurdeeines,welchespanzen-undlandschaftsvisualisierungbehandelt5und welchesvorlangererzeitgesehenwurde.eshandeltesichumeineveroentli- MitDokument2sollteeineSuchenacheinemDokumentsimuliertwerden, dingssiggraph'98,acm,1998,s O.Deussenetal.:RealisticModelingandRenderingofPlantEcosystems.In:Procee-

96 KAPITEL5.ERFAHRUNGSBERICHT 86 chungausderabteilung,derenbilderdentestpersonenbekanntwaren.das Abbildung5.1:Dokument1. Dokumentwurdeihnennursehrkurz"zurAurischung\derErinnerung gezeigt.dieabbildungen5.2und5.3zeigeneineubersicht.6 Dokument3zeigtkeinefarbigenAbbildungen,sondernnurschwarzweieund vorallemdiversestrichzeichnungen.7eswurdeerwartet,dadiesesdokumentschwerzundenseinwurde EineausfuhrlicheBeschreibungdereinzelnenTestsunddieZeichnungender TestpersonenistinAnhangCzunden. Ergebnisse zeptederanfrageformulierungenwurdenunterschiedlichschnellerfat.ins- 6R.Becketal.:NumericalAlgorithmsandVisualizationinMedicalTreatmentPlanning.In:H.-C.Hege,K.Polthier(Hg.):VisualizationandMathematics.Springer-Verlag, Heidelberg,1997,S InstituteforComputergraphics,TUWien,1994. DasErlernendesUmgangsmitdemIRSkosteteetwasZeit.DieKon- 7E.Groller,P.Brunner:Coherenceinscan-linealgorithmsforCSG.TechnicalReport,

97 KAPITEL5.ERFAHRUNGSBERICHT 87 besonderediekomplexereformulierungzurdokumentensuchemitmehreren Abbildung5.2:Dokument2,Teil1. Bildernmutelangerstudiertwerden.ZudemwarendieBeschriftungeneinzelnerButtonsmiverstandlich. einemfallsuchteeinetestpersonvergeblich.ineinemanderenfallwurdedas Dokumentzufalliggefunden,indemeinentsprechendesBildinderzufalligen InachtderneunFallewurdendiegesuchtenDokumentegefunden.Nurin Bilderanzeigewiedererkanntwurde. InzweiFallenhatteeinePersonBilderdesgesuchtenDokumentsinder

98 KAPITEL5.ERFAHRUNGSBERICHT 88 Abbildung5.3:Dokument2,Teil2. Anzeigenichtwiedererkanntbzw.ubersehenundsuchte spatererfolgreich Abbildung5.4:Dokument3 weiter. derdurchgefuhrtenaktionen. 8DieZeitwurdenichtexplizitprotokolliert.DieobigeAussageresultiertausderAnzahl DieSuchprozessedauerteninderRegelrelativlange,8teilweisemuten

99 diestrategiengewechseltwerden(z.b.vonderquery-by-image-examplezur KAPITEL5.ERFAHRUNGSBERICHT 89 dernnachinhaltlichenbewertet(z.b.suchenach"graphen\). Zeichnung).HaugwurdelangereZeitnachmoglichstahnlichenBilderngesucht.AhnlichkeitwurdedabeiteilweisenichtnachvisuellenKriterien,son- Schwierigkeiten.DieSuchprozessedauertenhieramlangsten.TrotzderprinzipiellbekanntenBilderkonntendieTestpersonendiesenurschwervisuell Dokument1wurdeschnellgefunden.Dokument2bereitetediegroten orientiertbeschreiben,besserdagegeninhaltlich.dokument3fandenzwei PersonenaufAnhieb.Diedrittesuchteerheblichlanger. eineminutevorhergesehenwurden.zumteilwurdenfarben,v.a.hinter- diestarkenunterschiedezudengesuchtenoriginalen,obwohldiebilderetwa DiedreiTestpersonenzeichneteninsgesamtzehnBilder.Aualligwaren grundfarben,nichterinnert.erstaunlichdeutlichwurdebeisechszeichnun- gendieinteiliibeschriebeneboundaryextension:diezentralenobjekte wurdenerheblichkleinergezeichnet(siehez.b.abbildung5.5). seinicht"selbsterklarend\.einigeelementeseienmiverstandlich.einetest- KritikderTestpersonenbezogsichvorallemaufdasUserInterface.Es Abbildung5.5:ZeichnungausderErinnerung(rechts)undOriginal(links). personkritisiertedieahnlichkeitsbemessungdesirs.zudemseieinekom- plexeresuchenachmehrerenbildernnurdannnotwendigundsinnvoll,wenn dieeinfachesuchebezuglicheinesbildesnichtzumerfolgfuhre. mitdemirsspabereitete.haugwurdensiedurchdiebilderangeregt, AuerungenderTestpersonenkonnteentnommenwerden,daderUmgang DiegrundlegendeIdeewurdepositivbewertet.DemVerhaltenundden ahnlichezusuchenoderzuergrunden,auswelchendokumentensiestammten.einepersonfandnebenbeisogareinfursieeventuellwirklichrelevantes Dokument.

100 5.3.5 KAPITEL5.ERFAHRUNGSBERICHT Schlufolgerungen 90 DerTestmitdreipotentiellenEndnutzernzeigte,dadieFunktionalitatdes IRSimHinblickaufdasWiederndenvonDokumentenprinzipiellgegeben ist.dersuchprozedauertallerdingsteilweiserechtlange. Natursind. einenaufusability-problemedesirszuruckzufuhren,zumanderengenereller DerTestfordertedesweiterenverschiedeneProblemezuTage,diezum arbeitungszeit,dievonnutzerzunutzervariiert.geradediekomplexere Dokumentensuche,beidermitverschiedenenVorbildernverschiedeneBilder MitdemIRSezientundeektivumzugehen,erforderteinegewisseEinschwierigkeiten. einesdokumentsbeschriebenwerdenkonnen,brachteeinigeverstandnis- durchverbesserteinstruktionenundmehrhilfeseiten,9daderirsinder jetzigenformoenbarnicht"selbsterklarend\ist. Deutlichwird,damehrHilfestellungonlinegegebenwerdenmu,z.B. Teilproblematischzusein.EinigeZeichnungenweisenstarkeUnterschiedezu dengesuchtenoriginalenauf.essollteversuchtwerden,diesindensuchalgorithmenzuberucksichtigen. DieFokussierungaufvisuelleMerkmaleschienfurdieTestpersonenzum tensuchezunden,diedietestpersonenabernichtansehendurften.siesolltenversuchen, denirsohneweiterehilfestellungenzuerlernen.mitdiesenbeispielenwarenvielleicht manchedingeschnellerverstandenworden. 9AufdenSeitendesIRSsindallerdingsBeispielefureineBilder-undeineDokumen-

101 TeilIV Zusammenfassungund Diskussion 91

102 Kapitel1 Zusammenfassung chensollte,dokumenteimsinnevonfachliteraturmithilfevonaussagen stems,welchesdennutzerneinerausgewahltendigitalenbibliothekermogli- ZieldervorliegendenArbeitwardieEntwicklungeinesexperimentellenSyternativenZugangzudieserFachliteraturverschat. uberdiedarinenthaltenenbilderzusuchen,undwelchesgenerelleinenal- I)basierenausschlielichaufderenText.UblicherweisewerdendenDokumententextlicheDeskriptorenbzw.Index-Terminizugeordnet,dievoneinemInformationRetrieval-SystembeiderSuchemitdenSchlagworterneiner KlassischeMethodenderErschlieungundSuchevonDokumenten(Teil zuwenigeoderdiefalschendokumentevomsystemgefundenwerden.das Suchanfrageverglichenwerden. WiederaundenvonDokumentenkannbesondersschwierigwerden,wenn VerschiedeneProblemedieserMethodenkonnendazufuhren,dazuviele, charakteristischeworter,z.b.autorennamen,vergessenwerden,dadiesuchemithilfeallgemeinererschlagworterleichtzusehrgroenantwortmengenfuhrenkannten,wiedererkanntundggf.auchbeschriebenwerdenkonnen.dieseannahmliegendenarbeitangenommen,dadiesevonlesernwahrgenommen,behal- EnthaltdiegesuchteFachliteraturzusatzlichBilder,sowurdeindervor- stutztesichaufdiefolgendenpunkte(abschnitt3.4inteiliundteilii): BilderkonnenmancheSachverhaltebesserdarstellenalsdiesverbal moglichist.dieseeigenschaftwirdauchindersach-undfachliteratur 92

103 KAPITEL1.ZUSAMMENFASSUNG ausgenutzt. 93 BilderwerdeninderFachliteraturublicherweisenicht(allein)zurIllustration,sondernzurDarstellungvonSachverhalteneingesetzt.IsernauchaufdieBildergelenktwird,undzumanderen,daBilder Darauswurdezumeinengeschlossen,dadieAufmerksamkeitvonLe- diesemfallreprasentierensieeinenteildesinhaltseinesdokuments. BilderwerdenauchsonstinderRegelvordemTextwahrgenommen. SelbsteineBetrachtungszeitvonwenigenSekundenkannausreichen, RuckschlusseaufdenInhaltdesDokumentszulassen. Bilderkonnenteilweisebesserbehalten,wiedererkanntundwiedergegebenwerdenalsWorteroderSatze. Bilderzubehaltenundwiederzuerkennen. BilderkonnenmiteinerTresicherheitzwischen80und90%wiedererkanntwerden,auchwennsienebenahnlichenzusehensind. Bilderkonnenteilweisewiedergegebenwerden,wobeidiesweitschwierigeralsdieWiedererkennungistundindereinschlagigenLiteraturnur wenigehinweisedaraufzundensind,welchedetailsdabeierinnert werden. obenbeschriebenessystemzurbildbasiertendokumentensuche exemplarischals"imageretrievalservice\(irs)furdieelectronicvisualization DiegenanntenPunktemotiviertendievorliegendeArbeit,indereinwie Library(EVlib) entwickeltunderprobtwerdensollte(teiliii).textorientierteundbildbasiertesuchesindansatzweisevergleichbarmitdenverschiedenenvarianten,mitdenenmaninzeitschriftenartikelsuchenund BilderverzeichnisoderuberdasBlattern,ErkennenundWiedererkennender Bilder. wiederndenkann:uberdasinhaltsverzeichnis,ubereinggf.vorhandenes sierung,inwelchembildereinenhohenqualitativenwiequantitativenstel- lenwerthaben.ausdenrahmenbedingungenderevlibergibtsich,dadie DieEVlibspeichertLiteraturdesFachgebietsWissenschaftlicheVisuali- SuchenachundmitBildernnuraufderBasisvisuellerMerkmalederBilder vonstattengehenkann.aufgrundderartdervorliegendenbilder(siehedie diversenabbildungenindieserarbeit)wurdeangenommen,damanauf dieserbasisjedocheektivsuchenkann.

104 KAPITEL1.ZUSAMMENFASSUNG DazuwurdenachgeeignetenundverfugbarenMethodenundSystemen 94 ellermerkmalezulassenundggf.eingesetztwerdenkonnten(abschnitt2.3 zumcontent-basedimageretrievalgeforscht,diediesuchebezuglichvisu- SinnevonWunschvorstellungenaneinsolchesSystemvorangestellt.Diese inteili). umfassenu.a.,damerkmalebeidersucheausgenutztwerdensollten,die DerEntwicklungdesIRSwurdenzunachstallgemeineAnforderungenim FarbenundAnordnungenvonBildelementensowieformaleMerkmalewie inteiliundiiherausgearbeitetwurden,alsou.a.visuellebildmerkmalewie AnzahlundPositionenvonBilderninDokumenten. konnte. durchdenbegrenztenzeitrahmennichtalleanforderungenberucksichtigen DerIRSwurdeaufderBasiseinesEntwurfsimplementiert,derjedochu.a. DerIRSistunterdenWWW-Adressen bzw. derform,wieerindervorliegendenarbeitbeschriebenistundaufder zundenundzunutzen.dieersteadresseverweistaufdenservicein dererfahrungsberichtbasiert.1diezweiteadresseistdiefurdenallgemein zuganglichendienst.hierwurdenschonerste,kleinereanderungenalskonsequenzausdemerfahrungsberichtvorgenommen. vonangezeigtenbildernausgewahlt,diedemgesuchtenbildinvisuellerhin- Query-by-Image-Examplesuchen.DabeiwerdenVorbilderauseinerMenge MitdemIRSkonnenSuchendeBilderinersterLinienachdemPrinzip gutzudieserartderbildbeschreibungpassen.derservicebietetdaruber benunddiesuchegestartet.derirssuchtdannbilderheraus,diemoglichst sichtahnlichsind.dannwerdendiekonkreten,ahnlichenmerkmaleangege- hinausfurdiesuchenacheinembestimmtendokumentdiemoglichkeit,bis 1DieErreichbarkeitdieserVersionistnurbiszum garantiert.

105 KAPITEL1.ZUSAMMENFASSUNG zudreibilder,dieindiesemauftretensollen,aufanalogeweisezubeschreibenȧnstelleeinerquery-by-image-example bzw.inerganzungdazu kannaucheineeigenezeichnungangefertigtwerden,derdanndiegesuchten 95 tersucht.zumeinenwurdeninteraktionsprotokolleanalysiert,zumanderen Bilderahnlichseinsollen. wurdeeintestmitdreipotentiellenendnutzerndurchgefuhrt. DerderartimplementierteIRSwurdeamSchluaufzweiArtenun- nichtsuberdiemotivationendernutzerausgesagtwerdenkann.indenmeistenfallenwurdeernurkurzgenutzt,ineinigensehrintensiv. DieProtokollanalysezeigte,daderIRSweltweitgenutztwird,auchwenn Thinking-aloud-Methode fuhrtenu.a.zufolgendenergebnissen: DerIRSkanninseinerderzeitigenFormimPrinzipzumWiedernden DieEndnutzertests aufgabenorientiertenutzungmitbeobachtungund DerSuchvorgangdauertemeistverhaltnismaiglange. vondokumentengenutztwerden:inachtvonneunfallenwurdendie DasErlernendesUmgangsstelltesichteilweisealsschwierigheraus. zusuchendendokumentegefunden. DereektiveundezienteUmgangmitdemIRSerfordertoensichtlicheinegewisseEinarbeitungszeit.EristinderderzeitigenFormnicht "selbsterklarend\.einigeinstruktionenundinteraktionselementesind WennZeichnungenzurSucheangefertigtwurden,zeigendieseteilweise miverstandlich. DerIRSscheintalsQuellederartvielerverschiedenartigerBildereine verhaltnisseneinzelnerbildelementealsauchindenfarben. sehrstarkeabweichungenvomgesuchtenbild,sowohlindengroen- gewissefaszinationauszuuben,waszumweitersuchenundexperimentierenanregt.

106 Kapitel2 Diskussion 2.1 bestimmtefachliteraturdokumenteuberbilderzusuchenbzw.wiederzunden.praktischgesehenistderirsjedochproblembehaftet. DokumentederEVlibgespeichertundindexiert,daausdiversenGrunden dieevlibnichtzujedemdokumentuberdievollversion(postscript,pdf) ZunachstsindinderBilddatenbasisdesIRSgarnichtalleBilderaller MitdemIRSisteinSystementwickeltworden,dasesprinzipiellermoglicht, KritikdesImageRetrievalService verfugt. NichtnurdeswegenistderIRSalsexperimentellesSystemzusehen. tokolleunddieendnutzertestsdeutlich.mitzunehmenderubungkannder reitetengeradeamanfangschwierigkeiten.dasmachendieinteraktionspro- DasUserInterface(UI)unddieMethodenderAnfrageformulierungbe- IRSjedochschnellergenutztwerden.VorstellbarwareabereinbesseresUI, den.einigeelementedesuisindmiverstandlichundmutensofortgeandert indembeispielsweisebilderundmerkmaleperdrag-and-dropverknupftwer- das z.b.alsjavaappletprogrammiert dieformulierungerleichtert, werden.diekonzeptioneinesgeeignetenuifureinsolchessystemkonnte sehrgutthemaeinereigenstandigenarbeitsein. VorbildernwieQBICoderVisualSEEk.MitdermoglichenVerknupfungver- schiedenerbilderundmerkmaleindersuchanfrageistdagegeneineeekti- DerEntwurfdesUIorientiertesichmoglicherweisezusehrananderen 96

107 KAPITEL2.DISKUSSION veresuchmoglichkeitentstanden,alssiedieebengenanntensystemeinihren 97 FrontEndsanbieten. VerfugungstehendenZeitnureinTeilumgesetztwerden.InwieweitdieIRS- graphischorientiertedesexistierendenui.indiesemkonnteinderzur GenerellistdieAbfragesprachedesIRS(IRSQL)vielmachtigeralsdie den.betrachtetmanallerdingsdieinteraktionsprotokolleunddieendnut- zertests,soistfraglich,obkomplexereanfragen,alssiebishergestelltwerden QLnutzbringendeingesetztwerdenkann,konntedahernichtuberpruftwer- konnen,uberhauptgestelltwerden. keeinschrankungdar.dieszeigtesichu.a.indenendnutzertests,beide- nendietestpersonenzumteilgernenachinhaltlichenmerkmalengesucht DieReduzierungaufausschlielichvisuelleMerkmalestellteinestar- hatten("graphen\,"skelette\,"vektorfelder\).diekonzentrationaufvisuellemerkmaleundderengetrenntebetrachtungistoenbarungewohnlich undnichteinfach,ebensodieerinnerungunddiemoglichstoriginalgetreue baubetrit nurguteergebnisse,wenndievorlagenmitdemgesuchten ingroe,absoluteranordnungundfarbgebungderbildelementeweitgehendubereinstimmen.daherwurdenzueinigenzeichnungenderendnutzer Wiedergabe.DieimIRSverwendetenAlgorithmenliefern wasdenbildauf- StrukturunddierelativeAnordnunganalysieren,warenwunschenswert. imtestnichtdiegewunschtenbildergefunden.algorithmen,diestarkerdie IRSvertrautist,kannerdiesenzumWiederndeneinesDokumentsdurchaus eektiveinsetzen. SoferneinNutzereingutes(visuelles)Bildergedachtnishatundmitdem mitdervorhandenenbilddatenbasissinddemverfassereinigefalleuntergekommen,indenenthematischverwandtedokumenteauchvisuellahnliche nichtuntersucht.durchdiestandige,wennauch"informelle\beschaftigung VageAnfragengestaltensichschwieriger.SolchewurdenaberindenTests mentezumimageprocessingenthaltenimmerwiederahnlichebilder,bilderzumsurface Bilderenthalten.1 Renderingsehenoftahnlichaus,DokumenteuberVolumeRenderingenthaltengerneBildermiteinemzentralenObjektvordunklemHintergrund.Undnichtzuletztverwenden 1Dokumentemit(oftvisuellahnlichen)ScreenshotsbehandelnkonkreteSysteme,Doku- einigeautorengruppengernefastidentischebilder.

108 KAPITEL2.DISKUSSION GenerellmutenzukunftigeArbeitenimBereichdesImageRetrievalstarker RucksichtaufdiePhanomenederErinnerunganBildernehmen.DieinTeil IIvorgestelltenStudienunddieEndnutzertestsweisendaraufhin,dader RecallvonBildernundderenvisuellerMerkmalesehrschwierigist. einemsehrgroenbestandaufdieseartfragwurdigerscheint.vorallemdie schiedezudengesuchtenoriginalenauf,daeineeektivebildersuchein DieZeichnungenderTestpersonenweisenzumTeilderartstarkeUnter- inteiliierwahnteboundaryextensionwurdeineinigenzeichnungensehr deutlich.einimageretrieval-systemsollteversuchen,diesinbetrachtzu ziehen,z.b.indemvonnutzerzeichnungenmiteinemzentralenobjektder Randverkleinertwird. RecherchezumThemaImageRetrievalfastkeineArtikelgefundenhat,die andersetzen.2 sichmitproblemendermenschlichenwahrnehmungunderinnerungausein- Bemerkenswertist,daderVerfasserdervorliegendenArbeitinseiner 2.3 WissenschaftlicheVisualisierungisteinFachgebiet,indemstandigBilder produziertwerden,wassichauchindereinschlagigenliteraturwiderspiegelt. AnwendbarkeitaufandereGebiete ZudemliefertdieVisualisierunghaugBilder,diekunstliche,abstraktebzw. schwerverbalzubeschreibendeobjektezeigen.einesucheubervisuelle Merkmaleschienvielversprechend. deindereinleitungerwahnt.inchemie-informationssystemenkonnendo- kumenteanhandderstrukturbzw.desaussehensvonstrukturformelnge- suchtwerden(abschnitt1.1). EinanderesFachgebiet,indemeinederartigeSuchformmoglichist,wurmerkmalenverwendetErkenntnisseausderGestaltpsychologie,umeinzelneBildelemente zuformenzugruppieren,dievoraussichtlichalszusammengehorigwahrgenommenwerden SantiniundJain.Dererstedrehtsichum"shaperetrieval\.DieExtraktionvonUmri- 2Ausnahmenbildenz.B.dieArtikelvonEakins,ShieldsundBoardmansowievon Studien(SJ96a). (ESB96).DerzweitespekuliertuberAhnlichkeitsmaeinBezugaufeinigepsychologische

109 KAPITEL2.DISKUSSION ImBereichbildenderKunstisteinvisuellorientiertesVorgehenebenfalls 99 denkbar sowohlzurbildersuchealsauchzurdokumentensucheuberbilder(vgl.abschnitt2.3.1inteili).schlielichsindbilderdortgegenstand derbetrachtung.obsichdieswirklichineinerbebilderungderliteratur widerspiegelt,mutenachgewiesenwerden. ausreichen. fragwurdig.visuellorientiertesuchewirdindenmeistenfallengewinicht FurandereGebieteerscheintdieAnwendungeinerbildbasiertenSuche 2.4 AnwendungeninanderendigitalenBibliotheken DerIRSistdurchdenunvollstandigenBestandanBildernnureingeschrankt nutzbar.indigitalenbibliotheken,indenenalledokumenteimvolltextbzw. indruckbarerform(postscripto.a.)unddamitallebildergespeichertsind, konnteeinebildbasiertesucheeektivereingesetztwerden.vorstellbarist textbasiertebildersucheanbietenkonnten.schlielichkonntenausdenvolltextendiebildunterschriftenextrahiertbzw.autorenangewiesenwerdengendokumentevorzuliegenhaben.diesehabendenvorteil,dasieaucheine einsolcherfallfurverlageodergroereorganisationen,diedievollstandi- verbalebeschreibungenihrerabbildungenabzuliefern. furdieevlibmoglichist. BildersuchewurdeweitmehrMoglichkeitenoerieren,alsdiesbisherbzw. EineKombinationtextbasierterTextsuche,textorientierterundvisueller wickeltworden.technischgesehenistderirszwarverbesserungswurdig, 2.5 MitdemIRSisteineneueFormderDokumentensuchefurdieEVlibent- Fazit aberstabil,lauahigunderweiterbar. len.dieseumsetzunghataberfragenaufgeworfenundproblemeaufgezeigt. anhandnureinerexemplarischenumsetzungnichtabschlieendzubeurtei- KonzeptionellistderIRSdiskussions{wurdig.DiegrundlegendeIdeeist

110 KAPITEL2.DISKUSSION AufdiesenFragenundProblemenkonnenzukunftigeArbeitenaufbauen. 100 ahnlichkeitsbasiertesucheunddasdirektereansprechendesvisuellensinneseineanderezugangsformzuliteraturdokumentengegeben,alssiedie GrundsatzlichistmiteinembildbasiertenSuchsystemdurchBrowsing, weiterfuhrendeuntersuchungenzeigen. anderequalitat.inwieweitsichdieseanderequalitatweiterauszahlt,mussen klassische,textorientiertebietet.sieliefertandereergebnisseundhateine

111 Kapitel3 Ausblick reitseinezeitlangweltweitzuganglichundinzwischeneincharakteristisches DerIRSsollweitergepegtundggf.ausgebautwerden,schlielichisterbe- 1998vomVerfasserdervorliegendenArbeitundeinemweiterenMitarbeiterdesZIBbetreut.Esistgeplant,dasichinderFolgezeiteinanderer MerkmalderEVlib.DiebeidenSystemewerdennochbiszumJahresende studentischermitarbeiterdeszibumdiesystemekummert. DasbetritvorallemdasUserInterface,dieBilderextraktionundeineLaufzeitverbesserung. ZukunftigeArbeitenmussensichumeineOptimierungdesIRSbemuhen. bildbasiertezuverknupfen.dieskonntezumeinenumfassen,datextliche undbildlichekriterienbeidersucheeingegebenwerdenkonnen,zum EinnachsterSchrittware,dietextorientierteSuchederEVlibunddie andereneineanzeigederbilderderjenigendokumente,diedurcheine textbasiertesuchegefundenwerden. vonbildernsichweiterverbreitenwird.schlielichistderdokumentenbegri nichtuberallsoenggefat,wieindervorliegendenarbeit.fruher,bemerkt FurdienaheZukunftistzuerwarten,daDokumentensuchemitHilfe seieindokumenteine"multimediaentitythatexistsincyberspace\(jai97, S.31).Abitebouletal.erwahnen,daDokumenteauch"multimediatypes\ Jain,seieinDokumentdurchTextaufPapiercharakterisiertgewesen,heute wiebilderenthaltenkonnen,dienebendemtextindatenbankengespeichert 101

112 KAPITEL3.AUSBLICK werdenkonnen(acc+97,s.9).damandiesedokumentedannauchuber 102 derenbildersuchenkonnte,wirddortzwarnichterwahnt,istaberabsehbar. ausgabe1997vollstandigdersuchevonundin"multimedialerinformation\, demimageretrievalundderdokumentensucheingroendigitalenbibliotheken.eineverknupfungimhierbehandeltensinneistaufgrunddieser KombinationvonBeitragenbaldzuerwarten. DasInternationalJournalonDigitalLibrarieswidmeteseineDezemberrungsvermogenbeachtetwerden.WennzudemdieTechnikenderMerkmalsextraktionfortschreiten,sokonnteesinwenigenJahrenmoglichsein,da gestalten,mutenstarkerdiemenschlichewahrnehmungunddaserinne- UmImageRetrieval,insbesonderedasvisuellorientierte,eektiverzu Bilder unddamithierauchdokumente zuverlassigermitzeichnungen wiedergefundenwerden,wiesieindenendnutzertestsdesirsangefertigt wurden.

113 AnhangA Farbabbildungen AbbildungA.1:FarbabbildungzuAbb.4.4aufSeite

114 ANHANGA.FARBABBILDUNGEN 104 AbbildungA.2:FarbabbildungzuAbb.4.5aufSeite79. AbbildungA.3:FarbabbildungzuAbb.3.1aufSeite64.

115 ANHANGA.FARBABBILDUNGEN 105 AbbildungA.4:FarbabbildungzuAbb.C.1aufSeite113. AbbildungA.5:FarbabbildungzuAbb.C.2aufSeite113. AbbildungA.6:FarbabbildungzuAbb.C.6aufSeite118. AbbildungA.7:FarbabbildungzuAbb.C.7aufSeite118.

116 AnhangB Auswertungder Interaktionsprotokolle AnzahlderZugrie DieAnalysebasiertaufProtokollenaus43Tagen(10.Septemberbis22.Oktober1998).WahrenddieserZeitwurden159Nutzungen(Sessions)insgesamtregistriert,proTagimSchnittalsoca.vier.DieProtokollevonNutzern deszibwurdengeloschtundgingennichtindieanalysemitein. B.1aufgefuhrt.IndenmeistenFallenwurdederIRSnureinmaliggenutzt wennmanrechnernamenmitpersonengleichsetzt.beidenviermaligen MehrfacheNutzungenvoneinunddemselbenRechnersindinTabelle wurdennutzungenanzweibzw.dreiverschiedenentagenregistriert,wobei Nutzerfestgestellt.DiemeistenWiederholungenwurdenamselbenoderan NutzungnachetwaeinemMonatwurdeauchbeieinemderzweimaligen beiletzteremeinmonatpausedazwischenlag.ebenfallseinewiederholte zweiaufeinanderfolgendentagenregistriert. undz.b.nureinmalzufalligebilderwahlen,oderoberintensivergenutzt "Nutzungsdauer\wurdemitderAnzahlderdurchgefuhrtenAktionengleichgesetzt.Essolltefestgestelltwerden,obNutzerdenIRSnurkurzanschauen 106

117 ANHANGB.AUSWERTUNGDERINTERAKTIONSPROTOKOLLE107 NutzungHaugkeit genutzt,indenmeistenfallennureinmal. TabelleB.1:HaugkeitenderNutzungdesIRS.NurineinemFallwurdederIRSfunfmal 126 wird. gebildet.dabeiwirdeinehoheanzahlanaktionenalseinehohenutzungs- dauerinterpretiert. InAbbildungB.1sinddieHaugkeitenderjeweiligenNutzungsdauerab- AbbildungB.1:HaugkeitenderNutzungsdauerdesIRSgemessenanderAnzahldurchgefuhrterAktionen.In31FallenwurdenureineAktiongestartet,30Aktioneninnureinem Fall.Eszeigtsich,daindenmeistenFallenderIRSnurweniggenutztwur-

118 ANHANGB.AUSWERTUNGDERINTERAKTIONSPROTOKOLLE108 de.eineaktionsanzahlvoneinsdeutetan,daeinnutzernurdurchden BestandanBilderngeblatterthat(ZufallsauswahlanBildern).Fruhestens angesehenwordensein.1 abzweiaktionenkonnteeinekonkreteanfrageformuliertunddasergebnis Aktionen). IneinigenFallenwurdederIRSjedochsehrintensivgenutzt(10bis30 Aktion Zufallsauswahl/Browsing Bildinformation Haugkeit FormulierungeinerBilderanfrage 87 StarteinerBilderanfrage(davonfehlerhaft) (19) 75 NachsterErgebnisteil("Next\-Button) FormulierungeinerDokumentenanfrage StarteinerDokumentenanfrage(davonfehlerhaft)28(7) 46 NachsterErgebnisteil("Next\-Button) 44 Fehler(keineVorbildergewahlt) TabelleB.2:HaugkeitenderunterschiedlichenAktionen. 146 Aktionen gestelltoderwurdennurdiebilderbegutachtet? NebenderHaugkeitderNutzungstelltesichdieFragenachderArtder Nutzung.WelcheAktionenwurdendurchgefuhrt?WurdenkonkreteAnfragen istzuberucksichtigen,daeinenutzungmiteinerzufallsauswahlbeginnt, 87malwurde"Random\gedruckt("Zufallsauswahl/Browsing\).(Dabei TabelleB.2fuhrtdieHaugkeiteneinzelnerAktionenauf. dieabernichtindieprotokolleeingeht.) VorbilderausgewahltunddieAnfrageformuliertwerden(ersteAktion)unddanachdie 1DiesistbedingtdurchdieZweistugkeitderAnfrageformulierung,beiderzunachst InformationenzuBildernwurden75malangefordert. Anfragegestartetwird(zweiteAktion).

119 ANHANGB.AUSWERTUNGDERINTERAKTIONSPROTOKOLLE109 lierungeinerdokumentenanfrageaufgerufen,dieanfrageabernur28mal alsnachmehrerenbildernindokumenten.da44maldieseitezurformu- Eswirddeutlich,daerheblichhaugernurnachBilderngesuchtwurde gestelltwurde,deutetdaraufhin,dadiezurverfugunggestellteformulierungsartzuundurchsichtigwarundnichtverstandenwurde.insiebender28 Fallewurdevergessen,dieAnfragewirklichzuformulieren,d.h.Merkmale vonvorbildernzumarkieren. markiertwaren,alseineanfrageformuliertwerdensollte. In46FallenwurdenFehlerindemSinnegemacht,dakeineVorbilder "Anfragekomplexitat\wirdhierbemessenanderAnzahlvonElementen(Bilder,Merkmale,Seitenspezikation)inderAnfrageformulierung.EineAnfra- AnfragensetzensichausmehrerenBildernundMerkmalenzusammen.Bei ge,dienureinvorbildundeinmerkmalenthalt,giltalseinfacheanfrage (z.b."suchebilder,dieindenfarbenahnlichzubildbsind\).komplexe derdokumentensuchegiltdiespezikationeinerseitealskomplexeanfrage ("SucheeinDokumentmiteinerSeite,aufderdreiBilderzusehensind,...\). forpictures\)undnurselteneinesuchenachdokumenten,beidermehrere Suchbilderbeschriebenwerdenkonnen(sieheTabelleB.2). IndenmeistenFallenwurdedieBildersucheverwendet(Button"Look davonsinnvollwar essolltenzweibeschriebenebilderaufderselbenseite zundensein.2 InnurfunfAnfragenwurdeeineSeitenaherspeziziert,wobeinureine zudemdiegesuchtenahnlichseinsollten.injeeinemfallwurdensogar7, verwendetwurden.indenmeistenfallen(127)wurdenureinbildgewahlt, TabelleB.3zeigt,wievieleBilderjeweilszurFormulierungeinerAnfrage schriebenwurde.inirsqllauteteinesolchez.b.doc(page(pic(colors=einbild))). UnsinnigeAnfragensindsolche,beidenenangegebenwird,daz.B.Bild2und3aufderselbenSeiteliegensollen,diesebeidenabergarnichtnaherbeschriebenwerden(IRSQL: 2WenigersinnvolleAnfragensindz.B.solche,beidernureinBildfureineSeitebe- DOC(PAGE(),PIC(Colors=EinBild))).

120 ANHANGB.AUSWERTUNGDERINTERAKTIONSPROTOKOLLE110 10oder14Bilderverwendet.3 einfacheanfragenformuliert. BezogenaufdieAnzahlderverwendetenBilderwurdenalsomeistrecht Suchanfrageeinbezogen allerdingsvoneinunddemselbennutzer. ElfmalwurdeeinexternesBilddurchdieAngabeeinerURLindie AnzahlderBilder proanfrageformulierung 0 Haugkeit TabelleB.3:HaugkeitenderverwendetenBilderproAnfrageformulierung."0\bedeutet 14 einenfehlerfall."1\bedeutet,dabeiderformulierungeineranfragenureinvorbild 1 herangezogenwurde,zudenendiegesuchtenahnlichseinsollten. deranfrageformulierunggewahltwurden.indenmeistenfallen(213)wurde zueinemvorbildnureinmerkmalgewahlt.diesbedeutet,dabildergesucht TabelleB.4zeigt,wievieleMerkmalejeweilszueinemgewahltenBildbei wurden,diedemvorbildnurineinemmerkmalahnlichsind. leausgewahlt.diewahlallermerkmalekanninterpretiertwerdenalseine SuchenachBildern,diedemVorbildinsgesamtahnlichseinsollen. Innur13FallenwurdenallezurVerfugungstehendenvisuellenMerkma- visuellenmerkmalegenutztwurden.amhaugstenwurdenalsobildermit einerahnlichen"composition\odermitahnlichenfarbengesucht. InTabelleB.5sinddieHaugkeitendargestellt,mitdenendieeinzelnen 3VermutlichwardieseHaufungals"Hartetest\furdenIRSgedacht.

121 ANHANGB.AUSWERTUNGDERINTERAKTIONSPROTOKOLLE111 AnzahlderMerkmaleHaugkeit probild IndenmeistenFallen(213)wurdezueinemBildnureinMerkmalangegeben,bezuglich TabelleB.4:HaugkeitenderWahlvonMerkmalenproBildinderAnfrageformulierung. dessendiegesuchtenbilderahnlichseinsollten. Merkmal Composition180 Colors Haugkeit Texture AspectRatio ColorLayout TabelleB.5:HaugkeitenderausgewahltenvisuellenMerkmale.

122 AnhangC Beschreibungder Endnutzertests ImfolgendenwerdendieAualligkeitenbeideneinzelnenEndnutzertests dokumentiert(sieheabschnitt5.3inteiliii).1 bildungen5.1bis5.4inabschnitt5.3(teiliii)zusehen. DiezusuchendenDokumentesindjeweilsineinerUbersichtindenAbverstandnisdieRedeist,seidaraufhingewiesen,dadiesdemIRSanzulastenist,nichtdenTestkandidaten.DieTestpersonenwarenmiteinerrelativ WennindenBeschreibungenderTestsvonUnklarheitenodervonUn- ausfuhrlichen,individuellendarstellungderergebnisseeinverstanden. C.1 ErlernenPerson1 Person1benotigtelangereZeit,dieFormulierungderSuchanfragenachBildernzuverstehen.Siegingzunachstdavonaus,daalleausgewahltenBilder indiesuchemiteingehenundvisuellemerkmalenurzusatzlichangegeben phen\).anfragenwurdenmitsehrvielenvorbildernundsehrvielenmerk- werden,dadiesealsobesondersundnichtausschlielichbetrachtetwurden. 1DieReihenfolgederTest-BeschreibungenstimmtnichtmitderReihenfolgederNennungenderPersonenuberein,umAnonymitatzuwahren. SiesuchtehaugBilderbezogenaufdiedargestelltenObjekte(z.B."Gra- 112

123 ANHANGC.BESCHREIBUNGDERENDNUTZERTESTS malengestellt. 113 Person1erinnertesichanBilder,diesieverkurztmitdenfolgendenWortenumschrieb:"GruneWiesen\,"ZweiBlumen\,"DreiBildermitGittern\, SuchenachDokument1 "mehrereaufeinerseite\. grun.daserstebildausdemdokumentfandsichaufplatz16inderergebnisanzeige.dasdokumentwurdealsoschnellgefunden. AnfrageformuliertesiemitdendreiFarbmusternfurgelb,gelbgrunund SiesuchtedasDokumentuberdieBildersuche("Lookforpictures\).Die AbbildungC.1:ZeichnungausderErinnerung(rechts)undOriginal(links).Siehe FarbabbildungA.4aufSeite105. AbbildungC.2:ZeichnungausderErinnerung(rechts)undOriginal(links).Siehe FarbabbildungA.5aufSeite105. Person1kanntedieBilderausDokument2underinnertesichan"eingraues SuchenachDokument2 Skelett\,"Hufte\,"einganzesSkelettunddanebennocheines,rosa,mit

124 ANHANGC.BESCHREIBUNGDERENDNUTZERTESTS Muskeln\,"Hyperplan-Interface\,2"Feldlinien\ dermitte\suchte.ineinemfallhattediesuchezumerfolgfuhrenkonnen,4 BildersuchezumErfolgzukommen,indemsieBilder"miteinemObjektin SiemutemehrereVersuchestarten.Sieversuchtemehrfachuberdie hintenplaziertenbilder. eswurdeabernurdieersteseitederresultateangesehenundnichtdieweiter dungc.1undc.2dengesuchtengegenubergestellt. ZweiZeichnungenwurdenzurSucheangefertigt.BeidewerdeninAbbil- DieSuchewurdeerfolglosabgebrochen. andiefarben(v.a.hintergrundfarben)erinnern,diebeidersuchehilfreich dernichtmoglich,dieseaussagekraftigzubeschreiben.siekonntesichnicht ErstaunlicherweisewaresPerson1trotzderprinzipiellbekanntenBil- gewesenwaren. SuchenachDokument3 AbbildungC.3:ZeichnungausderErinnerung(rechts)undOriginal(links). Person1erinnertesichan"Strichzeichnungen\,"Grundkorper\,"Molekulmodelle\,"eineFigur,soeinAlien\),undachige,schwarzweieBilder. gewesenware(abbildungenc.3undc.4). sucheeingebundenwurden,wahrendhiereinedokumentensucheangebracht SiezeichnetejeeinBildfurzweigesuchte,dieabernurineineBilder- Linienstuckevisualisiertsind. 2"Hyperplan\istdasinDokument2u.a.beschriebeneProgramm. IRS. 3GemeintwareinBildmiteinemBeckenknochen,umwelchesherumFeldliniendurch 4VermutungdesVerfassersalsBeobachter,resultierendausderErfahrungmitdem

125 ANHANGC.BESCHREIBUNGDERENDNUTZERTESTS 115 AufPlatz29dererstenAbfragewurdeeinederMolekuldarstellungen AbbildungC.4:ZeichnungausderErinnerung(rechts)undOriginal(links). wiedererkannt,obwohlanderebildergesuchtwurden. FolgendeKritikpunkteundVorschlagewurdenangebracht: GenerellseidieIdeedesIRSinteressant. Eswaregut,wennderIRSschnellerware. DasUIseinichtselbsterklarend. BeiderResultatanzeigesolltedieAnfrageformulierungangezeigtwerden,umabschatzenzukonnen,"anwelchenParameternmandrehen DiePositionenvonBildernaufderSeitesolltenalsKriteriumzurSuche mu\. MansolltebesserverschiedeneBildersammelnkonnen,umdiesedann angegebenwerdenkonnen. C.2ggf.fureineSucheverwendenzukonnen. ErlernenPerson2 Person2verstandrelativschnelldieFormulierungsmoglichkeiten:"Aha,man kannbilderunterverschiedenenaspektenalsahnlicheangeben.\daman per"pictureinformation\zudendokumentendergewahltenbilderkommt, wurdeerstspatentdeckt.

126 ANHANGC.BESCHREIBUNGDERENDNUTZERTESTS Person2erkanntevieleBilderbeimBrowsingundwurdeangeregt,diese 116 zusuchen.unteranderementdecktesieanhandeinesbildeseindokument, dasfurihrearbeitrelevantseinkonnte. logie,grun\,ein"hohenbild\,"vieroderfunfgrunebildermitrealistischen Person2erinnertesichan"quadratischeBildermitFarbblobs\,eine"Topo- SuchenachDokument1 Platz16fandsiedasersteBildausdemgesuchtenDokument. DarstellungenvonPanzenlandschaften\,"Gras\undein"Schema\. SiesuchtemitHilfedesgrunenFarbmustersschlicht"wasGrunes\.Auf sichdannanein"skelett,mitmuskeln\,einen"screenshot\derhyperplan- AuchPerson2erkanntedieBilderausDokument2wieder.Sieerinnerte SuchenachDokument2 SchnitteinesSkeletts,undeinen"TorsoimMikrowellen-Applikator\. Oberachemiteinem"TorsoimViewer\,ein"E-Feld,blau{lila\miteinem MalesuchtesienurmitHilfederFarbmuster,beimdrittenMalmiteinem Vorbild.AufPlatz31erkanntesiedanneinBild,beidemsiesichabernicht SiefanddasDokumenterstbeiderdrittenBildersuche.Dieerstenbeiden desdokumentsklartediesefrage,dasdokumentwargefunden. sicherwar,obgeradediesesimgesuchtendokumentauftritt.dieansicht Person2erinnertesichan"Skizzenvon3D-Geometrien\,"Aufrizeichnungen\,"scherenschnittartigeSchwarzweibilderaufderhinterenSeite\,"ein SuchenachDokument3 ahnlicherkomposition.dasgesuchtebildfandsichaufplatz1. Mannchen\,"einenschwarzenKreismitzweiweienAusschnitten\. SiemaltedenschwarzenKreis(AbbildungC.5)undforderteBildermit AlsKritikpunkteundAnmerkungennanntePerson2diefolgenden:

127 ANHANGC.BESCHREIBUNGDERENDNUTZERTESTS 117 DieAhnlichkeitsbewertungseischwach,wasaberauchdaranliegen AbbildungC.5:ZeichnungausderErinnerung(rechts)undOriginal(links). DieDokumentensuche,beidermehrereBilderbeschriebenundgesucht basisvorhandenseien. konne,dagarnichtgenugwirklichahnlichebilderinderbilddatensuchezuvieleergebnissebringe.imallgemeinenwurdemanehereine werdenkonnen,warenurinsolchenfallennotwendig,wenndiebilder- C.3BildersuchestartenunddaruberdasDokumentndenwollen. ErlernenPerson3 Person3verstanddieFormulierungenderAnfragenrelativschnell,nurdie wendetwerden("und\-oder"oder\-verknupfung).beiderwahlvonfarb- musternhattesieerwartet,dadasmerkmalfarbenautomatischmarkiert DokumentensuchebereiteteUnklarheiten.Ihrwarzudemunklar,welchelogischenVerknupfungenbeiderWahlverschiedenerBilderundMerkmalever- wurde.texturwareinhauggewahltesmerkmal. ler\,"schwarzweiegitterbilder\,eine"schwarzweigrak\. Person3erinnertesichan"gruneBilder\,"Naturaufnahmen\,"gruneKul- SuchenachDokument1 geklickt).sieformulierteeinedokumentensuchemitzweischwarzweibildern SiesuchtesehrlangemoglichstahnlicheBilder(viermal"Random\

128 ANHANGC.BESCHREIBUNGDERENDNUTZERTESTS 118 AbbildungC.6:ZeichnungausderErinnerung(rechts)undOriginal(links).Siehe FarbabbildungA.6aufSeite105. undeinemgrun-blauenbild.dasgesuchtedokumenterschienimergebnis bildungc.6)ersetzt,woraufhinbeierneuterdokumentensuchedasgesuchte aufplatz23,wurdevonperson3abernichterkannt! aufplatz18erschienunderkanntwurde. ImzweitenVersuchwurdedasgrun-blaueBilddurcheineZeichnung(Ab- AbbildungC.7:ZeichnungausderErinnerung(rechts)undOriginal(links).Siehe FarbabbildungA.7aufSeite105. AuchPerson3warendieBilderausdiesemDokumentimallgemeinenbe- SuchenachDokument2 lenineinembildbzw."massenvontetraedergittern\,aneinbildmit"ei- nemhalbenmenschen,hautfarben\und spater aneineabbildungder OberachedesimDokumentbesprochenenProgrammsHyperplan. ahnlichebilder.sieversuchteeinbildzuzeichnen(abbildungc.7).siebe- kannt.sieerinnertesichan"vieledreiecksgitter\bzw.vektorfeldermitpfei- SiesuchtenachBildernmit"Gittern\undsammeltedementsprechend

129 ANHANGC.BESCHREIBUNGDERENDNUTZERTESTS tonteschwierigkeitenbeiderzeichnung,obwohlsiedasbild"voraugen\ 119 VersuchabundversuchteesmitneuenBildern.IneinerzufalligenBilderauswahlfandsieeineAbbildungeinerProgrammoberacheundsuchtedamit hatte.diefarbenseiennichtinerinnerungbehaltenworden.siebrachden imergebnis.ihrkommentar:"puh,wardasschwierig\. einesolcheabgebildetwar.siefanddasrichtigedokumentdannaufplatz6 erneutdasdokument,obwohlsieunsicherwar,obindemdokumentwirklich "Wurfel\,"Umrisse\,"eineGrakmitdreiKoordinatensystemen schwarzwei\,"irgendsoeinmannchen,abernichtsorichtig\. Person3erinnertesichan"eineschwarzeKugelmitweiemBalken\, SuchenachDokument3 diebilderseien"sogutgezeichnet\.dasdokumentwurdenichtgefunden. teteeindokumentensuche.dasergebniswarfursie"absolutenttauschend\, SiezeichnetedreierinnerteBilder(AbbildungenC.7,C.8,C.9)undstar- KugelalsahnlichstesBildausdemgesuchtenDokument,sonderneineder dasdokumentanneunterstelleplaziert.derirsermittelteabernichtdie BeiderfolgendenSuche ausschlielichmitderschwarzenkugel war Molekuldarstellungen,welchestattdessenangezeigtwurde.Person3erkannte dasdokumentdahernicht.beierneuterzufallsauswahlvonbildernerkannte wurdealsozufalliggefunden. sieeinesderbilder(eineanderemolekuldarstellung)wieder.dasdokument AbbildungC.8:ZeichnungausderErinnerung(rechts)undOriginal(links).

130 ANHANGC.BESCHREIBUNGDERENDNUTZERTESTS 120 AbbildungC.9:ZeichnungausderErinnerung(rechts)undOriginal(links). AbbildungC.10:ZeichnungausderErinnerung(rechts)undOriginal(links). AlsKritikpunkteundAnmerkungennanntePerson3diefolgenden: DerIRSsei inwohlwollendemton "ganzgut,ganzinteressant\. MitmehrUbungundgutemVerstandniswurdeersichsicherbesser DieMerkmalsbedeutungenseiennichtganzklar. DieDokumentensuchedauerezulange. nutzenlassen. DieFormulierungderDokumentensucheseietwasunklargewesen.Sie DerBildschirmseizuvoll,manmussezuoftscrollen. dachtezunachst,wennmandreibilderauswahle,konnemanauchdrei suchen.

131 AnhangD DieAbfragesprachedesIRS Anfragesprachefestgelegt(vgl.Kapitel3inTeilIII).Imfolgendenwirddie DenitiondieserSprache(IRSQL,"IRSQueryLanguage\)genauererlautert. DieangestrebteFunktionalitatdesIRSwurdemitHilfeeinertextbasierten DieGrammatikderIRSQListinAbbildungD.1abgebildet. D.1 DieSpracheerlaubt,Anfragenzuformulieren,diesicheinerseitsnurauf Syntax Bilder("Bildersuche\),andererseitsaufmehrereBilderinDokumenteneinschlielicheinzelnerSeitenbeziehen("Dokumentensuche\).Sieintegriertdie gefordertenmerkmaleundanfrageformulierungen. (FeatureSpec)sindallerdingsnurdiefolgenden:furdierechteSeiteNamenvonBildernderBilddatenbasis,Namenvonexternen,existierendematik.SinnvolleBezeichner(Ident-Elemente)furMerkmal{Wert-Paare DieSprachelemente(lexikalischerAspekt)ergebensichausderGram- SchlusselworterRandomundID. (AspectRatio,Colors,Composition,ColorLayout,Texture)sowiedie Bilddateien,furdielinkeSeiteNamenvonimplementiertenMerkmalen werden. DieFormulierungsmoglichkeitensollenanhandvonBeispielenerlautert 121

132 ANHANGD.DIEABFRAGESPRACHEDESIRS Query::=DocSpec PicSpec 122 AnySpecList::=AnySpecAnySpecL DocSpec::='DOC''('AnySpecList')' AnySpecL::=E ','AnySpecList NumSpec::=IdentNumRelationNumber AnySpec::=NumSpec PicSpec PageSpec NumRelation::='>' '<' '=' '~' Number::='0'... '9'{'0'... '9'} PicSpec::='PIC''('FeatureSpecList')' FeatureSpecL::=E ','FeatureSpecList FeatureSpecList::=FeatureSpecFeatureSpecL FeatureSpec::=Ident'='Ident PageAnySpecL::=E ','PageAnySpecList PageAnySpecList::=PageAnySpecPageAnySpecL PageSpec::='PAGE''('PageAnySpecList')' E:Epsilon;entspricht"nichts\. PageAnySpec::=NumSpec PicSpec Ident:Identier(Bezeichner);beginntmiteinemBuchstabenoderdenZeichen#,.oder/.StellvertreterfurMerkmalsbezeichnungenoderBildnamen. BildersuchemitQuery-by-Image-Example AbbildungD.1:GrammatikderAnfragesprachefurdenIRS PIC(Colors=EinGruenesBild) der,dieinbezugaufdiefarbenmoglichstahnlichzueingruenesbildsind\. InnaturlicheSpracheubersetztsolldieseAnfragebedeuten:"SucheBil-

133 ANHANGD.DIEABFRAGESPRACHEDESIRS EinGruenesBildstehtdabeifureinBildbzw.eineBilddatei,welcheinder 123 Bilddatenbasis(sieheAbschnitt1.1inTeilIII)vorhandenistodervomNutzeranderweitigbereitgestelltwurde. StattColorskanneinebeliebigeBezeichnungfurdieinAbschnitt3.2inTeil IIIgenanntenvisuellenMerkmaleangegebenwerden. DieseFormkannfurkonkreteundfurvageAnfragenverwendetwerden. ren. sucht,undeingruenesbild,sokannerdiesdurchdieseaussageformulie- ErkennteinSuchenderalsoAhnlichkeitenzwischendemBild,daser PIC(AspectRatio=MeineZeichnung, Bildersuchemit"Zeichnung\ der,dieinbezugaufdasseitenverhaltnisunddasfarblayoutmoglichst InnaturlicheSpracheubersetztsolldieseAnfragebedeuten:"SucheBil- ColorLayout=MeineZeichnung) eineentsprechendebilddatei,diedernutzerangefertigthat. ahnlichzumeinezeichnungsind\.meinezeichnungisteinezeichnungbzw. dieinabschnitt3.2inteiliiigenanntenvisuellenmerkmaleangegeben StattAspectRatiooderColorLayoutkanneinebeliebigeBezeichnungfur DieseFormkannfurkonkreteundfurvageAnfragenverwendetwerden. werden. DokumentensuchemitAnzahlanBildern DOC(N>2) kumente,diemehralszweibilderenthalten.\ InnaturlicheSpracheubersetztsolldieseAnfragebedeuten:"SucheDo- DOC(PIC(Colors=EinGruenesBild), DokumentensuchemitBildern PIC(Colors=NochEinGruenesBild))

134 ANHANGD.DIEABFRAGESPRACHEDESIRS InnaturlicheSpracheubersetztsolldieseAnfragebedeuten:"SucheDokumente,diezweiverschiedeneBilderenthalten,wobeidasersteindenFarben passensoll.\ 124 zueingruenesbildunddasandereindenfarbenzunocheingruenesbild DOC(PAGE(PIC(Colors=EinGruenesBild), DokumentensuchemitSeiten kumente,indenenaufeinerseitezweiverschiedenebilderenthaltensind, InnaturlicheSpracheubersetztsolldieseAnfragebedeuten:"SucheDo- PIC(Colors=NochEinGruenesBild))) wobeidasersteindenfarbenzueingruenesbildunddasandereinden FarbenzuNochEinGruenesBildpassensoll.\ KomplexeDokumentensuche sein: Dieo.g.ElementederAbfragenkonnenzueinerbeliebigkomplexenAnfrage DOC(N>5, kombiniertwerden.einesolchekonntedemnachfolgendermaenaufgebaut PAGE(N>3,PIC(Colors=EinGruenesBild), PIC(Colors=MeineZeichnung) PIC(Colors=NochEinGruenesBild), )EinesolchkomplexeAnfragekonnteausderErinnerunganeinDokumentresultieren,indemviele(z.B.mehralsfunf)Bilderzusehenwaren. VergleichemitEinGruenesBildundNochEinGruenesBild).Zudemwaran AuerdemgabeseineSeite,aufdermindestensdreiAbbildungenzunden waren,vondenenzweinaherbeschriebenwerdenkonnen(namlichdurchdie andererstellenocheinbildzunden,dasaussahwiemeinezeichnung. genvorbehalten.zunachstsolltediemoglichkeitdazugegebenwerden. obsolchdierenzierteerinnerungmoglichist,bleibtweiterenuntersuchun- ObsolchekomplexenAbfragenvonNutzerngestelltwerdenkonnen,bzw.

135 ANHANGD.DIEABFRAGESPRACHEDESIRS BesondereAbfragen 125 allerbildereinesdokumentsundeinezufalligeauswahlanbildern: PIC(ID=EineDokumentenSignatur) ZweibesondereAnfragensindebensomoglich,namlichdasHeraussuchen PIC(Random=#20) bzw. tenbasisan. LetztereAnfragefordert20zufalligausgewahlteBilderausderBildda- D.2 SprachelementederIRSQLschondeutlichgeworden.Imeinzelnensollendie Durchdieo.g.BeispielesinddiewesentlichenBedeutungendereinzelnen ErlauterungenzurSemantik einzelnenelementediefolgendenresultateerbringen: N>3oderahnlicheRelationen:ausgegebenwirdeineListevonSeitenoderDokumenten jenachdem,anwelcherstelledieseangabe Colors=EinBildoderahnlicheMerkmal{Bild-Paare:ausgegeben auftritt diediesebedingungerfullen.derahnlichkeitswert(siehe nachsterpunkt)istjeweilsnull. wirdeinelistevonbilderninderreihenfolgedervomsystemermitteltenahnlichkeitzueinbild.jedesbildinderbilddatenbasiserhalt desmerkmals)und1(maximaledierenz).dielisteistaufsteigend einen"ahnlichkeitswert\zwischen0(maximaleubereinstimmungbzgl. PIC(...):ausgegebenwirdeineListevonBildern,sortiertnach demahnlichkeitswert(s.o.).sindinnerhalbderklammernmehrere sortiert. Merkmal{Bild-Paareangegeben,werdendieAhnlichkeitswerteeines BildesbezogenaufdieeinzelnenMerkmalegemittelt.

136 ANHANGD.DIEABFRAGESPRACHEDESIRS PAGE(...):ausgegebenwirdeineListevonSeiten,sortiertnachder AhnlichkeitzurPAGE-Spezikation.SindinnerhalbderKlammernmehrerePIC-Spezikationenangegeben,sowerdennurSeitenausgegeben, 126 wertderseiteentsprichtdemmittelderahnlichkeitswertederjenigen verschiedenenbilder,diezusammendenbestenmittelwertergeben. dieentsprechendvieleverschiedenebilderaufweisen.derahnlichkeits- DOC(...):ausgegebenwirdeinListevonDokumenten,sortiertnach derahnlichkeitzurdoc-spezikation.sindinnerhalbderklammern ausgegeben,dieentsprechendvieleverschiedeneseitenaufweisen.sind mehrerepage-spezikationenangegeben,sowerdennurdokumente innerhalbderklammernmehrerepic-spezikationenangegeben,so werdennurdokumenteausgegeben,dieentsprechendvieleverschiedene demmittelderpage-undpic-werte,wobeidiepage-wertestarkerin Bilderaufweisen.DerAhnlichkeitswerteinesDokumentsergibtsichaus diebewertungeingehen jenachdem,wievielebilderfurdiejeweilige Seitespeziziertwurden.

137 AnhangE Ausgewahlte Implementierungsdetails DieImplementierungenderMerkmale"Seitenverhaltnis\,"Farben\und "Komposition\werdenimfolgendenskizziert. ben.ubertexturehaltmansichdortjedochbedeckt. ColorsundTexture)werdenu.a.inABF+95,FSN+95undHSE+95beschrie- DieMerkmale,dievonQBICbereitgestelltwerden(Color,ColorLayout, rationen(ermittlung,vergleich,speicherungderdaten)inc++als FeatureClassimplementiert,furdieeineSchnittstelledeniertist(Klassendenition). BeiQBICwerdendiezueinemvisuellenMerkmalgehorendenOpe- diemerkmalsdatenextrahierenundeinenvergleichdurchfuhren,dereinen denmussen.diesbetritvorallemdiejenigen,dieauseinemgegebenenbild DieseKlassendenitionlegtfest,welcheOperationenimplementiertwerleAhnlichkeitbezuglichdiesesMerkmals)und1(maximaleUnahnlichkeit) Distanz-bzw.Ahnlichkeitswertliefert.DieserWertsollzwischen0(maxima- liegen. eingegangen. ImfolgendenwirdnuraufwichtigeTeilederentsprechendenRealisierung 127

138 ANHANGE.AUSGEWAHLTEIMPLEMENTIERUNGSDETAILS E.1 MerkmalSeitenverhaltnis 128 VerhaltnisvonBreitebzuHohehmitb=h.Gespeichertwirddernaturliche DasSeitenverhaltnisbzw.FormateinesBildesistbestimmtdurchdas DerAhnlichkeitswert("Distanz\)ergibtsichausderabsolutenDierenzdieserMerkmalswerte.Z.B.werdendieVerhaltnissevon11=10und10=11auf0:1 angesehen.istdiedistanzgroerals1sowirdsieauf1festgelegt. Logarithmusln(b=h),umzweiFormatwertebesservergleichbarzumachen. bzw.?0:1abgebildetundmiteinerdistanzvon0:2nochalsrelativahnlich schlielichdasformatnichtbetrachtet.vielmehrwirdublicherweisejedes nembestimmtenformatgesuchtwerden.beiallenanderenmerkmalenwird DieVerwendungdiesesMerkmalskannnutzlichsein,wennBilderinei- einerahnlichenkompositiono.a.suchen,konnenauchvieleimergebniserscheinen,dieeinextremesquerformataufweisen.diesmagindemeinenoder anderenfallerwunschtoderunerwunschtsein.einekombinationmitdem BildineinquadratischesBildtransformiert,bevordieMerkmalsextraktion stattndet.mochtemanzueinemhochformatigenbildanderebildermit E.2 FormatmerkmalkannimEinzelfallhilfreichsein. DasMerkmalColors,dasderFarbverteilungunddamitdemo.g.Merkmal "Farben\entspricht,istinQBICfehlerhaftimplementiertundmuteneu MerkmalFarben programmiertwerden.beieinemvergleicheinesexample-bildes,daskompletteinfarbigist,undeinemanderenbildliefertqbicfalschewerte.der UnahnlichkeitbezuglichdiesesMerkmals),wasnichtdenErwartungenentspricht. undeinem,daszuetwa1=4rotist,ergibteinedistanzvon1:0(maximale Vergleichvonz.B.einemkomplettrotenBild(z.B.einFarbmusterdesIRS) schied,danichtimmunsell-farbraum,sondernmitdemrgb-farbmodell verfahren,wiesiefurqbicbeschriebenwerden(hse+95),mitdemunter- DieImplementationdiesesMerkmalsverwendetedieselbenBerechnungs- gearbeitetwird. FurjedesBildwirdeinFarbhistogrammHerstellt,dasdieprozentuale

139 ANHANGE.AUSGEWAHLTEIMPLEMENTIERUNGSDETAILS AuftretenshaugkeiteinzelnerFarbtoneimBildspeichert.BeimIRSwird 129 dermoglichefarbraumauf216farbenreduziert(666furrot-,grunundblauwerte). (vgl.hse+95,s.730f,sc96b,s.435)ergibtsichaus: DieDistanzzweierHistogrammeH1undH2nachder"quadraticdistance\ DieBerechnungwirdinderfolgendenFormelubersichtlicher: d(h1;h2)=(h1?h2)ta(h1?h2) (E.1) nistdieanzahlderinjedemhistogrammgespeichertenfarbtone(beim d(h1;h2)=nxi=1nxj=1(h1[i]?h2[i])a[i;j](h1[j]?h2[j]) (E.2) IRSistn=216).Aisteinesymmetrische"Distanzmatrix\.A[i;j]enthaltdie DistanzderbeidenFarbtonemitdenIndicesiundj.DieseDistanzergibtsich FarbtoneentsprechenzweiPunktenineinemWurfel).Angemerktwerden ausdemeuklidischenabstanddieserbeidenfarbtoneimrgb-farbraum(die Farbtoneentsprechenmu. mu,dadiesnichtnotwendigerweisederwahrgenommenendistanzzweier Farbtoneberucksichtigtwerden.WenneinBildAz.B.zu100%auseinem gesattigtenrotbesteht,daszuvergleichendebildbaberzu100%auseinem WesentlichfurdiesesBerechnungsverfahrenist,da"benachbarte\ derfall(vgl.sc96b,s.435). keitswert.diesistbeianderenvergleichenanhandvonhistogrammennicht wenigergesattigtenrot,soergibtsichimmernocheinrelativhoherahnlich- Vergleichbenotigtwerden,aberschonbeiderMerkmalsextraktionberechnet werdenkonnen,kanndielaufzeitdero.g.distanzberechnungvono(n2)auf DurchUmformungundentsprechendeSpeicherungvonWerten,diebeim O(n)reduziertwerden. E.3 DieMerkmalsdatenfurdiesesMerkmalbasierenaufeinerWavelet- DekompositioneinesBildes.EswerdeneinfacheHaarWaveletsverwendet. MerkmalKomposition

140 ANHANGE.AUSGEWAHLTEIMPLEMENTIERUNGSDETAILS EinesolcheDekompositionerlaubteineguteApproximationeinesBildesmit 130 nurwenigenkoezientenundkanndaherauchzurbildkompressionverwendetwerden.ausfuhrlichistdiesinsds95undjfs95beschrieben. Auosungen.AnobersterStelleistdasBildimPrinzipnurnochdurchein Bildpunkt(Pixel)reprasentiert,darunterdurch4,darunterdurch16usw. Diesesmultiresolution-VerfahrenspeicherteinBildinverschiedenen dieanzahlderwerte(koezienten),dieausderdekompositionentstehen, zumahnlichkeitsvergleichzweierbilderangewendetwird,reduziertzunachst DasVerfahren,welchesinJFS95undinabgewandelterFormauchimIRS aufdie64groten(60beijfs95),alsoaufdieamdeutlichstenhervortretendenkantenbzw.kontrastierendenfarbacheninnerhalbdesbildesdiertundmiteinembestimmtenfaktormultipliziert,jenachdemzuwelcher AuosungsebenedieentsprechendenKoezientengehoren. BeimVergleichwerdendieDierenzendereinzelnenKoezientenaufad- (R,G,B)aus. wenden,fuhrendiedekompositionunddenvergleichfurjedenfarbkanal DieAutoreninJFS95,diediesesVerfahrenzumImageRetrievalandernnurdieHelligkeits-bzw.Grauwerte(IntensitatenimHSL-Farbmodell, vgl.fel92,s.43,fdfh92,s.592). BeimIRSwerdendagegennichtdieeinzelnenFarbkanalebetrachtet,son- positivindieahnlichkeitsberechnungein,diebeibeidenzuvergleichenden BilderngroeralsNulloderkleineralsNull,alsoannaherndgleichsind. BeidemVerfahreninJFS95gehenallerdingsnursolcheKoezienten BeimIRSgehenauchdieFallemitein,beidenenbeideNullsind.Schlielich konnenbeibildern,dieuberwiegendeinheitlichsind,vielederkoezienteneinenullenthalten.wenndiesandenselbenstellenauftritt,solltedas positivbewertetwerden. normiert,umeinendistanzwertzwischen0und1zuerreichen. BeimIRSwerdendieAhnlichkeitswerteanhandderWertedesVorbildes einzelnerfarbachenimbild,wennauchdurchdiemehrfachauosungnicht indemmae,wieesbeiqbicscolorlayoutderfallist(vgl.abf+95, AuchdiesesMerkmalistrelativabhangigvondenabsolutenPositionen S.27).

141 Literaturverzeichnis ABF+95 JonathanAshley,RonBarber,MyronFlickneretal.Automatic ACC+97 SergeAbiteboul,SophieCluet,VassilisChristophidesetal.Queryingdocumentsinobjectdatabases.InternationalJournalon DigitalLibraries,1(1),S.54{67,1997. mirr.radev,johnr.smithundkazia.zaman.columbia digitalnewsproject:anenvironmentforbriengandsearchover andsemi-automaticmethodsforimageannotationandretrievalinqbic.in:spi95,s.24{35,1995. ACM+97AlfredV.Aho,Shih-FuChang,KathleenR.McKeown,Drago- AS86 GaryJAnglinundJ.TrumanStevens.Prose-RelevantPictures multimediainformation.internationaljournalondigitallibraries,1(4),s.377{385,dez AY97 NabilR.AdamundYelenaYesha.Introduction.International andrecallfromsciencetext.perceptualandmotorskills,63, S.1143{1148,1986. BB91 HenningBassmannundPhilippW.Besslich.Bildverarbeitung JournalonDigitalLibraries,1(1),S.1{2,Apr BDK+88HansBelting,HeinrichDilly,WolfgangKemp,WillibaldSauerlanderundMartinWarnke,Hrsg.Kunstgeschichte.Eine Einfuhrung.DietrichReimerVerlag,Berlin,1988. AdOculus.Springer-Verlag,Berlin,Heidelberg,NewYork,

142 LITERATURVERZEICHNIS Ber91 GescheBerger.Chemie-Informationssysteme.In:BRS91,S. 132 BFG+96 J.R.Bach,C.Fuller,A.Guptaetal.Virageimagesearch 593{ BPS94 engine:anopenframeworkforimagemanagement.in:spi96, S.76{87,1996. A.DelBimbo,P.PalaundS.Santini.VisualImageRetrievalby Bra93 ElasticDeformationofObjectSketches.In:VL94,S.216{223, GerhardBraun.GrundlagendervisuellenKommunikation. Bruckmann,Munchen, BRS91 MarianneBuder,WernerRehfeldundThomasSeeger,Hrsg. Bur91 MargaretheBurkart.Dokumentationssprachen.In:BRS91,S. GrundlagenderpraktischenInformationundDokumentation. K.G.Saur,Munchen,London,NewYork,3.Au.,1991. CHI92 ACM.HumanFactorsinComputingSystems.ConferenceProceedingsCHI'92, { CSBB97 Shih-FuChang,JohnR.Smith,MandisBeigiundAnaBenitz. DB97 Duden-BildworterbuchderdeutschenSprache.Dudenverlag, positories.communicationsoftheacm,40(12),s.63{71,1997. VisualInformationRetrievalFromLargeDistributedOnlineRe- DF65 RaymondDucharmeundPaulFraisse.Etudegenetiquedela Mannheim,Leipzig,Wien,Zurich,1997. DK88 RolfDuroyundGunterKerner. memorisationdemotsetd'images.canadianjournalofpsychology,19(3),s.253{261,1965. semiotisch-sigmatischemethode.in:bdk+88,s.258{ KunstalsZeichen:Die

143 LITERATURVERZEICHNIS DML98 IngmarDecker,PeterMullerundDanielLimbach.VisInfo. 133 Doe97 FachinformationsdienstVisualisierung.DFNMitteilungen,S. ChristianDoelker.EinBildistmehralseinBild.VisuelleKompetenzinderMultimedia-Gesellschaft.Klett-Cotta,Stuttgart, 6{7,Mrz Dre92 UteDrewniak.LernenmitBilderninTexten.Waxmann, Munster,NewYork, EB74 MatthewHughErdelyiundJoanBecker.HypermnesiaforPic- EDC94 KamranEtemad,DavidDoermannundRamaChellappa.Page tiplerecalltrials.cognitivepsychology,6,s.159{171,1974. tures:incrementalmemoryforpicturesbutnotwordsinmul- SegmentationUsingDecisionIntegrationandWaveletPackets. EM95 FrancoisEnnesserundGerardMedioni.FindingWaldo,orFo- In:Proceedings1994InternationalConferenceonPatternRecognition,S.345{349,1994cusofAttentionUsingLocalColorInformation.IEEETransactionsonPatternAnalysisandMachineIntelligence,17(8), S.805{809,Aug JohnP.Eakins,KevinShieldsundJagoBoardman.ARTISAN ESB96 EW92 {ashaperetrievalsystembasedonboundaryfamilyindexing. detoscienticvisualization.springer-verlag,berlin,heidel- berg,newyork,1992. RaeA.EarnshawundNormanWiseman.AnIntroductoryGui- In:SPI96,S.17{28,1996. FDFH92JamesD.Foley,AndriesvanDam,StevenK.FeinerundJohnF. Wesley,Reading,Massachusetts,2.Au.,1992. Hughes.ComputerGraphics.PrinciplesandPractice.Addison-

144 LITERATURVERZEICHNIS Fel92 WolfDietrichFellner.Computergraphik.B.I.Wissenschaftsverlag,Mannheim,Leipzig,Wien,Zurich,2.Au., FH91 NorbertFuhrundThorstenHomann.APrototypeforIntegratingProbabilisticFactandTextRetrieval.In:KKM91,S. 94{ Fis91 Karl-HeinzFischer.AudiovisuelleMaterialien.In:BRS FSN+95 MyronFlickner,HarpreetSawhney,WayneNiblacketal.Query Fuh92 NorbertFuhr. byimageandvideocontent:theqbicsystem.ieeecomputer,s.23{32,sep Fuh97 NorbertFuhr.InformationRetrieval.SkriptumzurVorlesung, Information-Retrieval-Systeme.In:Kuh92,S.59{ KonzeptezurGestaltungzukunftiger Gau95 WilhelmGaus.Dokumentations-undOrdnungslehre.Springer- Mai1997.UniversitatDortmund,FachbereichInformatik. GG92 SharonR.GarberundMitchB.Grunes.TheArtofSearch:A Verlag,Berlin,Heidelberg,NewYork,2..Au.,1995. GJ97 AmarnathGuptaundRameshJain.VisualInformationRetrieval.CommunicationsoftheACM,40(5),S.71{79,Mai1997. StudyofArtDirectors.In:CHI92,S.157{163,1992. GJM97 WilliamGrosky,RameshJainundX.Mehrotra,Hrsg.Handbook GR97 VenkatN.GuidivadaundVijayV.Raghavan.Modelingand ofmultimediainformationmanagement.prenticehall,1997. GSJ97 ArmanathGupta,SimoneSantiniundRameshJain.InSearch RetrievingImagesbyContent.InformationProcessing&Management,33(4),S.427{452,1997. ofinformationinvisualmedia.communicationsoftheacm, 40(12),S.35{42,Dez.1997.

145 LITERATURVERZEICHNIS Hab70 RalphNormanHaber.HowWeRememberWhatWeSee.ScienticAmerican,222(5),S.104{112,Mai Har83 RichardJacksonHarris,Hrsg.InformationProcessingResearch Har94 RobertM.Haralick.DocumentImageUnderstanding:GeometricandLogicalLayout.In:CVPR94:IEEEComputerSociety inadvertising.erlbaum,hillsdale,newjersey,london,1983. ConferenceonComputerVisionandPatternRecognition,S. HCT96 Chih-ChengHsu,WesleyW.ChuundRickyK.Taira.A 385{390.IEEE,1994. S.522{532,Aug IEEETransactionsonKnowledgeandDataEngineering,8(4), Knowledge-BasedApproachforRetrievingImagesbyContent. Hen91 HKW94 MatthiasHemmje,ClemensKunkelundAlexanderWillet.LyberWorld-AVisualizationUserInterfaceSupportingFulltext Retrieval.In:IR94,S.249{259,1994. Ralf-DirkHennings.Informations-undWissensverarbeitung. VerlagdeGruyter,Berlin,NewYork,1991. HMN93 HansHagen,HeinrichMullerundGregoryM.Nielson.Focus HP89 onscienticvisualization.springer-verlag,berlin,heidelberg, JulianHochbergundMaryPeterson.BildanalyseindermenschlichenInformationsverarbeitung.In:SW89a,S.33{ Hans-ChristianHegeundKonradPolthier,Hrsg.Visualizati- NewYork,1993. HP97 HPH95 JaekyuHa,IhsinT.PhillipsundRobertM.Haralick.DocumentPageDecompositionusingBoundingBoxesofConnecteonandMathematics.SpringerVerlag,Berlin,Heidelberg,New York,1997. ComponentsofBlackPixels.In:IS&T/SPIESymposiumon ElectronicImaging,DR-II,S.140{151.SPIE,1995.

146 LITERATURVERZEICHNIS HRJ97 CherylJ.HamelundDavidL.Ryan-Jones.Eectofvisualde- 136 HSE+95 JamesHafner,HarpreetS.Sawhney,WillEquitz,MyronFlicknerundWayneNiblack.EcientColorHistogramIndexinceptualandMotorSkills,84,S.619{626,1997tailinscenerecognition:someunexpectedsexdierences.Per- forquadraticformdistancefunctions.ieeetransactionson HV88 DonaldHomaundCynthiaViera.Long-termmemoryforpicturesunderconditionsofthematicallyrelatedfoils.Memory& Jul PatternAnalysisandMachineIntelligence,17(7),S.729{736, IB93 HeleneIntraubundJenniferL.Bodamer.BoundaryExtension: FundamentalAspectofPictorialRepresentationorEncoding Cognition,16(5),S.411{421,1988. IG96 Artifact?JournalofExperimentalPsychology.Learning,MemoryandCognition,19(6),S.1387{1397,1993. SantaIachiniundFiorellaGiusberti.MetricAspectsofMental IGB98 HeleneIntraub,CarmelaV.GottesmanundAmyJ.Bills.EffectsofPerceivingandImagingScenesonMemoryforPictures. Images.PerceptualandMotorSkills,83,S.1243{1250,1996. IN85 HeleneIntraubundSusanNicklos.LevelsofProcessingandPic- JournalofExperimentalPsychology:Learning,MemoryandCognition,24(1),S.186{201,1998tureMemory:ThePhysicalSuperiorityEect.JournalofExperimentalPsychology:Learning,MemoryandCognition,11(2), S.284{298,1985. coding.journalofexperimentalpsychology:humanlearning Int79 HeleneIntraub.TheRoleofImplicitNaminginPictorialEn- andmemory,5(2),s.78{87,1979.

147 LITERATURVERZEICHNIS Int80 HeleneIntraub.PresentationRateandtheRepresentationof 137 IR89 HeleneIntraubundMichaelRichardson.Wide-angleMemoriesofClose-UpScenes.JournalofExperimentalPsychology: Psychology:HumanLearningandMemory,6(1),S.1{12,1980. BrieyGlimpsedPicturesinMemory.JournalofExperimental IR94 ACM.ProceedingsSIGIR'94,1994. Learning,MemoryandCognition,15(2),S.179{187,1989. Jag97 Jai97 H.V.Jagadish.Content-BasedIndexingandRetrieval.In: GJM97,S.69{ JBN96 RameshJain.VisualInformationManagement.CommunicationsoftheACM,40(12),S.31{32,Dez M.Y.Jaisimba,AndrewBruceundThienNguyen.DocBrowse: JFS95 ASystemforInformationRetrievalfromDocumentImageData. In:SPI96,S.350{361,1996. JND67 JosephR.Jenkins,DanielC.NealeundStanleyL.Deno.Dif- CharlesE.Jacobs,AdamFinkelsteinundDavidH.Salesin.Fast ferentialmemoryforpictureandwordstimuli.journalofedu- cationalpsychology,58(5),s.303{307,1967. MultiresolutionImageQuerying.In:SIG95,S.277{286,1995. KD88 GunterKernerundRolfDuroy.Bildsprache1.Lerhbuchfur denfachbereichbildendekunst.donboscoverlag,munchen, KKM91 HaraldKillenberg,RainerKuhlenundHans-JurgenManecke, 7.Au.,1988. furinformationswissenschaft(isi'91).universitatsverlagkonstanz,1991. Management.Proceedingsdes2.InternationalenSymposiums Hrsg.WissensbasierteInformationssystemeundInformation Kno91 GerhardKnorz.Indexieren,Klassieren,Extrahieren.In:BRS91, S.122{

148 LITERATURVERZEICHNIS KR96 WernerKroeber-Riel.Bildkommunikation.Imagerystrategien 138 Kri91 UtaKrischker.FormaleAnalyse(Erfassung)vonDokumenten. In:BRS91,S.63{ furdiewerbung.verlagfranzvahlen,munchen,1996. Kuh92 LE94 RainerKuhlen,Hrsg.ExperimentellesundpraktischesInformationRetrieval.UniversitatsverlagKonstanz,Konstanz,1992. HeinerLegewieundWolframEhlers.KnaursmodernePsychologie.DroemerscheVerlagsanstaltKnaurNachf.,Munchen,1994. LK79 GeoreyR.LoftusundHowardJ.Kallman.EncodingandUse ofdetailinformationinpicturerecognition.journalofexperimentalpsychology:humanlearningandmemory,5(3),s.197{ LexikonderKunst.Malerei{Architektur{Bildhauerkunst(12 Bande).Herder,Freiburg,Basel,Wien, ,1979. UberarbeiteteTaschenbuchausgabe. LK87 LM95 OliverLorenzundGladysMonagan.AutomaticIndexingfor LRS92 WolfgangLuck,WernerRittbergerundMichaelSchwantner. StorageandRetrievalofLineDrawings.In:SPI95,S.216{227, Kuh92,S.141{ Systems(AIR)imFachinformationszentrumKarlsruhe.In: DerEinsatzdesAutomatischenIndexierungs-undRetrieval- LS92 Lu96 EllenLegaultundLionelStanding.Memoryforsizeofdrawings GuojunLu.OnImageRetrievalBasedonColour.In:SPI96, andphotographs.perceptualandmotorskills,75,s.122,1992. S.310{320,1996.

149 LITERATURVERZEICHNIS Mar97 GaryMarchionini.ResearchandDevelopmentinDigitalLibraries1,1997.DraftarticleforEncyclopediaofLibraryand 139 MD97 PeterMullerundIngmarDecker.TheElectronicVisualization InformationScience.WWWdocument,lastvisited Mei92 InformationstechnikBerlin(ZIB),Dez Library.TechnicalReportTR-97-09,KonradZuseZentrumfur Mit97 MatthiasM.Mitschke.Flexiblecontent-basedimageretrie- MichaelMeissner. Munchen,Leipzig,1992. Zeitungsgestaltung. PaulListVerlag, valsystems.diplomarbeit,lehrstuhlfurmustererkennung,in- stitutfurmathematischemaschinenunddatenverarbeitung, MKNM94BabuM.Mehtre,MohanS.Kankanhalli,A.DesaiNarasimhaluundGuoChangMan.Colormatchingforimageretrieval. Friedrich-Alexander-UniversitatErlangen-Nurnberg,1997. MMM97AlbertoO.Mendelzon,GeorgeA.MihailaundTovaMilo.QueryingtheWorldWideWeb.InternationalJournalonDigital PatternRecognitionLetters,3(16),S.325{331,1994. Mos90 KlausMoser.Werbepsychologie.EineEinfuhrung.Psychologie Libraries,1(1),S.54{67,1997. Nic65 VerlagsUnion,Munchen,1990. RaymondS.Nickerson.Short-termmemoryforcomplexmea- Nic68 RaymondS.Nickerson.Anoteonlong-termrecognitionmemoryforpictorialmaterial.PsychonomicScience,11(2),S.58nadianJournalofPsychology,19(2),S.155{160,1965ningfulvisualcongurations:Ademonstrationofcapacity.Ca- Nie93 JakobNielesen.UsabilityEngineering.AcademicPress,Boston, http:// SanDiego,NewYork,1993.

150 LITERATURVERZEICHNIS Nie96 JakobNielsen.TheImportanceofBeingBeautiful.Tools,techniques,andconceptstooptimizeuserinterfaces.IEEESoftware, 140 NKK88 GeorgeNagy,JunichiKanaiundMukkaiKrishnamoorthy.Two 13(1),Jan ComplementaryTechniquesForDigitizedDocumentAnalysis. NM94 JakobNielsenundRobertL.Mack.UsabilityInspectionMethods.JohnWiley,NewYork,Chichester,Brisbane,1994. SimilarityRetrievalUsingthe2DProjectionIntervalRepresen- 176.ACM,Dez In:ACMConferenceonDocumentProcessingSystems,S.169{ NNS96 MohammedNabil,AnneH.H.NguundJohnShepherd.Picture Ock91 tation.ieeetransactionsonknowledgeanddataengineering, MarliesOckenfeld.KlassischeInformationsdienste.In:BRS91, 8(4),S.533{539,Aug PAAE98WilliamPrinzmetal,HedyAmiri,KristinAllenundTamiEd- S.345{ wards.phenomenologyofattention:1.color,location,ori- entation,andspatialfrequency.journalofexperimentalpsy- chology:humanperceptionandperformance,24(1),s.261{282, PC69 AllanPaivioundKalCsapo.Concreteimageandverbalmemorycodes.JournalofExperimentalPsychology,80(2),S.279{285, Pfe95 BarbaraPfeuer.Kunst2.AnalyseundInterpretation.Abitur PL94 RosalindW.PicardundFangLu.AnewWoldorderingfor imagesimilarity.technicalreport237,m.i.t.medialaboratory,perceptualcomputingsection,apr Training.Stark,Freisling,1995.

151 LITERATURVERZEICHNIS PPS96 A.Pentland,R.W.PicardundS.Sclaro.Photobook:Content- 141 PRS68 BasedManipulationofImageDatabases.InternationalJournal AllanPaivio,T.B.RogersundPadricC.Smythe.Whyarepictureseasiertorecallthanwords?PsychonomicScience,11(4), ofcomputervision,18(3),s.233{254,1996. PRS+94 JennyPreece,YvonneRogers,HelenSharp,DavidBenyon,SimonHollandundTomCary.Human-ComputerInteraction. S.137{138,1968. PRS97 GretchenP.Purcell,GlennD.RennelsundEdvardH.Shortlie.Developmentandevaluationofacontent-baseddocument Addison-Wesley,Reading,Massachusetts,1994. PS94 Bernd-UwePagelundHans-WernerSix.SoftwareEngineering. naljournalondigitallibraries,1(3),s.288{296,1997. representationforsearchingthemedicalliterature.internatio- RGT97 YossiRubner,LeonidasGuibasundCarloTomasi.TheEarth Bd.1:DiePhasenderSoftwareentwicklung.Addison-Wesley, Bonn,Paris,Reading,1994. Movers'sDistance,Multi-DimensionalScaling,andColor-Based Rie88 IngridRiedel.BilderinReligion,KunstunbdPsychotherapie. ImageRetrieval.In:ProceedingsoftheARPAImageUnderstandingWorkshop.ARPA,Mai1997. Rij79 C.J.vanRijsbergen.InformationRetrieval.ButterWorths, London,Boston,1979. KreuzVerlag,Stuttgart,1988. Rit82 GaryHRitchey.PictorialDetailandRecallinAdultsandChildren.JournalofExperimentalPsychology:Learning,Memory RKH97 RomkeRouw,StephenM.KosslynundRonaldHamel.Detectinghigh-levelandlow-levelpropertiesinvisualimagesand andcognition,8(2),s.139{141,1982. visualpercepts.cognition,63,s.209{226,1997.

152 LITERATURVERZEICHNIS RP83 JohnR.RossiterundLarryPercy.VisualCommunicationin 142 Sal68 GerardSalton.AutomaticInformationOrganizationandRetrieval.McGraw-Hill,NewYork,St.Louis,1968. Advertising.In:Har83,S.83{ SC96a SB91 BruceSchatzundHsinchunChen.BuildingLarge-ScaleDigital MichaelJ.SwainundDanaH.Ballard.ColorIndexing.InternationalJournalofComputerVision,7(1),S.11{32,Jan SC96b J.R.SmithundS.-F.Chang.ToolsandTechniquesforColor ImageRetrieval.In:SPI96,S.426{437,1996. Libraries.IEEEComputer,29(5),Mai1996. SC96c JohnR.SmithundShih-FuChang.SearchingforImagesand DepartmentofElectricalEngineeringandCenterforImage VideosontheWorld-WideWeb.TechnicalReport , SC97 J.R.SmithundS.-F.Chang.VisuallySearchingtheWebfor TechnologyforNewMedia,ColumbiaUniversity,NewYork, Content.IEEEMulitMedia,4(3),S.12{20,1997. Aug SCH70 LionelStanding,JerryConezioundRalphNormanHaber.Perceptionandmemoryforpictures:Single-triallearningof2500 Sch89 MartinSchuster.BilderindidaktischemMaterial.In:SW89a, S.143{ visualstimuli.psychonomicscience,19(2),s.73{74,1970. Sco67 K.G.Scott.Clusteringwithperceptualandsymbolicstimuli SDS95 EricJ.Stollnitz,TonyD.DeRoseundDavidH.Salesin.WaveletsforComputerGraphics:APrimer,Part1.IEEEComputer 6,S.864{866,1967. infreerecall.journalofverballearningandverbalbehavior, GraphicsandApplications,15(3),S.76{84,Mai1995.

153 LITERATURVERZEICHNIS See91 ThomasSeeger.GrundbegriederInformationundDokumentation.In:BRS91,S.1{ She67 RogerN.Shepard.RecognitionMemoryforWords,Sentences, Shn92 BenShneiderman.DesigningtheUserInterface.Addison- andpictures.journalofverballearningandverbalbehavior, Wesley,Reading,Massachusetts,2..Au., ,S.156{163,1967. SJ96a SIG95 ACMSIGGRAPH.ProceedingsofSIGGRAPH'95,Aug S.SantiniundR.Jain.GaborSpaceandtheDevelopment ofpreattentivesimilarity.in:proceedingsoftheinternational SJ96b S.SantiniundR.Jain.TheGraphicalSpecicationofSimilarity ConferenceonPatternRecognition(ICPR)96,Aug.1996.le://vision.ucsd.edu/pub/simone/vision/icpr96.ps.Z. SM87 GerardSaltonundMichaelJ.McGill.InformationRetrieval le://vision.ucsd.edu/pub/simone/vision/cvpr96.simil.ps.z. Queries.JournalofVisualLanguagesandComputing,1996. SML96 WillSchroeder,KenMartinundBillLorensen.TheVisualizationToolkit.PrenticeHallPTR,UpperSadleRiver,NewJersey, GrundlegendesfurInformationswissenschaftler.McGraw-Hill, Hamburg,NewYork,1987. SPI95 SocietyofPhoto-OpticalInstrumentationEngineers(SPIE) SPI96 SocietyofPhoto-OpticalInstrumentationEngineers(SPIE). ceedingsspie2420,feb StorageandRetrievalforImageandVideoDatabasesIII.Pro- Spo93 AnselmSpoerri.InfoCrystal:Avisualtoolforinformationretrieval.In:Vis93,S.150{157,1993. StorageandRetrievalforStillImageandVideoDatabasesIV. ProceedingsSPIE2670,Feb.1996.

154 LITERATURVERZEICHNIS Sta73 LionelStanding.Learning10.000Pictures.QuarterlyJournal 144 Sto96 HaroldS.Stone.Imagematchingbymeansofintensityand texturematchinginthefourierdomain.in:spi96,s.337{349, ofexperimentalpsychology,25,s.207{222,1973. SW89a MartinSchusterundBernhardP.Woschek,Hrsg.Nonverbale KommunikationdurchBilder.VerlagfurAngewandtePsychologie,Stuttgart, SW89b SW89a MartinSchusterundBernhardP.Woschek.Vorwort.In: SW93 PetraSchuck-Wersig.ExpeditionenzumBild:BeitragezurAnalysedeskulturellenStellenwertsvonBildern.VerlagPeterLang, FrankfurtamMain,1993. TOH+95 HaroldTreat,EdOrt,JeanHoetal.SearchingImagesUsing Vis93 IEEE.ProceedingsVisualization'93,1993. UltimediaManager.In:SPI95,S.204{213,1995. Wei94a VL94 IEEE.Proceedings1994IEEESymposiumonVisualLanguages. BerndWeidenmann.InformierendeBilder.In:Wei94b,S.9{40. IEEEComputerSocietyPress,LosAlamos,California,1994. Wei94b BerndWeidenmann,Hrsg.WissenserwerbmitBildern.Verlag WSW86 GernotWersigundPetraSchuck-Wersig.DasPotentialdes HansHuber,Bern,Gottingen,Toronto,Seattle,1994. WY93 RobertS.WolundLarryYaeger.VisualizationofNatural Bildes:ZurFunktionsveranderungvisuellerKommunikation. Phenomena.Springer-Verlag,NewYork,1993. RundfunkundFernsehen,34(1),S.44{63,1986.

155 Index Ahnlichkeit,26,52,64,123 Ahnlichkeitswert,125,127,128 Anfrage,10 exakte,10 Formulierung,17,26,75,76 konkrete,10,50,51 Sprache,26 vage,10,50,52 Anordnung,14,22,44 Auspragungsspezikation,17 BBD-System,48 Anforderungen,48 Anfragen,51,52 Aufbau,48 Browsing,50 Merkmale,51 Minimalsystem,50 Benutzerschnittstelle,sieheUI Bewegung,14 Bibliothek,sieheEVlib digitale,11,99 BildAufmerksamkeit,38 Begri,12 Betrachtungszeit,38 Blickfang,36 Erinnerung,39 Erzeugung,55 Extraktion,sieheBilderextraktion Funktionen,13,28 indokument,27 Inhaltreprasentieren,29 Merkmale,29,33 Zusatzinformation,29 Indexierung,15 Informationsverarbeitung,37 informierendes,28 Merkmale,13,33 Codierung,15,127 Erinnerung,43 formale,14 Implementierung,127 inhaltliche,15 Suche,17 visuelle,14,43 Recall,41 Rekognition,39 Reprasentation,42 Verarbeitung,37 Visualisierung,55 Wahrnehmung,36,72 Wiedererkennung,39 Wiedergeben,41 Bild{Dokument-Relation,49,71 Bildaufbau,18 Bilddatenbank,16 Bilddatenbasis,49,70 Bilderextraktion,70,71 Bildergedachtnis,39 Experimente,40 Bildersuche,sieheImageRetrieval bildnerischemittel,14 Bildqualitat,44 Bildverarbeitung,16,72 BooleschesRetrieval,26,27,57 BoundaryExtension,42,43,89,98 CBIR,16,98 Uberblick,21 145

156 INDEX 146 Anfrageformulierung,17 Nutzer,22 Systeme,18 Verfahren,21 ChemicalAbstractsService,3 Chemie-Informationssysteme,3,98 Colorlayout,18,61,121,130 Content-basedImageRetrieval,siehe CBIR Deskriptor,10,26,92 DigitaleBibliothek,11 Distanz,sieheAhnlichkeitswert Farbtone,129 quadratische,129 DocBrowse,3 DocumentRetrieval,23 Dokument allgemein,9 Fachliteratur,23 Merkmale,24,33 Codierung,26 formale,24 inhaltliche,25 Multimediaentity,101 Test-,85 DokumentarischeBezugseinheit,9 Dokumentation,8,sieheInformation Retrieval Dokumentationseinheit,9 Dokumentenbasis,49,70 Dokumentensuche,26 uberbilder,29,siehebbd- System,55,101 Analogie,30 bildbasiert,siehebbd-system Editor,18 ElectronicVisualizationLibrary,sieheEVlib Endnutzertest,81,84,112 EVlib,60 Bestand,56 Indexierung,56 Inhalte,56 Konzepte,56 Rahmenbedingungen,58 Suche,57 URL,54 Fachliteratur,23 Farbe,14,18,20,22,44,61,121,128 Verschiebung,44 Farbachen,22 Farbkomposition,20 Farblayout,61,121 Farbverteilung,18,61 FeatureClass,127 Form,14 FormaleAnalyse,9 FrontEnd,sieheUI Gestaltgesetze,37 Gestaltpsychologie,98 Groe,14,43,44 Grammatik IRSQL,121 GraphicalQueryLanguage,18 Helligkeit,14 Histogramm,15,128 ICONCLASS,16 Illustrationen,28,36 ImageRetrieval,16,sieheCBIR,98, 102 inhaltsorientiert,16 System,16 visuellorientiert,17 ImageRetrievalService,sieheIRS IMAGO,16 Index,26 Indexieren,25 Indexierung,26 Bildmerkmale,15 Dokument,10 Indexierungskomponente,49 Information

157 INDEX 147 visuelle,15 InformationRetrieval,8 klassisches,9 System,11 Tatigkeiten,9 InformationsdienstVisualisierung,54 Informationsvermittlung,1,8 Interactionlogging,81 Interaktionsprotokoll,sieheProtokoll IRS,60 Abfragesprache,63 Anfrageformulierung,75,76 Anfragen,83,109 Architektur,67,68 Ausblick,101 Benutzerschnittstelle,sieheUI Bildbestand,70 IRSQL,63 Kritik,96 Merkmale,61 Nutzer,83 Nutzung,106,108 Protokoll,106 Test,80,112 UI,65,73,96 URL,69,94 Ziele,4,60 Zugrie,81 IRSQL,63,72,73 Beispiele,122 Grammatik,121 Semantik,125 Syntax,121 Kanten,130 Katalogisierung,10,26 Kommunikation,13 Komposition,20,62,121,129 Konrad-Zuse-Zentrum,sieheZIB Layout,24,29,33 Linienzeichnungen,22 Merkmale,sieheBild,sieheDokument Merkmalsdaten,70 Minimalsystem,50 Normalisierung,sieheBoundaryEx- OCR,72tension Perl,73 Pichtenheft,48 PostGres,71 PostSript,71 Protokoll,73,81 Analyse,81,82 Auswertung,106 QBIC,18,61,65,96 Anfragen,62 API,61,69 Merkmale,61,127 Query-by-Image-Example,18,62,66, 73,76,94 Recall Bilder,41 Tests,41 Worter,41 Register,26 Rekognition,39 Bilder,39 Satze,40 Tests,40 Worter,40 Retrievalsystem,11 ScienticVisualization,sieheVisualisierung Seitenverhaltnis,62,121,128 Struktur,20,22 Strukturformeln,3 Suchkomponente,49,72 Symmetrie,15 Test,sieheEndnutzertest Text

158 INDEX 148 Reprasentation,26 Retrieval,23,26,52 Textur,14,18,20,22,61,121 Thinkingaloud,81,84 Thumbnail IRS,70 Overview,59 UI,49,73 IRS,65 QBIC,18 Virage,20 VisualSEEk,19 Umrisse,18,22 URLEVlib,54 IRS,69 Usability,80 Inspection,80 UserInterface,sieheUI Vektormodell,26 VIR,sieheVisualInformationRetrieval Virage,65 VirageImageSearchEngine,20 VisualInformationRetrieval,16 VisualQueryLanguage,18 Visualisierung Beispiel,55 Bibliothek,54 Fachinformationsdienst,54 Tatigkeit,55 Wissenschaftliche,55 ZIB,i,55 VisualSEEk,18,65,66,96 Anfragen,62 Vorbild, siehe Query-by-Image- Example Wahrnehmung,1,36 Wavelet Dekomposition,62,129 Haar-,129 WebSEEk,18 Werbeanzeigen,36 WissensbasierteSysteme,22 WissenschaftlicheVisualisierung,55, siehevisualisierung,98 Zeichnung,sieheBild Anfrageformulierung,18,67,73 intests,41 IRSQL,123 Test-,113{115,117{120 Zeitungsforschung,36 ZIB,i,3,54 Visualisierung,55