Links und Anchortexte

Transkript

1 Links und Anchortexte Matthias Bargel, Claudia Ebner, Malgorzata Jaskulska-Piechota, Elke Pürzer 20. Juni 2007 Hauptseminar Informationsextraktion aus Webseiten CIS, SS 2007

2 Begriffe Link Als Hyperlink, auch kurz Link (aus dem Englischen für Verknüpfung, Verbindung, Verweis), bezeichnet man einen Verweis auf ein anderes Dokument in einem Hypertext, der durch das Hypertextsystem automatisch verfolgt werden kann. Anchortext Die Begriffe Anchortext, Ankertext oder Linktext bezeichnen den anklickbaren, meist hervorgehobenen Text eines Hyperlinks auf ein anderes Dokument. Der Link-Tag lautet <a>, das a steht für anchor. Website vs. Page Website ist eine Gruppe verlinkter Seiten bzw. Pages.

3 Aufbau einer Website (Website Skeleton) Standard: Datenextraktion auf Page-Ebene Problem: Datenextraktion auf Site-Ebene meist manuell oder halbautomatisch Motivation: Informationen oft über mehrere verlinkte Seiten verteilt; sie sind durch manuelles Browsing oft leicht abrufbar, sollten aber auch von Wrappern automatisch identifiziert, extrahiert und strukturiert werden können. Ziel: Ermittlung des Skeleton (Hyperlink-Struktur) einer Website

4 Aufbau einer Website (Website Skeleton) Website-Struktur spiegelt oft logische Beziehungen der Infos auf den verschiedenen Pages wider Extraktion der Struktur hinter den Page-Verlinkungen und Aufbereitung ihrer Inhalte für die Wrappergenerierung Desiderat: Wrapper mit der Fähigkeit Links zu überschreiten Lösung: SEW-Algorithmus betrachtet Hyperlinks in Gruppen und identifiziert Navigation links rekursives Verfahren, bei dem die per Link aufgerufenen Pages ebenfalls analysiert werden

5 Aufbau einer Website (Website Skeleton) Skeleton: Hierarchische Struktur zur Organisation der Kerninhalte (core contents) ergibt sich durch die Verlinkungen zwischen der Homepage und den Pages, welche die verschiedenen Unterbereiche enthalten. Homepage: Start-URL bzw. base URL Navigation links verweisen auf Pages der nächsten Ebene in einer Site Core contents: Hauptinhalte einer Website Content pages (enthalten Kerninhalte) vs. navigation pages (enthalten Links zu content pages)

6 Aufbau einer Website (Website Skeleton) Baumähnliche Site-Struktur mit internal nodes (zu navigation pages) und leaf nodes (zu content pages) Beispiel Sitemap: it.net/ Kriterien bei der Link-Gruppierung: Typ des Ankertexts (Volltext, Bilder), CSS-Stil, präsentationsbezogene Attribute (Größe, Farbe), Distanzen zwischen den Links, Wortanzahl in den Ankertexten, Zeichenzahl etc. Anwendungen des SEW-Algorithmus: Wrappergenerierung, Wrapper-Pflege, Website-Vergleich bzgl. deren Content- Struktur

7 Platzierung von Links Folgende Arten von Links auf einer Page werden unterschieden: Navigation der oberen Ebene zu den Hauptkapiteln/ Themengebieten Referenzierung der thematischen Hauptpages Hierarchische Links im Themengebiet Verlinkung der zum Themengebiet passenden Pages Links innerhalb desselben Themas Verlinkung der zum Thema passenden Pages Inhaltliche Links zu anderen Pages auf einer Domain

8 Platzierung von Links Links zu Mini-Sitemaps zu einzelnen Themen Link auf Sitemap Bei einer großen Zahl von Pages Verweis auf weitere, hierarchisch angeordnete Sitemaps Teaser auf andere Themen: Verweise auf lesenswerte Beiträge innerhalb der eigenen Site Crosslinks: Verweise auf andere Websites

9 Platzierung von Links Beispiel: hnsitz_anmeldung.html

10 Arten von Ankertexten Verweis auf eine andere Website <a href=" Verweis zu anderen Pages innerhalb einer Website mit absoluter Pfadangabe der URL: <a href=" mit relativer Pfadangabe der URL: <a href="/ordner/seite1.html">ankertext</a> Verweis auf ein Sprungziel innerhalb einer Page : <a href="#label">ankertext</a>

11 Bedeutung für Suchmaschinen PageRank (siehe Google Toolbar) : Wert, den Google einer Website zuweist, basierend auf Anzahl und Typ der auf diese Site eingehenden Links, der sog. Backlinks. Links von Pages mit hohem PageRank (z.b. Verweise von Yahoo oder dem Open Directory Project) sind wertvoller als Links von niedrig bewerteten Pages. Webpages haben einen PageRank, nicht Websites! Links von inhaltlich verwandten Websites oder Hubs sind wertvoller als von nicht verwandten Sites.

12 Bedeutung für Suchmaschinen Relevanz: Schlüsselwörter in Links teilen der Suchmaschine mit, worum es bei einer Site geht und sorgen für eine höhere Platzierung Anchortexte wie Hier klicken sind dagegen nutzlos. Zitat von Sergey Brin und Lawrence Page (Google-Gründer): Ankertexte liefern oft präzisere Beschreibungen über die Webseiten als die Seiten selbst Die Idee, den Ankertext zu benutzen, um die Seite, auf die er verweist zu beschreiben, wurde im World Wide Web Worm [Suchmaschine aus der Zeit vor Google] implementiert, speziell weil es hilft, Nicht-Textinformationen zu suchen, und weil die Suchbandbreite trotz weniger geladenen Dokumenten vergrößert wird. Wir benutzen den Ankertext hauptsächlich deswegen, weil er bessere Suchresultate liefert. Aus The Anatomy of a Large-Scale Hypertextual Web Search Engine, 1998

13 Bedeutung für Suchmaschinen Links innerhalb einer Website, d.h. interne Verweise zwischen den einzelnen Pages, werden als besonders relevant eingestuft, v.a. auf Pages, die möglichst weit oben im Root- Verzeichnis liegen. Korrelation Verzeichnistiefe und Aktualität: je tiefer manche Dokumente im Verzeichnis liegen, desto älter sind sie oft Deep Linking: Externe Sites, die auf Unterpages einer Website verweisen (macht Google nicht mehr). Links in Java Script sowie Bildlinks können Suchmaschinen nicht lesen, sind also für das Ranking wertlos. Strategien, sich gegenseitig zu verlinken, können von der Suchmaschine als Zirkelbezug interpretiert und evtl. nicht gewertet werden.

14 Funktion und Aufbau einer URL Die URL (= Uniform Resource Locator, zu Deutsch einheitlicher Quellenanzeiger ) ist die häufigste Art von URIs (= Uniform Resource Identifier). Die URL ist eine Art Adresse, die alle Angaben enthält, die für das Auffinden einer bestimmten Information im Web notwendig sind. URLs identifizieren eine Ressource (z.b. HTML-Dokument) über das verwendete Netzwerkprotokoll und den Ort der Ressource. Eine typische URL hat den folgenden Aufbau: protokoll://hostname/directoryname/filename/#anker Das Beispiel bedeutet einen Sprung an die Stelle Wir Adresse im File wir_uber_uns.htm im Directory Wir_uber_uns auf dem WWW- Server

15 Funktion und Aufbau einer URL Das Netzwerk-Protokoll gibt die Art des Zugriffs und damit die Art der Information an für Informationen auf WWW-Servern ist http bzw. https anzugeben, andere Protokolle sind z.b. FTP (File Transfer), Gopher, NNTP (News) oder SMTP (Mails) Der Hostname (Domain) enthält die Internetdresse des Servers, auf dem das Dokument gespeichert ist, das der Browser abrufen soll. Falls benötigt, kann ein Login aus Benutzername und Passwort übermittelt werden. Diese werden, voneinander durch Doppelpunkt getrennt, der Domain mit einem vorangestellt. Auch die Portnummer, unter der das Server-Programm auf diesem Rechner läuft, kann angegeben werden:

16 Funktion und Aufbau einer URL An Stelle der Domain kann auch eine IP-Adresse stehen. Bsp.: oder Der Directoryname und der Filename geben an, welches File vom Server auf den Client-Rechner übertragen werden soll. Mit einem Anker (Textmarke, Sprungmarke innerhalb eines HTML-Dokuments) kann noch zusätzlich festgelegt werden, welche Stelle innerhalb des Files vom Web-Browser am Bildschirm angezeigt werden soll.

17 Funktion und Aufbau einer URL Query Die URL kann z.b. im HTTP-Protokoll nach der eigentlichen Adresse getrennt durch ein Fragezeichen (?) einen query string enthalten. Damit können zusätzliche Informationen übertragen werden, denen serverseitig Variablen zugeordnet und weiterverarbeitet werden: bedeutet die Ausführung eines CGI-Programms mit Parametern CGI (Common Gateway Interface) ist die im HTTP-Protokoll vorgesehene Schnittstelle zu Programmen oder Shell-Scripts, die auf dem WWW-Server laufen, eventuelle Dateneingaben des Clients verarbeiten und die Ergebnisse im HTML-Format an den Client-Rechner senden. CGI-Programme können in beliebigen Sprachen geschrieben werden.

18 Funktion und Aufbau einer URL Beispiele lf%20viehman n&nick=rolfhub script1.cgi ist dabei das Programm, das der Server ausführt? bedeutet, dass dem Programm alles, was auf das Fragezeichen folgt, zur Bearbeitung übergeben werden soll & teilt die verschiedenen Bereiche voneinander c340dcvd6cd10033b2156

19 Funktion und Aufbau einer URL Zwingend erforderliche Mindestbestandteile einer URL sind das Protokoll, der Hostname und der Pfad (Directory und Filename). Letzterer besteht zumindest aus einem Schrägstrich (/), der sich auf das Hauptverzeichnis des Servers bezieht. Falls Teile der URL (z.b. der Filename) Leer- oder Sonderzeichen oder reservierte Zeichen # etc.) enthalten, müssen diese durch einen Hexadezimal-Code der Form %xx ersetzt werden, z.b.: %20 für eine Leerstelle %2F für einen Slash %3F für ein Fragezeichen %3A für einen Doppelpunkt

20 Funktion und Aufbau einer URL Nicht immer müssen alle Teile der URL angegeben werden. Man unterscheidet daher zwischen relativen und absoluten URLs: Relative URLs sind kontextabhängig. Sie geben die Adresse relativ zur Lage des HTML-Files an, in dem der Hypertext-Link steht. Protokoll und Domain brauchen daher nicht angegeben zu werden: #anker eine andere Stelle innerhalb desselben Files filename ein anderes File innerhalb desselben Directory auf demselben WWW-Server filename#anker eine bestimmte Stelle in diesem anderen File directory/filename ein File in einem Subdirectory des aktuellen Directory

21 Funktion und Aufbau einer URL../filename ein File im Parent-Directory des aktuellen Directory (relative Pfadangabe) /directory/filename ein File in einem bestimmten Directory auf demselben WWW- Server Die Verwendung relativer URLs ist für zusammengehörige Files günstig, die eventuell gemeinsam auf einen anderen Bereich übertragen werden. Relative URLs werden also hauptsächlich für Hypertext-Links zwischen Informationen, die gemeinsam erstellt, abgespeichert und gewartet werden, verwendet.

22 Funktion und Aufbau einer URL Absolute URLs sind kontextunabhängig und enthalten stets eine vollständige Angabe von Protokoll, Domain und Pfad. Egal, in welchem HTML-File sie stehen, der Zugriff erfolgt immer auf dieselbe Information. Sie werden für externe Links, also Hypertext-Links auf Informationen, die unabhängig von den vorliegenden HTML-Files gewartet werden bzw. in einem anderen Directory oder auf einem anderen Server liegen, verwendet. Beispiele:

23 Verteilung in den Source-URLs Impressum: impressum, impress, imprint, impr, imp, Kontakt: kontakt, contact, contact us, cont Wir über uns: wir über uns, über uns, unsere Adresse About (jeweils in Groß- und Kleinbuchstaben) 2000 Source URLs (2125) ,3 % ,4 % 1,3 % 0,5 % Impressum Kontakt Wir über uns About Anchortexte

24 Vorkommen der Suchbegriffe in den Source-URLs Impressum: impressum, impress, imprint, impr, imp, Beispiele: ,5 % Source URLs (1111) Sartseite 1 1. Stelle 2. Stelle ,9 % 3,9 % 43 1,1 % Stelle 4. Stelle 5. Stelle 6. Stelle 7. Stelle 8. Stelle Impressum

25 Vorkommen der Suchbegriffe in den Source-URLs Kontakt: kontakt, contact, contact us, cont Beispiele: % Source URLs (328) ,4 % 23 7 % 0 Sartseite 0 1. Stelle 2. Stelle 3. Stelle 4. Stelle Stelle 6. Stelle Kontakt

26 Vorkommen der Suchbegriffe in den Source-URLs Wir über uns: Wir über uns, über uns, unsere Adresse Beispiele: hd.de/lgst/ueberuns/impressum/ online.de/wir_ueber_uns/ 20 Source URLs (28) Sartseite 0 1. Stelle 7 25 % 2. Stelle 12 42,9 % 3. Stelle 6 21,4 % 4. Stelle 2 7,1 % 5. Stelle 0 6. Stelle 1 Wir über uns

27 Variationen von Anchortexten und ihre Häufigkeiten Impressum 1685 Kontakt 295 IMPRESSUM 9 Kontakte 5 impressum 5 kontakt 2 Webimpressum 1 Contact 8 Imprint 9 Contact us 1 imprint 3 Kontakt & Impressum 2 Wir über uns 3 Kontakt / Impressum 4 Über uns 9 Kontakt/Impressum 4 Company Information 6

28 Literatur und Internetquellen Erlhofer, Sebastian: Suchmaschinenoptimierung für Webentwickler, 2.Aufl. Bonn Glöggler, Michael: Suchmaschinen im Internet, Berlin Heidelberg Karzauninkat, Stefan: Suchmaschinenoptimierung, München Wien Kent, Peter : Suchmaschinenoptimierung für Dummies, Weinheim Liu, Zehua; Keong NG, Wee; Lim, Ee-Peng: An Automated Algorithm for Extracting Website Skeleton, Singapore

29 the end...