Enterprise Search & SharePoint 2013

Transkript

1 Enterprise Search & SharePoint 2013 Die neue 'Search'-Power von SharePoint 2013 Peter Angehrn Senior Search Consultant Microsoft vtsp Microsoft Technet Event, Wallisellen,

2 Agenda Technischer DeepDive& Praxisbeispiele: Enterprise Search & SharePoint 2013 Search-Architektur in SharePoint 2013 Step-by-Step Konfiguration, Tipps & Tricks Erweiterungsmöglichkeiten und Integration in Um-Systeme

3 Suche in Share Point

4 SharePoint Suche gestern/ heute/ morgen : Nothing 2003: First Taste of Something Like Search No Cross Site Search No Relevancy Customer Feedback: not really working 2007: Search Better UI, Relevancy, Synonym, Administration, Reporting, API, Security Heading for Enterprise Search: BDC: Search for data inside & outside SharePoint, limited scalability Poor user acceptance, users are expecting web search experience 2008: First integration of FS4SP (FAST ESP) using WebParts 2010: Search & Find Improved scalability, user friendly UIs, good user acceptance, improved administration Improved findability and ready for enterprise search using FAST Search (dedicated Search Farm) Two different search technologies (introduction of FAST Search), complex architecture 2013: Enterprise Search, Next Generation Search FAST Search For SharePoint SharePoint 2010 Search Highly scalable, enterprise search ready all in one platform using best of two worlds (SharePoint & FAST Search technologies) Precise, high performance, high findability, tunable relevancy, great user experience for internal and external content Search driven applications SharePoint 2013 Search FAST Technology

5 Suche in Share Point 2013

6 Enterprise Search Wenn man von Suche spricht: Search Box Result List Faceted Navigation Was mit Enterprise Search gemeint ist: Query Completion Relevancy Query Suggestions Word Stemming Did you mean Entity Extraction Enterprise Content Aggregation Classification Expert Location Alerting Natural Language Query Vertical Dictionaries Relationship Awareness Global Linguistic Support Source Selection Stored Searches Content Matching Security Management Federated Search

7 ARCHITEKTUR & VERSIONEN

8 Architektur Architektur Logische Architektur Index und Partitionen Analyse (Dokumenten- und Suchverarbeitung) Topology / Deployment Skalierbarkeit Hochverfügbarkeit (inkl. Suchadministration) System Anforderungen SharePoint Versionen / Lizenzmodelle On Premises O365

9 SharePoint 2013 Search Architecture Public API Unit of scale/role boundary Extensibility Points HTTP File shares SharePoint User profiles Lotus Notes Documentum Exchange folders Custom - BCS SharePoint SP Apps Devices Non-SP UX

10 Logische Architektur Index File Store On Disk

11 Index-Architektur Servers Index Servers 1, 2 & 3 Index Servers 4, 5 & 6 Index Servers 7, 8 & 9 Partition #1 Partition #2 Partition #3 Secondary Replica 1 Secondary Replica 2 Secondary Replica 1 Secondary Replica 2 Secondary Replica 1 Secondary Replica 2 Skalierbar: Suche Last Antwortzeiten Daten Menge Indexierzeit Verfügbarkeit Index Servers 10, 11 & 12 Secondary Replica 3 Secondary Replica 3 Secondary Replica 3

12 Index Partitionen Content Processing verteilt Jobs autonom Content Processing Indexing System n Partitionen 1 Primär-Replikat 0 Sekundär-Replikate Index Index Index Index Komponenten frei verteilbar kein Column / Row Modell mehr All Komponenten indexieren Synchronisation von Primary Index zum Replikat erfolgt über ein Journal Index Index Index Index Index Index Index Index P0 P1 P2 P3

13 Query Processing Komponente Stateless node Processing flows Query analyzer Linguistics Dictionaries Result sources Schema mapping Query rules Query federation Configurations stored in admin database Public API Unit of scale/role boundary SharePoint SP Apps Devices Non-SP UX

14 Query Execution Flow Query Processing Component Search Provider Flows P0 Index Index Index P1 Index Index Index P2 Index Index Index P3 Index Index Index

15 Suchkomponenten - Logisch

16 Suchkomponenten - Prozesse Host Controller A Windows Service that supervises NodeRunner process(es) on a given box It restarts failed NodeRunner processes: if a NodeRunner fails, the HostController will detect this and restart it NodeRunner.exe Is the process that hosts the search components There might be several instances of this process on a single box MSSearch.exe Is the Windows Service who hosts the Crawl Component NodeRunner.exe Crawl Component NodeRunner.exe Query Processing Component NodeRunner.exe Analytic Processing Component NodeRunner.exe Content Processing Component NodeRunner.exe Index Component

17 Kleine Such Farm (~10 Mio Items, inkl. Redundanz)

18 Beispiel Dedizierte Suchfarm vs. komplette Farm

19 Grosse Suchfarm(~100 Mio Items, inkl. Redundanz)

20 System Anforderungen Operating System (64-bit editions only): Windows Server 2008 R2 SP1 Standard, Enterprise, Datacenter Windows Server 2012 Standard, Datacenter Database: SQL 2008 R2 SQL 2013

21 Disk- und Datenbank Speicherplatz Index: ca. 20% der Quelldatengrösse (Abhängig vom Quellformat und Content Processing) Search DB: 10 Mio Items ~ 30 GB Crawl DB: 60% (1 DB pro 20 Mio Items, max. 5 DBs) Link DB: 35% (1 DB pro 60 Mio Items) Admin DB: 5% Analytics DB: Abhängig vom Gebrauch (1DB pro GB Datenmenge) Ca. 1 DB pro Unique Views pro Tag (oder Mio Einträge pro DB) Performance (lokale Disksysteme vs. SAN): Suche benötigt hochperformante Speichersysteme. Dedizierte Disksysteme pro Node (bzw. pro Such-/Index und Analysekomponente) sind zu bevorzugen. Bei einem SAN Betrieb ist zu beachten, dass in Summe genügend garantierte Performance zur Verfügung steht. Für jeden Node muss inetwa mit folgenden Werten gerechnet werden: 300 I/O operations per second (IOPS) / 64 kb block size Transfer: > 200 MB/s (ideally 250 MB/s write, 500 MB/s read) Less than 10 ms average read latency

22 SharePoint Versionen On Premises Foundation Edition (out of scope) Standard Edition Enterprise Edition O365 Plan Office 365 Small Business (+Premium), Midsize Business Office 365 Enterprise E1-E4, K1 Office 365 Education A1-A4 Office 365 Government G1-G4, K1 SharePoint Online Enterprise External Users SharePoint Online Service Description:

23 SharePoint Standard vs. Enterprise Gewisse Funktionalitäten in der Suche erfordern zusätzliche Lizenzen Content Search WebPart Extensible Content Processing Custom Entity Extraction AdvancedQuery Rules Enterprise CAL Mit diesem WebPart werden vorklassifizierte Daten aus den Suchergebnissen angezeigt und diese können entsprechend formatiert werden. Wird später einmal Cross Site Publishing eingesetzt werden, fehlt dieses notwendige Element. Entwickler können über einen Webservice auf die gecrawlten Eigenschaften einwirken, bevor sie indiziert werden. Dies hilft bei der Bereinigung und Klassifizierung von Daten. Über Metadaten-Wörterbücher können aus unstrukturierten Inhalten entsprechende Objekte klassifiziert und diese dann zum Refinement genutzt werden. Innerhalb der Abfrageregel können Konditionen und Aktionen spezifiziert und verbunden werden. Search Vertical Video Es gibt keine vorgefertigten Ansichts-Vorlagen für Videos und das Erstellen dieser ist stark eingeschränkt. Live Preview Online View und Bearbeitung Office Web App Server Betrachten einer Vorschau von Office Dokumenten in den Suchergebnissen, sowie Navigation durch diese Dokumente auf der Such-Ergebnisseite (Thumb) Betrachten und Bearbeiten von Office Dokumenten (Word, Excel, PowerPoint) direkt im Browser (reduzierte Features zur Client-Version), ohne lästiges herunterladen des Dokumentes und erneutem Wiederhochladen.

24 Search In The Cloud? YES, but

25 SharePoint On Premises(Enterprise) vs. O365 Fehlende Suchfunktionalitäten in der Cloud: Extensible Content Processing (Content Enrichment Web Service) Content Search Web Part Indexing of External Data Faceted Navigation Custom Entity Extraction Result Sources Search Connector Framework (BCS) Tunable Relevancy General: Multi-Tenant Environment / no CA access No «trusted code», solution deployment

26 LIVE DEMO ERSTE EINDRÜCKE

27 Die neusten Funktionalitäten im Überblick Suchbereiche (Result Sources) Personensuche, Dokumentensuche, Informationssuche, Visualisierung Allgemein Exact & Secure Search Deep Refiners, Metadatenextraktion Entity Extraction (Company) Sprachunterstützung (Datumssuche, Komposita, Wortformen, Synonyme) Duplikate Komplexe Suchen (NEAR, *, Brackets) Query Suggestion, Spell Correction Neue Konzepte Result Types, Query Rules, Display Templates Suchresultate Result Blocks, Promoted Results, Best Bets Query Completion, Spelling Correction Hover Panel Voransicht von Dokumenten PP usw. / Office Web Apps Deep Link Extraction Resultat mit Verlinkung auf eine Seite eines Dokuments Echtzeitindexierung Continuous Crawling Erweitert: Custom Processing, Content By Query, Faceted Navigation

28 Suchsyntax Unterstützung für KQL und FQL (kein SQL Support mehr) KQL Beispiele (GUI Standard): Simple Keywords and Phrases ("...") Wildcards (*) Boolean Operators incl. Parenthesis AND /+, OR, NOT/- Proximity Operator a NEAR b, a ONNEAR b [Default: NEAR(n=8) oder NEAR(8)] Comparision & Range Operator (Dates and Numbers) =, <, >, <=, >=,.. Synonym Operators WORDS(TV,Television) Dynamic Rank XRANK (Example: (cat OR dog) XRANK(cb=100) thoroughbred) Property search and Scopes title:"sharepoint Search", author:"john Smith", filetype:docx, filename:budget.xlsx KQL: FQL:

29 SEARCH PROVIDER & DISPLAY TEMPLATES

30 Konfiguration der Resultatanzeige Result Sources Result Display Framework Result Types (Rule Engine) Display Templates Web Part Configuration Refiners Search Box Core Results Content by Search

31 Result Sources Logische Datenquellen Scopesund Federated Search aus SharePoint 2010 wurden in SharePoint 2013 durch Result Sources ersetzt. Diese dienen als logische Datenquelle für die Suche. Result Sourcen sind eine Mischung aus Datenquelle und Suchfilter. Über die Administrationsoberfläche lassen sich neue Result Sourcen anlegen. Administrierbar auf Ebene CA / Site Collection und Site Query Rules / Query Transformation: Als Basis für eine Result Source lassen sich verschiedene Suchindexe (Lokal, Remote SP, Exchange, OpenSearch) einbinden, die anhand zusätzlicher Kriterien (Query Transformation) weiter verfeinert werden können. Zusätzlich lässt sich die Resultatsortierung frei konfigurieren.

32 Result Sources Folgende Quellen können einer Result Source als Basis dienen: Local Sharepoint (Default) Lokaler, von SharePoint 2013 erstellter Index Exchange Exchange 2013 verwendet neu ebenfalls den FAST Search Core der direkt in die Suche eingebunden werden kann, ohne die Daten erneut zu crawlen. Dies bei durchgängiger Suche, ohne Latenzzeit und ohne Redundanzen. E-Discovery Remote SharePoint Verwendung eines existierenden SharePoint Indexes ohne Crawling Ermöglicht einfache Integration mehrere SharePoint Farmen anstelle einer grossen zentralen Farm. vereinfacht durch oauth Trusts zwischen den Farmen anstelle von Kerberos Die Benutzer-Claims werden bei einer Suchanfrage mit übergeben. Open Search Federated Search basierend auf dem OpenSearch Protokoll ( Ermöglicht hybride Lösungen mit O365

33 Result Display Framework Rule Engine Definition of Result Types Property List Display Templates Visual Layout, HTML / JS Inheritance Hierarchy SSA, Site Collection, Web Result Type Rule Matches Word FileExtension=docx OR FileExtension =doc All Word documents Spec ContentType=Spec AND (FileExtension=docx OR FileExtension =doc) Specs which are also Word documents

34 Result Types und Display Templates SharePoint stellt bereits vordefinierte Result Types unddisplaytemplates im Standard zur Verfügung Display Templates lassen sich einfach erstellen. Z.B. mit dem SharePoint Designer Main Site>All Files>_catalogs>masterpage>Display Templates Mit diesen werden alle gängigen Dokumenttypen (Office Dokumente, PDF, Video, Fotos, Personen,...) bereits in optimierter Form angezeigt. Sie lassen sich auch als Basis für eigene Optimierungen und Anpassungen verwenden. siehe auch:

35 QUERY MANAGEMENT

36 Qualität Vollzeit Beschäftigte stellen die Qualität von Google.com sicher! Das Query- und Resultatmanagement von SharePoint ist weitgehend automatisiert. Aufgaben können dezentral vergeben werden.

37 Trefferrelevanz Recall vs. Precision In general, information providers need to strike a balance between recall and precision: Recall: Finding all potential matches to the search query Precision: Finding only those documents that truly match the search query Linguistic normalization Synonyms Wildcards Anti-phrasing Match any terms Spell-checking Recall Compliance Threat Detection Surveillance Market Analysis Mobile Search Intranets/Portals Online Directories Research ecommerce Goal Exact matching Phrases Match all terms Proximity Match within specific context Precision Customers need to consider use cases carefully to help balance the relevancy components that best suit their needs and their application domains.

38 Ranking Model The ranking model defines how the search engine calculates the relevance rank using various factors, which are represented in the ranking model as rank features. Factors used to calculate the relevance rank include static and dynamic factors: Static Factors (Content Driven) Base Ranking Model Dynamic Factors (User Driven) Analytics: User Clicks, Views, Recommendations Result Source, Query Rules XRANK

39 Ranking Modelle & RelevancyTuning Quality Also known as static rank, consists of multiple managed properties: Urldepthrank: Used to boost shorter URLs Docrank: Rank boost based on the number of and relative importance of links pointing to an item Siterank: Rank boost based on the number of and relative importance of links pointing to the items on a site Authority Applies when the query word falls in the link or anchor text. Query Authority Maps the popularity of a document, or the click-through rate when documents are clicked as a result of a query Freshness Increases the relevancy if a document was recently created or modified, based on the last modified property. Proximity Applies to where query terms fall and how close they are to each other within a document Context Increases the rank of a document if the query term is a managed property associated with that document Managed Property Source, Document Type Effects relevancy when a managed property contains a specific value, such as Woodgrove Bank or Financial Services Different boostings on relative importance of Document Type and/or Source.

40 OOTB Ranking Modelle SharePoint 2013 bietet unterschiedliche Ranking-Modelle optimiert für die verschiedensten Arten der Suche an (Allgemeine Suche, Video, Bilder, Kommunikation, Personen- und Experten,...). Dabei werden auch verschiedenste lernfähige Ranking-Modelle unterstützt. Die Ranking-Modelle lassen sich grob in folgende Bereiche unterteilen (Details: ). General Purpose Ranking Models People-and Expert Search Ranking Models Special Purpose Ranking Models Custom Ranking Models Allgemein gültige Ranking-Modelle für die meisten Arten von Suchresultaten Optimierte Ranking Modelle für die Suche nach Personen und Experten. Dabei fliessen unter anderem Namensähnlichkeiten (Phonetik), die soziale Distanz zwischen Personen als auch deren Expertisen mit ins Ranking ein. Spezielle Ranking Modelle mit Fokus auf besondere Ranking Szenarien. Zum Beispiel werden Modelle für die Berechnung des Rankings basierend auf Bewertungen (Rating) der Benutzer oder deren Benutzerverhalten unterstützt. Dabei wird unter anderem geprüft, wie oft ein Suchresultat angeklickt wurde und was für Suchanfragen zu einem Resultat geführt haben das angeklickt wurde ((Click-Through) Basierend auf den existierenden Ranking Modellen und Geschäftsregeln können auf einfache Weise eigene Ranking Modelle eingesetzt werden (z.b. Basisrankingmodell mit Boosting von Dokumenten mit dem Begriff WICHTIG im Titel)

41 Query Management mit SharePoint Automatisches Management (Analytics) Query Rules (OOTB & Custom) Query Conditions Query Actions Publishing Options Query Actions Promoted Result (Best Bets) Result Block (z.b. Federated Results) Change Query Document Promotion / Demotion Sorting Dynamic Ranking (XRANK) Rankingmodelle Authority Pages Search Suggestions / Query Completion Linguistic Support Synonyme / Thesaurus Suchsyntax

42 Analytics Automatische Optimierung der Relevanz Search Analytics Anchor Text Click Distance Search Clicks Social Tags Social Distance Search Reports Deep Links Usage Analytics Usage counts Recommendations Activity ranking Link Analytics Reporting

43 Query Rules

44 Auswahl des Ranking Models Das Ranking-Model kann dynamisch (nicht OOTB) oder konfigurativ als Teil der Query Rule pro Result Source ausgewählt werden: Komplexe, eigene Rankings können auch direkt als Query formuliert werden (XRANK Operator)

45 Explain Rank (Hidden Feature) p2013/shared%20documents/sharepoint/sp-2013-enterprise-search-model.pdf q which contains the query d which specifies the path of the item for which you want to see rankdetail keywordinclusion can be set to any or all (default). Should the search result contain all or any of the specified search terms enablephonetic should phonetic forms be used to find matches enablenicknames should the exact terms or nicknames be used in search enablestemming should stemming be enabled sourceid ID of the result source to use lang name of the locale to use for the query, ie. en-us Alternative: use REST-API and retrieverankdetail property

46 Query Actions: z.b. Manipulation der Query / Rankings Über den Wizard kann das Ranking nach beliebigen Kriterien beeinflusst werden (Dynamic ordering), z.b: Gewichtung bestimmter Metadaten Gewichtung von Datenquellen / Domains Gewichtung einzelner URLs Gewichtung von bestimmten Dokumenttypen Gewichtung nach Aktualität Nachranking basierend auf bestimmten Suchbegriffen Regelbasierte Gewichtung, z.b. nur wenn die Suche mit bestimmte Patterns oder Regeln übereinstimmt (z.b. gewisse Begriffe vorhanden, Regular Expression) Regeln zum automatischen Umschreiben / Neuformulieren von Suchanfragen (z.b. Suche nach ZGB schränkt den Suchbereich automatisch auf die systematische Rechtsammlung ein)

47 Suchunterstützung Query Suggestions Pre-Suggest Personal Activity & My Queries Previously visted Sites Global Common Terms Post Query Suggestions Results you ve clicked Query Spell Correction Always Includes / Exlcudes

48 Query Suggestion Here are some examples of how query suggestions might look: Pre-Query Suggestion Post-Query Suggestion

49 Query Suggestions& Spell Correction Query Suggestion (Autocompletion) Vollautomatisch, wenn zu jeder Suche mind. 6x ein Dokument geöffnet wurde TimerJobs: «Prepare Query Suggestions» Wird täglich per Site Collection & Result Source erstellt Manuell erweiterbar via Termstore Kann auf Ebene WebPart aktiviert / deaktiviert werden sprachabhängig Spell Correction (Did you mean ) Vollautomatisch, wenn Term in mehr als 50 Docs vorkommt Das häufigste Wort mehr als 1000x vorkommt Thresholds konfigurierbar TimerJobs «Search Custom Dictionary Update> Manuell erweiterbar via Termstore Sprachabhängig

50 Linguistische Unterstützung Unterstützung für über 80 Sprachen mit unterschiedliche Abdeckung: Spracherkennung Word Breaking (Tokenization) Grundformreduktion (Singular / Plural) Sprachabhängige Suchvorschläge Zeichennormalisierung / Umlaute Verschiedene Schreibweisen (Amerika / England) Kompositazerlegung Datumsformate Noise Words / Stop Words Phonetic (Namenssuche) Extraktion von Firmennamen Volle Unterstützung für: Deutsch, Französisch, Italienisch, English, Spanisch, Linguistic search features:

51 Thesaurus Thesauri können mehrsprachig hinterlegt werden und weisen folgendes CSV Format auf (Key, Synonym, Sprache): Key,Synonym,Language IE,Internet Explorer Internet Explorer,IE UN,United Nations,en UN,Vereinte Nationen,de BAM,billing and account management billing and account management,billing and accounts Import erfolgt via PowerShell: $searchapp = Get-SPEnterpriseSearchServiceApplication Import- SPEnterpriseSearchThesaurus -SearchApplication $searchapp -Filename <Path> Siehe auch:

52 CRAWLING & DATEN VERARBEITUNG

53 Crawl and Content Configuration Connectors Crawling and Content Sources Improvements in Document Parsing Entity Extraction Schema Management

54 Datenquellen-Anbindung Content Capture (Crawling / Connectors) SharePoint incl. Async Web Parts File Share HTTP (Neu: Anonymous Access) Business Data Connectivity (BDC) Exchange Public Folder Lotus Notes Documentum Datenbank Crawled Items werden in der CrawlDB getracked Configuration in der Admin DB Crawl Modes Full Crawl / Incremental Crawl Continous Crawl Erweiterbarkeit via Connector Framework / BCS mssearch.exe Crawl

55 Datenverarbeitung Ein neuer Qualitätslevel in der Suche Mapper Entity Extraction Lemmatization Language Detection Format Conversion Content Processing Pipeline End Users Query Processor Indexer Content Processor Crawler Content Profiles Search Center Index Partition User Context Relevance Control Metadata Indexing Connectivity

56 Inhaltsaufbereitung Processing Pipeline

57 Inhaltsaufbereitung Automatische Erkennung der Dateiformate Hochperformante Format Handler HTML, DOCX, PPTX, TXT, Image, XML und PDF ifilter Support für 55 Formate OOTB (FAST 422) (Liste der Formate: Linguistic Processing Language Detection / Word Breaker / Stemming Entity Extraction Metadaten Extraktion Document Properties, HTML Metadata (Standard, Dublin Core), DB Fields, List Data, Property Mapping (Crawled Properties Managed Properties) Deep Link Extraction (Word und PowerPoint)

58 Entitäten Extraktion und Dokumenten Parsing OOTB: Automatische Extraktion von Firmennamen Kann über Termstore verwaltet werden Hinzufügen von Includes / Excludes Deep Link Extraction (Word / Powerpoint) Visual Metadata Extraction (Titles, Authors, Dates)

59 Inhaltsaufbereitung - Erweiterbarkeit Content Enrichment Webservice (CEWS): Beliebige Aufbereitung der Inhalte Entitätenerkennung basierend auf Regeln Klassifikation, Sentiment Analyse Anreicherung ifilter: Filterung von proprietären Datenformaten Custom Entity Extractors domainspezifische Wörterbücher (via PowerShell) Praxisbeispiel: Extended Thumbnail Preview Video- und Sprachverarbeitung Klassifikation / Kategorisierung Regel basierte Entitäten-Extraktion

60 Schema Management Properties Management Crawled Properties Standard document metadata discovered by the crawler or extracted from the full text by the FAST Content Processing Pipeline. Location Redmond, WA Oslo, Norway Managed Properties Map one or more Crawled Properties to a single field. Enables sorting, refinement, relevance tuning and fielded searching. Company Microsoft FAST Date January 8, 2008 January 4, 2008 Index Profile Managed Properties Type DocId Title Author Date Size Location Company Concept Body 123 Press Release 01/08/ K Redmond Microsoft Cash Tender 345

61 Search Schema Crawled property managed property Site collection schema mapping allows Custom/managed property mapping Aliasing of managed properties Enhanced functionality with managed property: Data type Queryable Searchable Retrievable Refinable Sortable Safe for anonymous access

62 Advanced Settings Full-text Index By default, new managed properties are mapped to context 0 which is not considered in ranking Apply managed property to one of the following context to be considered by the default search rank model (the other contexts are ignored) Company name / Custom entity extraction

63 ERWEITERBARKEIT

64 Custom Entity Extraction Custom entity extractor / custom entity extractor dictionary Description Example Dictionary name to use in Windows PowerShell Managed property that will contain the extracted entity Word Extraction Case-insensitive, dictionary entries matching tokenized content, maximum 5 dictionaries. The entry "anchor" matches "anchor" and "Anchor," but not "anchorage" Microsoft.UserDictionaries.Ent ityextraction.custom.word.n [where n = 1,2,3,4 or 5] WordCustomRefiner1 WordCustomRefiner2 WordCustomRefiner3 WordCustomRefiner4 WordCustomRefiner5 Word Part Extraction Case-insensitive, dictionary entries matching un-tokenized content, maximum 5 dictionaries. The entry "anchor" matches "anchor," "Anchor" and "anchorage" Microsoft.UserDictionaries.Ent ityextraction.custom.wordpart.n [where n = 1,2,3,4 or 5] WordPartCustomRefiner1 WordPartCustomRefiner2 WordPartCustomRefiner3 WordPartCustomRefiner4 WordPartCustomRefiner5 Word Exact Extraction Case-sensitive, dictionary entries matching tokenized content, maximum 1 dictionary. The entry "anchor" matches "anchor," but not "Anchor" or "Anchorage" Microsoft.UserDictionaries.Ent ityextraction.custom.exactwor d.1 WordExactCustomRefiner Word Part Exact Extraction Case-sensitive, dictionary entries matching un-tokenized content, maximum 1 dictionary. The entry "anchor" matches "anchor" and "anchorage," but not "Anchor" Microsoft.UserDictionaries.Ent ityextraction.custom.exactwor dpart.1 WordPartExactCustomRefiner

65 Register Custom Extractor 1 > $searchapp = Get-SPEnterpriseSearchServiceApplication > Import-SPEnterpriseSearchCustomExtractionDictionary SearchApplication $searchapp Filename SearchKeywords.txt DictionaryName Microsoft.UserDictionaries.EntityExtraction.Custom.Word z.b. für Managed Property body 5

66 Erweiterungsmöglichkeiten der Suchumgebung Custom Entity Extraction ( Custom Content Processing ( Query API ( Connector Framework ( Custom security trimming ( Search Federation OpenSearch Exchange 2013 (oauth) ediscovery, In-Place Hold Remote SharePoint 2013 (oauth) Analytics ( Custom ranking models ( Content Search Web Part

67 Integration des Content Enrichment Webservices (CEWS)

68 CEWS Fakten WebService (SOAP over HTTP) Enthält die Businesslogik Trigger Conditions Kriterien die erfüllt sein müssen um CEWS aufzurufen. Synchroner Aufruf / blockierend Timeout Input: Properties, Volltext und Rohdaten Output: modifizierte Properties (z.b. title, nicht body), neue Properties Keine Authentifizierung oder Verschlüsselung Nur 1 Endpoint pro Search Service Setzt Enterprise Edition voraus / nicht für O365

69 Register Webservice Endpoint Register Endpoint using PowerShell $ssa = Get-SPEnterpriseSearchServiceApplication $config = New-SPEnterpriseSearchContentEnrichmentConfiguration $config.debugmode = $false $config.endpoint = " $config.failuremode = "WARNING" $config.inputproperties = "Filename" $config.outputproperties = "Filename" $config.sendrawdata = $true Trigger Expression Syntax: $config.trigger = $null $config.maxrawdatasize = Set-SPEnterpriseSearchContentEnrichmentConfiguration SearchApplication $ssa ContentEnrichmentConfiguration $config More Details about Custom content processing with the Content Enrichment web service callout:

70 Configuring the Content Enrichment Call Out Configuration property Description Default value Endpoint Specifies the URL of the external web service. Empty. InputProperties The managed properties that the external web service receives. Empty. OutputProperties The managed properties that the external web service returns. Empty. Timeout The amount of time until the web service times out in milliseconds. Depending on FailureMode, the item fails to be processed or a warning is written to the ULS log. SendRawData Enables or disables sending raw data to the web service. False. MaxRawDataSize FailureMode DebugMode Trigger The maximum size of raw data sent to the web service in kilobytes (KB). If the binary data of an item exceeds this limit, the item is not sent. This does not prevent the InputProperties from being sent, and the OutputProperties from being received. Controls the behavior of the web service client when errors occur. When FailureMode is set to ERROR, any problems that occur during content enrichment processing send a failed callback for that particular item. When FailureMode is set to WARNING, the item is indexed, without any modifications by the web service and a warning is written to the ULS log. A mode that when set to true enables the content enrichment client to send all managed properties to the client without expecting any properties in return. Any configured Trigger property, InputProperties property, and OutputProperties property are ignored. A Boolean predicate that is executed on every crawled item. If the predicate evaluates to true, the record is sent to the web service. Otherwise, the item is passed through to the search index. Trigger Expression Syntax: ms; Valid range [100, 30000] kilobytes. Error. False. Empty.

71 SharePoint 2013 Remoting API

72 Query API Client Object Model (CSOM).NET Silverlight JavaScript Server Object Model REST Endpoints _api/search/query _api/search/suggest SharePoint Search REST API: SharePoint 2013 Search Query Tool: