Einführung in die Computerlinguistik Reguläre Ausdrücke und reguläre Grammatiken

Transkript

1 Einführung in die Computerlinguistik Reguläre Ausdrüke und reguläre Grmmtiken Lur Heinrih-Heine-Universität Düsseldorf Sommersemester 2013 Regulr expressions (1) Let Σ e n lphet. The set of regulr expressions over Σ is reursively defined: is regulr expression denoting the set. ǫ is regulr expression denoting the set {ǫ}. For eh Σ: is regulr expression denoting {}. If r nd s re regulr expressions denoting R nd S, then (r s), (rs) nd (r ) re lso regulr expressions denoting R S, R S nd R respetively. Assume tht hs higher priority thn ontention whih in turn hs higher priority thn. + is n revition for. Regulr Expressions 1 Sommersemester 2013 Regulr Expressions 3 Sommersemester 2013 Regulr expressions (2) Bsp.: ε denotiert {ε} {} = {,ε}. Overview 1. Regulr expressions 2. Regulr expressions nd NFA 3. Closure properties of regulr lnguges 4. Regulr grmmrs ε denotiert {ε} {} = {}. denotiert {} = {}. denotiert {} =. denotiert die Menge ller Wörter üer {}, deren Länge 1 ist. () denotiert die Menge ller Wörter üer {}, deren Länge eine gerde Zhl ist. Regulr Expressions 2 Sommersemester 2013 Regulr Expressions 4 Sommersemester 2013

2 Regulr expressions (3) ( ε) denotiert {,,,,,,...} = { n m 0 n 1,m 1} (( ) de) denotiert {w 1...w n n ε, jedes der w i für 1 i n ist entweder us {,} oder ht die Form (de) k für irgendein k 0} die Sprhe ist die Menge ller Wörter üer den Alphet {,,d,e}, in denen jedes d notwendig von einem e gefolgt ist. Äquivlent: ( de) (d + ) denotiert die Menge ller Wörter der Form w, woei w = ε oder w = w und es gilt, dss w {,d} mit d nfängt und endet und dss in w jede Gruppe von s genu die Länge 2 ht. Regulr Expressions 5 Sommersemester 2013 DFAs nd regulr expressions (1) For eh DFA, there is n equivlent regulr expression. Bsp.: Um von zu q 2 zu gelngen, knn mn entweder q 2 (1) einen Weg ohne Unterwegszustnd q 2 wählen. Dies knn wiederum entweder ohne Durhluf von sein () oder ein erstes Ml von zu (), dnn elieig oft von zu ohne Durhluf von ( ), dnn von nh q 2 () ( + ), oder (2) mn geht ein erstes Ml von zu q 2 ( + ) und dnn elieig oft von q 2 zu q 2 ohne Durhluf von q 2 (( ) ). ( + )( ) Regulr Expressions 7 Sommersemester 2013 Regulr expressions (4) The following holds: For eh lnguge L: there is regulr expression x with L = L(x) iff there is FSA M with L = L(M). DFAs nd regulr expressions (2) Bsp.: d q 2 In order to show this, we 1. define NFAs with empty trnsitions nd show their equivlene to NFAs; 2. show how to onstrut n equivlent NFA with empty trnsitions for given regulr expression; 3. show how to onstrut n equivlent regulr expression for given DFA. Zu 1. und 2. siehe Vorlesung Mthemtishe Grundlgen der Computerlinguistik. von nh q 2 ohne,q 2 von nh ohne,q 2 von nh ohne,q 2 von nh q 2 ohne,q 2 von nh q 2 ohne q 2 von q 2 nh q 2 ohne q 2 von nh q 2 d ( d) = ( d) ( d) ( d) (( d) ) Regulr Expressions 6 Sommersemester 2013 Regulr Expressions 8 Sommersemester 2013

3 DFAs nd regulr expressions (3) Algorithm for onstrution the regulr expression for given DFA: Assume tht {,...,q n } it the set of sttes. Define Ri,j k s the set of sequenes of input symols tht n e otined from following ll pths from q i to q j tht do not pss through sttes q l with l > k. Question: Wht do the Ri,j k look like nd wht re the orresponding regulr expressions ri,j k? k = 0: Only pths of length 0 or 1 n e onsidered, sine, etween q i nd q j, no other sttes q l re possile. Eh r 0 i,j hs the form 1 2 m or (if i = j) 1 2 m ǫ or (if i j nd there is no edge from q i to q j ). DFAs nd regulr expressions (5) q 2 r12 2 = r1 12 r1 12 (r1 22 ) r22 1 r12 1 = r0 12 r0 11 (r0 11 ) r12 0 = ǫ(ǫ ) = r22 1 = r22 r 0 21(r 0 11) 0 r12 0 = ( ǫ) (ǫ) = ǫ r12 2 = (ǫ )+ = (ǫ ) = ( ) Regulr Expressions 9 Sommersemester 2013 Regulr Expressions 11 Sommersemester 2013 DFAs nd regulr expressions (4) In generl, R k ij ontins ll elements from R k 1 ij, ll ontentions of ) n element from R k 1 ik, ) ny numer (inluding 0) of elements from R k 1 kk nd ) n element from R k 1 kj. Consequently, ri,j k = rk 1 ij r k 1 ik (rk 1 kk ) r k 1 kj. Finlly, the regulr expression for the lnguge epted y the utomton is r n 1f 1 r n 1f 2 r n 1f m if F = {q f1,...,q fm }. Regulr Expressions 10 Sommersemester 2013 Ashlusseigenshften regulärer Sprhen (1) Die von regulären Ausdrüken denotierten Sprhen heißen reguläre Sprhen. 1. Wenn L 1 und L 2 reguläre Sprhen sind, dnn ist die Vereinigung von L 1 und L 2 (L 1 L 2 ) eenflls eine reguläre Sprhe. ist die Shnittmenge von L 1 und L 2 (L 1 L 2 ) eenflls eine reguläre Sprhe. ist die Konktention von L 1 und L 2 (L 1 L 2 ) eenflls eine reguläre Sprhe. 2. Ds Komplement einer regulären Sprhe ist eine reguläre Sprhe. 3. Wenn L eine reguläre Sprhe, dnn ist L eine reguläre Sprhe. Regulr Expressions 12 Sommersemester 2013

4 Ashlusseigenshften regulärer Sprhen (2) Für Vereinigung, Konktention und L knn mn gnz einfh die entsprehenden regulären Ausdrüke ngeen. Für die Komplementildung nimmt mn den DFA, der die Sprhe erkennt, mht die Üergngsfunktion vollständig, indem mn einen weiteren Zustnd (trp stte) hinzufügt, und wählt ls neue Endzustände lle Zustände, die im Ursprungsutomten kein Endzustnd sind. Ashlusseigenshften regulärer Sprhen (4) Shnittildung knn (de Morgn) durh Vereinigung und Komplementildung usgedrükt werden: L 1 L 2 = L 1 L 2 = L 1 L 2 Dmit ist L 1 L 2 eine reguläre Sprhe, flls L 1 und L 2 regulär sind. Regulr Expressions 13 Sommersemester 2013 Regulr Expressions 15 Sommersemester 2013 Ashlusseigenshften regulärer Sprhen (3) Bsp.: Regulr Grmmrs (1) Another wy to define lnguge is vi grmmr. A grmmr formlism defines the form of rules nd omintion opertions llowed in grmmr. Komplementildung: q 2 A ontext-free grmmr (CFG) G is tuple N,T,P,S with N nd T disjoint lphets, the nonterminls nd terminls, S N the strt symol, nd P set of produtions of the form A α with A N,α (N T). Regulr Expressions 14 Sommersemester 2013 Regulr Expressions 16 Sommersemester 2013

5 Regulr Grmmrs (2) Let G = N,T,P,S e CFG. The (string) lnguge L(G) of G is the set {w T S w} where for w,w (N T) : w w iff there is A α P nd there re v,u (N T) suh tht w = vau nd w = vαu. is the reflexive trnsitive losure of : w 0 w for ll w (N T), nd for ll w,w (N T) : w n w iff there is v suh tht w v nd v n 1 w. for ll w,w (N T) : w w iff there is i IN suh tht w i w. Regulr Grmmrs (4) The following holds: L = L(G) for regulr grmmr G iff L is regulr set (i.e., n e desried y regulr expression). To show this, we show tht for eh right-liner grmmr, there exists n equivlent NFA; nd for eh DFA, there is n equivlent right-liner grmmr. A lnguge is lled ontext-free lnguge (CFL) iff it is generted y CFG. Regulr Expressions 17 Sommersemester 2013 Regulr Expressions 19 Sommersemester 2013 Regulr Grmmrs (3) A CFG is lled right-liner iff for ll produtions A β: β T or β = β X with β T, X N. left-liner iff for ll produtions A β: β T or β = Xβ with β T, X N. regulr if it is left-liner or right-liner. For eh left-liner grmmr there is n equivlent right-liner grmmr nd vie vers. Regulr Grmmrs (5) Constrution of equivlent NFA (with empty trnsitions) for given right-liner G: Strt stte [S]. For ll produtions A β 1 β 2 there is stte [β 2 ]. Trnsitions simulte top-down left-to-right trversl of derivtion tree: For every A β: ǫ [A] [β] For every stte [β] with T: [β] [β] Finl stte is [ǫ]. Regulr Expressions 18 Sommersemester 2013 Regulr Expressions 20 Sommersemester 2013

6 Regulr Grmmrs (6) Constrution of right-liner grmmr for given DFA: The sttes re the nonterminls. The strt stte is the strt symol. For eh trnsition Q Q dd prodution Q Q nd, if Q F, prodution Q. If the strt stte Q 0 is finl stte, then dd Q 0 ε If we onstrut the right-liner grmmr for L R (L reversed) nd we mirror ll right-hnd sides of produtions, we otin left-liner grmmr for L. Regulr Expressions 21 Sommersemester 2013