Prozessorarchitektur. Sprungvorhersage. M. Schölzel

Transkript

1 Prozessorarchitektur Sprungvorhersage M. Schölzel

2 Inhalt Sprungvorhersage statische Methoden dynamische Methoden

3 Problem Fetch-Phase Befehlswarteschlange Speicher b? Neue Adresse für noch nicht bekannt Issue-Phase zu Reservation Stations Sprungoperation n Takte Execute-Phase Branch-Unit Tatsächliches Sprungziel wird erst hier berechnet Nach dem Holen eines Sprungbefehls wird Fetch-Phase angehalten, bis das Sprungziel bekannt ist Sprungziel ist nach Execute-Phase bekannt (n Takte) Je tiefer die Pipeline, desto größer n Verarbeitungsgeschwindigkeit mit idealer des 4-fach superskalarer Prozessor, GHz Takt n = 6 Im Idealfall: 4 MIPS Verarbeitungsleistung ohne : 5% Sprungoperationen (alle 2 Operationen eine Sprungoperation) Alle 5 Takte wird eine Sprungoperation geholt => Anhalten der Fetch-Phase für 6 Takte 2 Operationen in Takten... / * 2 <.82 MIPS (45% der maximalen Leistung)

4 Statische Sprungvorhersage Statische Sprungvorhersage bezieht keine Daten aus der Vergangenheit ein Techniken: Variante : Verzweigung wird nie ausgeführt Variante 2: Verzweigung wird immer ausgeführt Variante 3: abhängig vom Sprungbefehl Rückwärtssprünge werden immer ausgeführt Vorwärtssprünge werden nicht ausgeführt

5 Statische Sprungvorhersage (Variante ) Annahme: Verzweigung wird nie ausgeführt Für die Aktualisierung des ist keine zusätzliche HW erforderlich wird immer inkrementiert Sprungvorhersage ist aber oft falsch z.b. Rücksprünge am Ende von Schleifenkörpern Fetch-Phase Speicher b inc Sprungoperation Issue-Phase zu Reservation Stations Execute-Phase Branch-Unit Tatsächliches Sprungziel wird erst hier berechnet

6 Statische Sprungvorhersage (Variante 2) Annahme: Verzweigung wird immer ausgeführt Sprungziel muss aus Befehl bestimmt werden schwierig bei Registerindirekten Sprüngen (Branch-Target-Buffer kann helfen) Fehlerrate für verschiedene Benchmarkprogramme im Mittel ca. 34% Im besten Fall 9% Im schlechtesten Fall 59% Quelle: Hennessey & Patterson : Quantitative Approach Fetch-Phase Speicher b Ziel Ctrl inc Ctrl :=, falls Branch-Unit Sprungziel berechnet hat, falls Branch-Unit kein Sprungziel berechnet hat und b Sprunganweisung war 2, sonst Issue-Phase zu Reservation Stations Execute-Phase Branch-Unit Tatsächliches Sprungziel wird erst hier berechnet

7 Statische Sprungvorhersage (Variante 3) Annahme: basiert auf Befehl Für die Aktualisierung des ist in der Regel zusätzliche HW erforderlich (hängt vom Befehlssatz ab) Sprungziel muss aus Befehl bestimmt werden z.b. schwierig bei Registerindirekten Sprüngen Rückwärtssprünge werden immer ausgeführt: Motivation: Rücksprünge vom Ende einer Schleife Vorwärtssprünge werden nicht ausgeführt: Motivation: if-then-else für Fehlerbehandlung Fehler treten selten auf und werden im else-zweig behandelt Fetch-Phase Speicher b Ziel Ctrl inc Ctrl :=, falls Branch-Unit Sprungziel berechnet hat, falls Branch-Unit kein Sprungziel berechnet hat und b war Vorwärtssprung 2, sonst Issue-Phase zu Reservation Stations Execute-Phase Branch-Unit Tatsächliches Sprungziel wird erst hier berechnet

8 Aktionen bei falscher Variante : Bei falscher werden alle nach der falsch vorhergesagten Sprunganweisung geholten Operationen aus der Pipeline gelöscht Erfordert clear aller betroffenen Pipelineregister (Befehlswarteschlange, RS, ROB) Variante 2: Delay Slots Genau n nach der falsch vorhergesagten Sprungoperation geholte Befehle werden noch ausgeführt Speicher inc Nur möglich, wenn n konstant ist; FE/DE Nicht möglich bei dynamisch geplanten Prozessoren DE/EX Branch-Unit

9 Inhalt Sprungvorhersage statische Methoden dynamische Methoden

10 Dynamische Sprungvorhersage Dynamische Methoden beziehen Informationen aus der Vergangenheit in die ein Methoden Lokal (Informationen aus der Vergangenheit des vorherzusagenden Befehls): mit -Bit- mit 2-Bit- mit Zählern Global (Informationen aus der Vergangenheit anderer Sprungbefehle) Correlating-Branch-Predictors Tournament Predictors

11 Sprungvorhersage in Fetch-Phase Annahmen: Sprung kann in Fetch-Phase erkannt werden Zieladresse kann aus Sprunganweisung und eindeutig berechnet werden ist -Bit Information (Sprung ausführen/nicht ausführen) Aktueller -Wert neuer und load-signal Speicher + Signale aus Commit-Phase Predictor Zieladresse berechnen & (, korrekt) Befehlscode Sprung? Zur Befehlspipeline/Warteschlange

12 Implementierung Predictor (Auswahl mit Indexbits) LSBs des werden als Indexbits verwendet Predictor bleibt klein Mehrere Sprünge können sich den gleichen Index teilen kann für den falschen Sprung getroffen werden Indexbits a m a 4 a k+ a k a Index : Sprung wird ausgeführt (=) oder nicht (=) von Commit- Phase Index für Sprung Sprung wurde ausgeführt/nicht ausgeführt Update k Predictor

13 Implementierung Predictor (Auswahl mit Index- und Tagbits) ist in Index- und Tagbits aufgeteilt Höherer Speicheraufwand Adresse des Sprungs kann überprüft werden; keine für falschen Sprung Sprünge mit gleichen Indexbits verdrängen sich gegenseitig Default-, wenn Tagbits nicht matchen a 5 a 4 a k+ a k a Tagbits Indexbits Index Tagbits == Tagbits von Commit- Phase Index für Sprung Sprung wurde ausgeführt/nicht ausgeführt Update k Predictor : Sprung wird ausgeführt (=) oder nicht (=)

14 Implementierung Predictor (Auswahl Mehrfach-Assoziativ) Eine Indexposition kann mehrere n mit verschiedenen Tagbits speichern Hoher Speicheraufwand Sprünge mit gleichen Indexbits verdrängen sich nicht sofort Implementierung einer Verdrängungsstrategie erforderlich Default-, wenn Tagbits nicht matchen a 5 a 4 a k+ a k a Tagbits Indexbits Index Tagbits == Tagbits von Commit- Phase Index für Sprung Sprung wurde ausgeführt/nicht ausgeführt Update k Predictor : Sprung wird ausgeführt (=) oder nicht (=)

15 Lokale Sprungvorhersage mit -Bit ist ein Bit: Sprung wird nicht ausgeführt Sprung wird ausgeführt Update nach Commit: Wurde der Sprung ausgeführt, wird bit auf gesetzt Wurde der Sprung nicht ausgeführt, wird bit auf gesetzt Nachteil dieses Ansatzes: Wird ein Sprung fast immer ausgeführt und nur einmal nicht, dann wird zwei Mal eine falsche getroffen a 5 a 4 a k+ a k a Index : Sprung wird ausgeführt (=) oder nicht (=) von Commit- Phase Index für Sprung Sprung wurde ausgeführt/nicht ausgeführt Update k Predictor

16 Lokale Sprungvorhersage mit 2-Bit ist ein 2-Bit-Wert: und nicht springen und springen Update nach Commit: siehe Zustandsautomat Nachteil dieses Ansatzes: arbeitet nur lokal Änderung der nur nach zwei aufeinanderfolgenden falschen n a 5 a 4 a k+ a k a Index Höchstwertiges Bit der von Commit- Phase Index für Sprung Sprung wurde ausgeführt (=) /nicht ausgeführt (=) Update k Predictor

17 Lokale Sprungvorhersage mit Zähler ist ein n-bit-zähler mit Sättigung: Inkrementieren von 2 n - ergibt 2 n - Dekrementieren von ergibt Höchstwertiges Bit des Zählers wird für genutzt ( = springen; = nicht springen) Update nach Commit: Wenn Sprung ausgeführt wurde, wird der Zählerwert inkrementiert Wenn der Sprung nicht ausgeführt wurde, wird der Zählerwert dekrementiert Nachteil dieses Ansatzes: Toggeln möglich a 5 a 4 a k+ a k a Index Höchstwertiges Bit der von Commit- Phase Index für Sprung Sprung wurde ausgeführt (=) /nicht ausgeführt (=) Update k Predictor

18 Beispiel für Sprungvorhersage mit 2-Bit-Zähler Update nach Commit: siehe Zustandsautomat Nachteil dieses Ansatzes: arbeitet nur lokal a 5 a 4 a k+ a k a Index Höchstwertiges Bit der von Commit- Phase Index für Sprung Sprung wurde ausgeführt (=) /nicht ausgeführt (=) Update k Predictor

19 Globale Sprungvorhersage ((n,m)-correlating Branch Predictors) Einbeziehung der information der letzten m Sprünge Für jeden möglichen der 2 m Steuerflüsse der letzten m Sprünge gibt es eine lokale Sprungvorhersage, die n Bits für die lokale nutzt m-bit Vektor (s,,s m ) speichert n für die letzten m Sprünge Globaler Kontext wählt lokale aus Aktualisierung nur des ausgewählten lokalen Predictors a 5 a 4 a k+ a k a Local Predictor n-bit- Local Predictor 2 n-bit- Local Predictor 2 m n-bit- m-bit Schieberegister s s 2 s 3 s m

20 Nutzen Globaler Information Wurden die ersten zwei Sprünge ausgeführt, dann wird der dritte Sprung nicht ausgeführt Wurde einer der zwei ersten Sprünge ausgeführt und der andere nicht, dann wird der dritte Sprung ausgeführt Ansonsten hilft der globale Kontext für die des dritten Sprungs nicht weiter if (aa == 2) aa = ; if (bb == 2) bb = ; if (aa!= bb) { }

21 Turnament Predictor Beobachtung: Verhalten eines Sprungs kann manchmal gut auf Basis lokaler Informationen und ein andermal durch globale Informationen vorhergesagt werden Turnament-Predictor kombiniert beide Ähnliches Prinzip wird in zahlreichen aktuellen Prozessoren genutzt: Alpha 2264 AMD Opteron, Phenom Core i7

22 Tournament-Predictor Es gibt einen globalen und einen lokalen Predictor Beide treffen parallel Sprungvorhersage unabhängig voneinander Es gibt einen weiteren Predictor (Selektor), der speichert, ob in der Vergangenheit der lokale oder globale Prediktor besser funktioniert hat Selektor wird für die Auswahl des Ergebnisses der des globalen oder lokalen Predictors verwendet Beispiel aus Alpha 2264: Local Predictor Global Predictor Bit 24 Einträge Local History Local History Local History Local History 3-Bit Zähler 3-Bit Zähler 3-Bit Zähler 3-Bit Zähler 24 Einträge 2-Bit History Global Predictor 4K 2 Bit- Selektor 4K 2-Bit Zähler

23 Selektor Selektortabelle hat 496 Einträge LSBs des s indizieren Eintrag Jeder Eintrag ist ein 2-Bit Zähler: MSB des Zählers, dann des globalen Predictors nutzen MSB des Zählers, dann des lokalen Predictors nutzen Aktualisierung des Selektors mit Rückmeldung xy aus Commit-Phase mit x,y Î {,} x = gdw. globaler Predictor lieferte korrekte y = gdw. lokaler Predictor lieferte korrekte,,,,,, Rückmeldung xy aus Commit-Phase Aktuelle aus Selektortabelle

24 Global Predictor 2-Bit Schieberegister speichert n der letzten 2 Sprünge Schieberegister indiziert 496 Einträge in Globaler History-Table Jeder Eintrag in Global History-Table ist ein 2-Bit-Predictor; MSB des 2-Bit-Predictors liefert Sprungvorhersage hängt nur von der Historie der letzten Sprünge ab (nicht vom aktuell vorherzusagenden Sprung) Global Predictor 2-Bit History Global Predictor 4K 2 Bit- Global History- Table

25 Lokaler Predictor Für 24 Sprünge kann die lokale Historie der letzten Verzweigungen gespeichert werden (Lokale Historie) indiziert lokale Historie; Eintrag aus lokaler Historie indiziert Sprungvorhersagetabelle mit 24 Einträgen Jeder Eintrag ist ein 3-Bit-Zähler für des aktuellen Sprungs Gewählte kann damit abhängig von den letzten Verzweigungen der Sprunganweisung gemacht werden Local Predictor Bit 24 Einträge Local History Local History Local History Local History 3-Bit Zähler 3-Bit Zähler 3-Bit Zähler 3-Bit Zähler 24 Einträge

26 Motivation für Turnament- Predictor Für Integer-Benchmark-Programme: in 4% der Fälle wird des globalen Predictors genutzt in 6% der Fälle des lokalen Predictors Für Gleitkomma-Benchmarkprogramme: in weniger als 5% der Fälle wird des globalen Predictors genutzt in mehr als 85% der Fälle des lokalen Predictors Verhalten der passt sich an Eigenschaften der Sprünge in der Anwendung an

27 Vgl. Genauigkeit/Größe der Prediktoren Falsche n % 9% 8% 7% 6% 5% 4% 3% 2% % Lokal: 2-Bit-Zähler (2,2)-Correlating-branch-predictor Tournament % bits KBits Quelle: Hennessey & Patterson : Quantitative Approach

28 Sprungvorhersage im Core i7 Zweistufige :. Stufe: mit kleineren Tabellen, um erforderliches Delay einzuhalten 2. Stufe: Backup mit mehr Speicher Jede Stufe ist aus drei Predictoren aufgebaut: Einfacher lokaler 2-Bit-Predictor Predictor mit globaler Historie Loop-Exit-Predictor: Zähler für Sprünge, die als Sprung am Ende einer Schleife erkannt wurden Ende einer Schleife voraussagen Ähnlich wie beim Turnament-Predictor wird die beste genutzt Zusätzlich: Stack zur einer Return-Adresse der Zieladresse indirekter Sprünge (Branch-Target-Buffer)

29 Branch-Target-Buffer (BTB) Annahme: Zieladresse kann nicht einfach aus Sprungoperation und gewonnen werden (befindet sich z.b. in Register) BTB enthält für Adresse des Sprungs das Sprungziel Zieladresse kann direkt der Tabelle entnommen werden Adresse der Sprungoperation Zieladresse a 5 a 4 a k+ a k a Tagbits Indexbits Index Tagbits Zieladresse == & Index für Sprung k Tagbits Zieladresse Sprung wurde ausgeführt/nicht ausgeführt Update Predictor +

30 -Cycle Sprünge Variation des BTB BTB speichert zusätzlich Instruktion von Zieladresse Bei einem Treffer: Ersetzen des unbedingten Sprungs aus Fetch-Phase durch gespeicherte Instruktion von Zieladresse auf vorhergesagte -Position + setzen