Hardware PCI, PCIe und Bus-Bridges

Transkript

1 Hardware PCI, PCIe und Bus-Bridges Dr.-Ing. Matthias Sand Lehrstuhl für Informatik 3 (Rechnerarchitektur) Friedrich-Alexander-Universität Erlangen-Nürnberg WS 2010/2011 Hardware PCI, PCIe und Bus-Bridges 1/

2 Übersicht Inhalt: PCI Allgemeine Eigenschaften Signale des Busses Configuration Space Interrupts PCI-X PCIe Von PCI zu PCIe Schichten Erweiterungen Bus-Bridges Anbindung des Prototypen Hardware PCI, PCIe und Bus-Bridges 2/

3 Der PCI-Bus Allgemeines Peripheral Component Interconnect, paralleler Bus, bis zu 32 Geräte pro Bus, Industriestandard, hat auf dem PC den ISA-Bus abgelöst, später auch auf anderen Plattformen (z.b. Sun-Workstations). Hardware PCI, PCIe und Bus-Bridges 3/

4 Geschichte Versionen PCI 2.1 PCI bit 64 bit PCI 2.2 PCI 2.3 Einführung Busbreite (Bit) Taktrate (MHz) Bandbr. (GB/s) 0,12 0,25 0,5 0,5 0,5 (GBit/s) 0,96 2,0 4,0 4,0 4,0 Slots pro Bridge Spannung (Volt) 5 5/3,3 5/3,3 5/3,3 3,3 Hardware PCI, PCIe und Bus-Bridges 4/

5 Weitere Eigenschaften Alle Transfers werden von einem Master initiiert, aber: ein Bus kann mehrere Master haben zentraler Arbiter, DMA-fähig, I/O- und Speicheradressen werden beim Reset vom BIOS zugeteilt und im Config Space des Geräts gespeichert (keine manuelle Konfiguration nötig, Plug-And-Play ), Geräte können sich Interrupts teilen. Hardware PCI, PCIe und Bus-Bridges 5/

6 Signale des Busses Allgemeines Mindestens 47 Signale (= Leitungen), optionale Signale für: Bus-Arbitrierung, Interrupts, Power-Management,... Hardware PCI, PCIe und Bus-Bridges 6/

7 Signale des Busses (2) Signalgruppen Systemsignale Takt und Reset, Adresse und Daten 32 (64) gemultiplexte Signale + 4 (8) gemultiplexte für Befehle und Byte-Enable, Kontrolle steuern den Ablauf der Buszyklen, Fehler dienen der Signalisierung von Fehlern. Hardware PCI, PCIe und Bus-Bridges 7/

8 Beispiel: I/O-Write Hardware PCI, PCIe und Bus-Bridges 8/

9 Configuration Space Eigenschaften 256 Bytes groß, 64 Byte davon Header mit im Standard definierter Bedeutung, zum Lesen/Schreiben existiert für jedes Gerät eine Punkt-zu-Punkt-Leitung zur (Host-)Bridge, wird für eindeutige Identifikation und Konfiguration genutzt. Hardware PCI, PCIe und Bus-Bridges 9/

10 Configuration Space Header Device ID Vendor ID 00h Status Command 04h Class Code Revision ID 08h BIST Header Type Latency Timer Cache Line Size 0Ch Base Address Register 0 10h Base Address Register 1 14h Base Address Register 2 18h Base Address Register 3 1Ch Base Address Register 4 20h Base Address Register 5 24h CardBus CIS Pointer 28h Subsystem ID Subsystem Vendor ID 2Ch Expansion ROM Base Address 30h Reserved Cap List Pointer 34h Reserved 38h Max_Lat Min_Gnt Interrupt Pin Interrupt Line 3Ch Hardware PCI, PCIe und Bus-Bridges 10/

11 Configuration Space Header (2) Gerätekennung Class Code : Vendor ID : Device ID bildet die Gerätekennung. Class Code legt die Geräteklasse fest (z.b. 0x0200: Ethernet Controller), Vendor ID von der PCI-SIG vergebene Herstellerkennung, Device ID vom Hersteller frei vergebene Gerätetypenkennung. Hardware PCI, PCIe und Bus-Bridges 11/

12 Configuration Space Header (3) Basisadressen (BAR0 - BAR5) Bit 0 zeigt an, ob Speicher ( 0 ) oder I/O-Adressen ( 1 ) zugeordnet werden sollen/wurden; dann gilt für Speicher Bits 1 bis 3 geben Auskunft über Typ, Lage und Adressbereich, Bits 4 bis 31 enthalten die Adresse, I/O Bit 1 reserviert, Bits 2 bis 31 enthalten die Adresse. Initialisierung: 1 BIOS schreibt jeweils lauter 1 en in Basis-Adress-Register und liest Register zurück, 2 Gerät liefert Bitmaske, aus der sich Größe des angeforderten Adressbereichs ablesen lässt, 3 BIOS reserviert entsprechenden I/O- oder Speicherbereich und schreibt Startadresse zurück. Hardware PCI, PCIe und Bus-Bridges 12/

13 Beispiel: Config-Read Hardware PCI, PCIe und Bus-Bridges 13/

14 Interrupts Eigenschaften Vier Interruptleitungen (INTA bis INTD), werden von Gerät zu Gerät permutiert, Geräte verwenden normalerweise nur INTA, nicht standardisiert: Abbildung bei PCI- und Host-Bridges auf Leitungen des jeweils anderen Busses oder Controllers, BIOS trägt im Config Space des Geräts ein, welcher Host-Interrupt dem Gerät zugeordnet ist, für Interrupt-Sharing: level-getriggert. Hardware PCI, PCIe und Bus-Bridges 14/

15 PCI-X Eigenschaften Vollständig abwärtskompatible Erweiterung von PCI, wesentliche Änderung: Taktrate 133 MHz, Folge: starke Einschränkung hinsichtlich der Zahl der Slots/Geräte pro Bridge (meist nur eines!), PCI-X 2.0: weitere Erhöhung der (effektiven) Taktrate durch mehrere Adress-Strobe-Leitungen (bis 533 MHz). Damit war das Potential paralleler Busse weitgehend ausgeschöpft! Hardware PCI, PCIe und Bus-Bridges 15/

16 Von PCI zu PCI Express Probleme von PCI Schwierig zu routen Leitungslänge unterschiedlich, Pegel(-wechsel) auf einfachen Signalen störanfällig, Verluste an Verzweigungen (besonders bei Steckverbindern), Erhöhung des Bustakts und/oder Verbreiterung des Busses wurden zunehmend schwieriger. Hardware PCI, PCIe und Bus-Bridges 16/

17 Von PCI zu PCI Express (2) Leitungslänge Signalausbreitung in Leiterbahnen ca. 1 2 c, unter Idealbedingungen: ca. 15 cm pro Nanosekunde, bei Taktraten im GHz-Bereich, typischen Mainboard-Geometrien, parallelen Bussen relevant! Hardware PCI, PCIe und Bus-Bridges 17/

18 Von PCI zu PCI Express (3) (Quelle: c t 23/2009) Hardware PCI, PCIe und Bus-Bridges 18/

19 Von PCI zu PCI Express (4) Idee Verwende stattdessen einen Bus. Ziel seriellen differentiellen Punkt-zu-Punkt- Gestalte die Controller/Bridges so, dass sich der Bus aus Software-Sicht nicht vom alten PCI-Bus unterscheidet. Hardware PCI, PCIe und Bus-Bridges 19/

20 Schichten (Layers) von PCIe PCI Express ist ein geschichtetes Protokoll, bestehend aus folgenden Schichten: Bitübertragungsschicht (Physical Layer) Sicherungsschicht (Data Link Layer) Transaktionsschicht (Transaction Layer) Header Data Transaction Layer SEQ# T Layer Packet CRC Link Layer Frame L Layer Packet Frame Physical Layer Hardware PCI, PCIe und Bus-Bridges 20/

21 Bitübertragungsschicht Lanes Je ein Leitungspaar zum Senden und Empfangen, vollduplex, Taktrückgewinnung aus dem Empfangssignal, 8B10B-Codierung, Übertragung mit 2,5 Gbps, 250 MByte/s pro Richtung. Hardware PCI, PCIe und Bus-Bridges 21/

22 Bitübertragungsschicht (2) Koppelung von Lanes Vereinigung mehrerer Lanes in einem Steckverbinder, zur Erhöhung der Datenraten, abwärtskompatibel. Häufige Varianten x1 als Ersatz für PCI, x16 für die Grafikkarte, x4 seltener, noch kaum Karten vorhanden. Theoretisch sind auch noch x2, x8 und x32 möglich. Hardware PCI, PCIe und Bus-Bridges 22/

23 Sicherungsschicht Eigenschaften Vergibt und/oder prüft Sequenznummern, CRCs von Transaktionsschichtpaketen (transaction layer packet TLP), signalisiert über ACK oder NAK Erfolg oder Fehler beim Paketaustausch, wiederholt bei NAK oder Timeout die Paketübertragung. Hardware PCI, PCIe und Bus-Bridges 23/

24 Transaktionsschicht Eigenschaften Bildet die typischen Bustransaktionen (Memory-Read, Memory-Write, I/O-Read,... ) auf TLPs ab, arbeitet mit (zeitlich getrennten) Anforderungs-Antwort-Paaren, implementiert Flußkontrolle, Protokoll-Overhead im Idealfall: um 5% der rohen Datenrate der Lanes. Hardware PCI, PCIe und Bus-Bridges 24/

25 Erweiterungen Versionen PCIe MByte/s, PCIe 3.0 (angekündigt) 1000 MByte/s. Hardware PCI, PCIe und Bus-Bridges 25/

26 Bus-Bridges Allgemeines Analog zur Netzwerk-Bridge, verbindet zwei (oder mehr) Busse, Busse können gleich- oder verschiedenartig sein, (selektive) Umsetzung von Bus-Transaktionen. Hardware PCI, PCIe und Bus-Bridges 26/

27 Beispiel: Klassische Systemstruktur Hardware PCI, PCIe und Bus-Bridges 27/

28 Beispiel: Struktur bei PCIe Hardware PCI, PCIe und Bus-Bridges 28/

29 PEX 8311 Grobstruktur Hardware PCI, PCIe und Bus-Bridges 29/

30 Anbindung des Prototypen Hardware PCI, PCIe und Bus-Bridges 30/

31 Registerbelegung des Prototypen Adressbereiche BAR0 Memory-Mapped-IO, zur Kontrolle des Bridge-Chips, BAR2 Memory-Mapped-IO, wird weitergeleitet auf den lokalen Bus. Hardware PCI, PCIe und Bus-Bridges 31/

32 Register der Bridge (BAR0) Fast alle wichtigen Einstellungen kommen aus dem EEPROM, einzige Ausnahme: Register 0x68 (Interrupt Control/Status); für uns relevante Bits: 8 Internal PCI Wire Interrupt Enable, 11 Local Interrupt Input Enable. Hardware PCI, PCIe und Bus-Bridges 32/

33 Vorgegebene Register im CPLD (BAR2) Hardware PCI, PCIe und Bus-Bridges 33/

34 Registerzugriff Lesen und Schreiben von Registern Nur an den angegebenen Offsets, nur 16-Bit-Wörter ( movw ), lesen von Registern 0x04 und 0x08 kann Zustand der HW verändern! Hardware PCI, PCIe und Bus-Bridges 34/

35 Bedeutung der Bits Füllstandsflags S_FIFO_Flag und R_FIFO_Flag im High-Byte bei Offsets 0x00, 0x04 und 0x08, auszulesen am besten aus dem Schreib-Register (0x00). Flags bis Almost_Empty_Offset 0011 Almost_Empty_Offset + 1 bis Almost_Full_Offset Almost_Full_Offset bis Hardware PCI, PCIe und Bus-Bridges 35/

36 Bedeutung der Bits (2) Reset und Enable Bei Register-Offset 0x0C in den Bits 8 SW Reset, schreiben von 1 löst einen Reset der Hardware aus, 9 PSC Enable, zum Aktivieren des Parallel-Seriell-Wandlers, 10 SPC Enable, zum Aktivieren des Seriell-Parallel-Wandlers. Hardware PCI, PCIe und Bus-Bridges 36/

37 Bedeutung der Bits (3) FIFO-Füllstand Bei den Register-Offsets 0x10 (Send-FIFO) und 0x14 (Receive-FIFO), Bits [11:0] enthalten Zählerwert mit aktuellem Füllstand der jeweiligen FIFO. Hardware PCI, PCIe und Bus-Bridges 37/

38 Bedeutung der Bits (4) Versionskennung Bei Register-Offset 0x18, von den Gruppen zur Versionskennung und Unterscheidung untereinander nutzbar. Hardware PCI, PCIe und Bus-Bridges 38/